Go學習筆記(2): make a game

來到學習Go 的第二篇文章了,來學習一些控制流以及一些基礎東西吧!

條件式

在 Golang 寫條件式很簡單,就是寫個if 加個大括號就好

// 這裡請記得 "{" 和 if 要同一行,之前自由慣了常常被這件事情雷到!
if true {
    ......
} else if false {
    .....
}

// 或者你可以使用 if  更短的初始化陳述句
if count := 5; count>4 {
   fmt.Println("count is ",count)
}

另外有一個比較特別的是,if 區塊裡面的區域變數(使用到:=)是不能使用在if 外面的喔~

請讓我用以下程式碼來做進一步陳述

詳細可以去看 這裏:https://github.com/r567tw/go-practice/blob/master/HelloWorld/if.go

package main

import (
  "fmt"
)

// var x = 999 // go 裡面也可以宣告一個超越main範圍以外的超全域變數, 但不建議這麼做

func main() {
	fmt.Println("Hello World")
	x := 10

	if x > 0 {
		y := 10
		// x := 100 // 這個等同在裡面宣告新的位置x , 所以外面的x仍然是10
		x = 100 // 這個會污染外面宣告的x , 所以外面的x 會等於 100
		fmt.Printf("x = %d\n", x) // x =100
		fmt.Printf("%d in if statement\n", y) //10 in if statement
	}

	// fmt.Sprintf("%d out of if statement", y) // error
	fmt.Printf("x = %d out of if statement\n", x) // x = 100 out of if statement
}

值得再拿出來說嘴的是,x變數在外面的宣告,如果在if 陳述句範圍裡面使用單純的= ,在main 範圍內的x 是會被更動的,可是如果使用:= , main 裡面的x 不會被影響。

if number,err := strconv.ParseFloat("3.14",64); err != nil{
    log.Fatal(err)
}

fmt.Println(number) // <= 這裡會出現錯誤,因為number 屬於if 區塊裡面的範圍,go 語言的if 裡面變數不得共享

Switch 陳述句

switch rand.Intn(3)+1 {
    case 1 : ...
    case 2 : ...
    case 3 : ...
    default : ...
}

迴圈

話不多說, show you the code

for x:= 0; x<=6; x++ {
    ......
}

// 或者只是條件式得處理
x:=0
for x<=6 {
    x++
}

// 迴圈裡面也可以使用 continue 和 break ...

和 if 一樣,使用到:= 所宣告的變數是沒辦法使用在for 外面的。

function

package main

import (
	"fmt"
)

type bigger = func(int) bool // function 也可以作為型態的一種!

func main() {
	handleFn()

	anonymous := func() {
		fmt.Println("anonymous function")
	} // go 也支援匿名funciton
	anonymous()

	origin := []int{1, 2, 3, 4, 5}
	change := filter(origin, func(el int) bool {
		return el > 3
	})
	fmt.Println(change)
}

func handleFn() {
	fmt.Println("test function")
}

func filter(data []int, big bigger) []int {
	filtered := []int{}
	for _, element := range data {
		if big(element) {
			filtered = append(filtered, element)
		}
	}
	return filtered
}

Make A Game !

接下來,讓我們試著應用以上這些東西,來寫個簡單的猜數字遊戲吧!

package main

import (
	"bufio"
	"fmt"
	"os"
	"math/rand"
	"strconv"
	"strings"
	"time"
)

func main() {
	r := rand.New(rand.NewSource(time.Now().UnixNano())) // 這一行帶入現在的時間,好讓每一次遊戲隨機產生的數字都不一樣, 原來亂數的原理其實是有一個小技巧和規則的
	result := r.Intn(100) // 其實這裡可以隨機產生數字
	
	loop := true // 設定遊戲開始的條件
	for (loop) {
		fmt.Printf("Please Enter a number(1-100): ")
		reader := bufio.NewReader(os.Stdin) // 其實這裏就是類似python 的input 而已
		input, _ := reader.ReadString('\n')
		number,_ := strconv.Atoi(strings.TrimSpace(input)) // 一定要用trimspace, 否則 strconv轉出來的數字不一定取得出來
		switch {
			case (result < number):
				fmt.Printf("smaller than %d\n",number)
			case (result > number):
				fmt.Printf("bigger than %d\n",number)
			case (result == number):
				fmt.Println("Bingo")
				fmt.Printf("result is %d\n",result)
				loop = false
				break
			default:
				loop = true
		}
	}

	fmt.Println("Game is over!")
}

有興趣看程式碼的可以來這裡:https://github.com/r567tw/go-practice/blob/master/makeGame/main.go

小君曰:猜數字遊戲好像可以作為每個程式語言的入門磚,相對於前端的Todo list 呵呵

Go學習筆記(1): HelloWorld

在之前寫到今年的計劃當中,我就說到我想要學Go 語言。同時我自己也買了一本有關於Go 的書:深入淺出Go , 希望藉此督促自己有個比較完整性的學習……

以下是我讀這本書以及學習的心得與筆記,可能有點無聊,高手請跳過、不過如果有看到錯的也請不吝指正!

首先,你要先去安裝好Go…….

程式組成

Go 語言的組成通常有三個部分:
1. 套件子句(package main)
2. import 相關陳述句 (import "fmt")
3. 主要的程式碼 (func main(){......})

Hello World 程式!

讓我們先建立一個名為hello.go 的檔案… 然後在裡面寫這些東西…

package main
import "fmt"

func main(){
	fmt.Println("Hello World")
	// 這裡請務必使用 " 否則很容易跳出 invalid character literal (more than one character) 的問題
}

接下來讓我們對這個檔案做go run hello.go 就可以看到 Hello World 的字眼啦!

Go 的資料型態類別

  1. 字串:用雙引號所框起來的任意數量字元
  2. 符文(runes) : 用單引號所匡著的單一字元, ex. ‘A’ , ‘B’
  3. boolean (bool)
  4. numbers
    1. float32 , float64
    2. int8 ,int16 ,int32 ,int64
    3. uint
    4. uint8 , uint16 ,uint32 ,uint64
  5. byte (檔案專用)

tips: 可以透過 reflect 這個套件裡面的TypeOf 方法得知資料的型別

package main

import (
  "fmt"
  "reflect"
)

func main() {
	fmt.Println(reflect.TypeOf("Hello World")) //string
	fmt.Println(reflect.TypeOf(true)) // bool
}

宣告變數

  • var q int
  • var q int = 4
  • p,q = 4,5 (居然有像python 一樣的多重賦值!)
  • p :=4 (快速寫法, 連型別都不用!)

命名規則

  1. 開頭必須是字母
  2. 如果開頭字母是大寫,表示他是可以被匯出的

陣列

在Go 裡面要宣告陣列,請用以下的code 得形式

// 第一種
var todos [2]string
todos[0]= "learning go !"
todos[1]= "use go to write an app"
// 第二種
var grades [3]int = [3]int{90,98,93}

// 第三種
heights := [3]int{90,98,93}

// go 裡面的foreach , 陣列/map資料型態都適用!
for index,note := range notes{
    fmt.Println(index,note)
}

切片

這是我在深入淺出Go 這本書裡面的某一個章節,他裡面寫道Go 宣告切片就像是宣告陣列變數, 只是不需要指定大小!for example:

var mySlice []int
mySlice = make([]int,7) // 設定七個數字的切片
fmt.Printf("%v",mySlice) //[0 0 0 0 0 0 0]
// 增加
newSlice := append(mySlice, 5,9) // 回傳新的, 增加完的切片
fmt.Printf("%v",newSlice) //[0 0 0 0 0 0 0 5 9]

錯誤處理

說真的,最近在學著Go 都覺得他的語言調性和其他語言差很多,像是if/for 的區域範圍變數無法用在if/for 後面(但之前的宣告可以使用)、陣列的宣告是很獨樹一幟的他也不像傳統程式語言那種try…catch 的敘述,而是你要分成你自己去處理或者直接error 中斷給你看這樣

像是這樣, 你必須用參數去接下可能會error 的地方,然後用if 去判斷, 控制壞掉之後的流程這樣。詳細你可以參考此連結:https://michaelchen.tech/golang-programming/error-handling/

或者你也可以使用 panic 這個關鍵字 或 用 recover 這個關鍵字讓他從panic 的狀態中恢復, 另外也筆記一下 defer 可以添加到任何地方,用來暫緩該調用直到目前程式結束

詳細可以參考此網址:https://openhome.cc/Gossip/Go/DeferPanicRecover.html

 file, err := os.Open("file.txt")         
 if err != nil {                         
     ....         
 }  
defer file.Close()                                    

Maps

有點像是python 裡的 dictionary , 或者 php 的 association array……

var myMap map[string]float64 // 宣告出以字串型態為index, float64型態的值
myMap = make(map[string]float64)

// 又或者可以做更簡單的宣告
myMap := make(map[string]float64)


// 如何把東西放進去...
myMap["Jimmy"] = 12.4
myMap["Bob"] = 15.3

// 如果已經知道要建立怎麼樣的map
myMap := map[string]float64{"Jimmy":12.4 , "Bob":15.3}

// 另外如果取得一個沒有被指派的index 會根據型態而回傳不同的值
// 數字:0
// 字串:""
// * 如果沒有make 它則會是一個nil 的 map, 而nil 的 map 無法被指派值
// 可以視情況給予第二個參數,好讓map 可以判斷是否有這個index
var value string
var exist bool
value , exist = myMap["Andy"] // return 0, false

// 移除
myMap["Jim"] = 999
delete(myMap,"Jim")

結構 struct

var myStruct struct {
    name string
    grade int
}
myStruct.name = "Jimmy"
myStruct.grade = 10

// 自訂型別, 前面使用type 這個關鍵字
type myStruct struct {
    name string
    grade int
}

// 自訂型別也能加入method
func (m myStruct) hello() string {
    return "hello"
}
// 自訂型別也可以加入getter /setter 封裝裡面的資料結構
func (m *myStruct) SetName(name string){
   m.name = name
}

func (m *myStruct) Name() string {
   return m.name
}


// 透過指標存取結構
func applyDiscount(s *subscriber){
    s.rate = 4.99
}

func main() {
    var s subscriber
    applyDiscount(&s)
}

結構裡面可以有另外一個結構,而Go另外還支援了匿名結構欄位,不用特別設定名稱也可以直接帶進去結構裡

type Employee struct {
    Name string
    Salary float64
    Address
}

type Address struct {
     ......
}

介面 interface

在 Go 裡面也有介面的概念,定義某些特定得值與某些特定的行為。

type myInterface interface {
   methodOne()
   methodTwo(float64)
   method() string
}

測試

在Go 裡面,我們可以使用testing 這個套件,首先是要讓我們在同樣的套件底下建立一個_test 結尾的Go 檔案,話不多說,show you some code !

func TestFunction(t *testing.T){
    ......(略)
    if ...(略)
    t.Errorf("......")
}

function programming

在Go 裡面, function 本身也能夠被視為變數, 型別處理,像是

// 此範例來自深入淺出Go p.439
func callFunction(passedFunction func()){
  passedFunction()
}

func callTwice(passedFunction func()){
  passedFunction()
  passedFunction()
}

func callWithArguments(passedFunction func(string, bool)){
  passedFunction("this sentence is",false)
}

func printReturnValue(passedFunction func() string){
  fmt.Println(passedfunction())
}

func functionA(){
  fmt.Println("function called")
}

func functionB() string{
    fmt.Println("function called")
    return "Returning from function"
}

func functionC(a string , b bool){
    fmt.Println("function called")
    fmt.Println(a,b)
}

func sayHi(){
  fmt.Println("Hi")
}

func main(){
    var myFunction = func()
    myFunction = sayHi
    myFunction()

    callFunction(functionA)
    callTwice(functionA)
    callWithArguments(functionC)
    printReturnValue(functionB)
}

相關指令

  • go build :編譯成二進位
  • go run :編譯及執行
  • go fmt :格式化原始碼
  • go version :go 的版本
小君曰:來學Go 啦, go !

談Python: Lambda, Map , Filter 及 Reduce

從大二開始研究怎麼當一名駭客之後,開始接觸Python, 出社會後也常常用Python 開發我個人的工具包,可說是這幾年來個人 Python 的功力大漲!

最近在邊寫邊查資料的過程當中,認識到Python的 Lambda,Map和Reduce

於是,就讓我寫一篇文章記錄這一切吧 ^^

Lambda

此 Lambda 不是 AWS的Lambda ,我也不知道為什麼這裡要取和AWS的Lambda一樣的名稱哈哈,總之他是一種Python裡面的表示式,可以更加簡便、更加Function programming 的呈現程式碼,不多贅述,我最喜歡 Show me the code了!

// 通常我們定義Function是長這個樣子(順便我也想練習強型別,python也支援喔)
def demoX(x:int) -> int:
    return x + 10;
    
print(demoX(20)) //output-> 30

其實蠻落落長的,所以Python說,要有Lambda , 就有Lambda

demoX = lambda x: x+10

print(demoX(20))

好了,我附上參考網址結束這一切:https://openhome.cc/Gossip/Python/LambdaExpression.html

Map和Reduce

Map , FilterReduce 我想要放在一起說,如果常寫Function Programming的對這兩個單字一定不陌生,Laravel的Collection也有這些方法。沒錯,他們的用法其實和他們的單字意思很像呢!

// map(function_to_apply, list_of_inputs)
a = list(map(lambda a: a+2,[1,2,3]))
print(a) # [3,4,5]

map 其實就會迭代列表中的每一個項目,最後回傳出來的是一個map的物件,記得之後要用list才能把它印出來喔

a = list(filter(lambda a: a>2,[1,2,3,4,5,6]))
print(a) # [3, 4, 5, 6]

filter 其實和map很像,只是它是過濾項目,一樣他是個filter的物件,一樣需要list,所以你的function裡面請回傳出boolean,這我就不多說明啦~

from functools import reduce

a = reduce(lambda a,b: a+b,[1,2,3])
print(a) # 6

至於 reduce需要先 import 喔,只要有一個有兩個參數的function , 他就會迭代這清單的項目做出最後的結果

參考網址: https://book.pythontips.com/en/latest/map_filter.html

小君曰:Python也能Function Programming !

Redis筆記

最近在玩Redis, 記錄起來才不會忘!

利用Docker 迅速起一個redis container

你可以去官網按照他的說明下載redis, 但我這裡選擇用docker 來起一個簡單的redis 服務首先我的dokcer-compose.yml 是這樣寫:

# ...(略)
### Redis Container #######################################

    redis:
        image: redis:alpine
        ports:
            - "6379:6379"
# ...(略)

然後使用 docker-compose up -d 就可以起一個簡單的redis server, 你可以使用Another Redis Desktop Manager 去連線它看看狀況

指令與相關說明

簡單來說,redis 就是一個key-value 的 in-memory 資料庫。
首先,我們需要進去一下redis cli…只要`docker exec -it {你docker-composer.yml 所在的資料夾名稱}_redis_1 sh`就可以進入redis container 裡面,之後在container 裡面執行`redis-cli`即可

GET/SET

最簡單你一定要學到的redis 指令就是:SETGET!

127.0.0.1:6379> SET name Jimmy
OK
127.0.0.1:6379> GET name
"Jimmy"

MGET/MSET

每次只能設定一個那怎麼行?你可以一次設定多個

127.0.0.1:6379> MSET first "Hello" second "World"
OK
127.0.0.1:6379> MGET second first
1) "World"
2) "Hello"

EXPIRE

既然是一個key-value 的 in-memory 資料庫,他就不像一般Relational database 一樣,只能永久保存資料,你可以設定這個key 的保留期間

127.0.0.1:6379> SET session "HelloWorld"
OK
127.0.0.1:6379> EXPIRE session 10
(integer) 1
127.0.0.1:6379> GET session
"HelloWorld"
127.0.0.1:6379> GET session
(nil)

EXIST / DEL

你也可以判斷這個key 存在不存在, 以及刪除那個key

127.0.0.1:6379> EXISTS name
(integer) 1
127.0.0.1:6379> DEL name
(integer) 1
127.0.0.1:6379> EXISTS name
(integer) 0

INCR / DECR

redis 還自帶遞增和遞減的指令。

127.0.0.1:6379> SET counter 100
OK
127.0.0.1:6379> INCR counter
(integer) 101
127.0.0.1:6379> GET counter
"101"
127.0.0.1:6379> DECR counter
(integer) 100
127.0.0.1:6379> GET counter
"100"

INCRBY / DECRBY

每次只能遞增和遞減一個那怎麼可行?

127.0.0.1:6379> SET counter 100
OK
127.0.0.1:6379> INCRBY counter 100
(integer) 200
127.0.0.1:6379> GET counter
"200"
127.0.0.1:6379> DECRBY counter 100
(integer) 100
127.0.0.1:6379> GET counter
"100"

keys *

這個指令可以讓你看到目前設定在redis 裡面所有的key

127.0.0.1:6379> keys *
1) "first"
2) "counter"
3) "second"

Redis 的資料型態

redis 支援以下型態,上面已經充分示範出string 這個簡單的型態。接下來展示其他沒有在上面示範過的型態!

  1. string(字串)
  2. hash(雜湊)
  3. list(串列)
  4. set(群集)
  5. sorted set(有序群集)

Hash

就像HMSET 的說明一樣:HMSET key field value [field value ...]以底下的說明來說,就像產生了這樣的資料型態:{id: 45, name: Jimmy}

127.0.0.1:6379> HMSET user id 45 name "Jimmy"
OK
127.0.0.1:6379> HGET user id
"45"
127.0.0.1:6379> HGET user name
"Jimmy"
127.0.0.1:6379> HGETALL user
1) "id"
2) "45"
3) "name"
4) "Jimmy"

List

和javascript 的想法很像,有push 和pop , L代表左邊, R代表右邊啊那個如果要列出清單可以用LRANGE指令

127.0.0.1:6379> LPUSH mylist 10 "Hello"
(integer) 2
127.0.0.1:6379> LRANGE mylist 0 1
1) "Hello"
2) "10"
127.0.0.1:6379> RPUSH mylist "World" 20
(integer) 4
127.0.0.1:6379> LRANGE mylist 0 3
1) "Hello"
2) "10"
3) "World"
4) "20"
127.0.0.1:6379> LPOP mylist
"Hello"
127.0.0.1:6379> LRANGE mylist 0 3
1) "10"
2) "World"
3) "20"
127.0.0.1:6379> RPOP mylist
"20"
127.0.0.1:6379> LRANGE mylist 0 3
1) "10"
2) "World"

Set & Sorted Set

1. set 沒有排序得權重,而且不可以增加重複的值

127.0.0.1:6379> SADD myset 1 2 3 4 5 
(integer) 5
127.0.0.1:6379> SMEMBERS myset
1) "1"
2) "2"
3) "3"
4) "4"
5) "5"
127.0.0.1:6379> SISMEMBER myset 5
(integer) 1
127.0.0.1:6379> SISMEMBER myset 50
(integer) 0
127.0.0.1:6379> SADD myset 1 
(integer) 0
127.0.0.1:6379> SADD myset 10
(integer) 1
127.0.0.1:6379> SMEMBERS myset
1) "1"
2) "2"
3) "3"
4) "4"
5) "5"
6) "10"

2. sorted set 有排序得權重

127.0.0.1:6379> ZADD mysortedset 1 Jimmy
(integer) 1
127.0.0.1:6379> ZADD mysortedset 0 Jim
(integer) 1
127.0.0.1:6379> ZRANGE mysortedset 0 1
1) "Jim"
2) "Jimmy"
127.0.0.1:6379> ZRANK mysortedset Jimmy
(integer) 1

同場加映:pub/sub

laravel broadcast 如果你的driver 設定的是 redis , 你會看到文件會寫道使用redis 的pub/sub 來實現,但這個其實很難透過GUT 去看,首先,你需要開兩個redis-cli

A Redis cli

127.0.0.1:6379> SUBSCRIBE mychannel
Reading messages... (press Ctrl-C to quit)
1) "subscribe"
2) "mychannel"
3) (integer) 1

B Redis Cli

在這裡你可以用PUBLISH 指令

127.0.0.1:6379> PUBLISH mychannel "HelloWorld"
(integer) 1

這時你回到A 來看,奇蹟發生了!底下多了message, mychannel, HelloWorld !

127.0.0.1:6379> SUBSCRIBE mychannel
Reading messages... (press Ctrl-C to quit)
1) "subscribe"
2) "mychannel"
3) (integer) 1
1) "message"
2) "mychannel"
3) "HelloWorld"

有趣吧?

小君曰:redis 一日遊

Python Paramiko 筆記

在以前公司工作的時候,有點忘了是遇到什麼情境,總之我就看到python 有這樣的一個套件庫:Paramiko

話不多說,我們就給大家來看文件吧:http://www.paramiko.org/

然後就結束這一回合(阿不是!

他是一個和SSH 有關的套件庫,是可以使用python 直接在遠端給他執行程式起來… 啊寫文章的同時我就想到了!之前我們好像是要做那個資料庫備份什麼的, 然後有發現說有時server 會不夠空間backup , 所以後來我就用這個套件透過本機去連結遠端執行 df -h 的指令,以方便告訴我到底有沒有足夠的空間這樣…. 不然每次連線打指令實在很麻煩…

然後 , 我最喜歡的是: show you the code !

import paramiko

paramiko.util.log_to_file('paramilo.log')
key = paramiko.RSAKey.from_private_key_file("pem path...")

ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.connect(hostname='......',username='user',pkey=key)

stdin, stdout, stderr = ssh.exec_command('df -h')

result = open('log.txt','wb')
result.write(stdout.read())
result.close()

ssh.close()
小君曰:我到底寫了什麼...?

aws step function 筆記

最近工作用到一些工具,使用到AWS step function , 因此在這裡也筆記一下…

也在公司後端組例會分享了一下(以下就是我分享的PPT ):

其實我覺得我用的情境很簡單,只是用Map 的方式啟動lambda . 這個 lambda 就是我用來處理下載與上傳到s3指定位置… 說真的應用的情境真的很不多… 還有更多著墨的空間。

另外,自己同時也針對此寫了兩個版本,用SAM 和 用 CDK 的版本…

一、CDK 的版本

import * as cdk from '@aws-cdk/core';
import * as lambda from "@aws-cdk/aws-lambda"
import * as stepfunctions from "@aws-cdk/aws-stepfunctions"
import * as tasks from "@aws-cdk/aws-stepfunctions-tasks"
import * as logs from "@aws-cdk/aws-logs"
import * as s3 from "@aws-cdk/aws-s3"
import * as ec2 from "@aws-cdk/aws-ec2"
import * as dotenv from 'dotenv';

export class CdkLambdaStack extends cdk.Stack {
  constructor(scope: cdk.Construct, id: string, props?: cdk.StackProps) {
    super(scope, id, props);

    // 將裡面比較敏感的資訊用env 包起來, 注意後面的path 要正確
    dotenv.config({path:__dirname+'/../.env'})
    
    // 我要上傳音檔的S3 目標 arn:aws:s3:::test 為虛構(我忘了把這個也包env了哈哈)
    const bucket = s3.Bucket.fromBucketArn(this,"test","arn:aws:s3:::test")

    // 負責前面呼叫step function 的 lambda
    const downloadAudioLambda = new lambda.Function(this, "downloadAudioLambda", {
      runtime: lambda.Runtime.NODEJS_12_X,
      timeout: cdk.Duration.seconds(25),
      handler: "index.handler",
      code: lambda.Code.fromAsset("lambda/downloadAudioLambda")
    });

    bucket.grantPut(downloadAudioLambda)

    const downloadAudioJob = new tasks.LambdaInvoke(this,'Calllambda',{
      lambdaFunction: downloadAudioLambda,
      outputPath: "$.Payload"
    })

    const map = new stepfunctions.Map(this, 'ExampleMapState');
    map.iterator(downloadAudioJob);

    const logGroup = new logs.LogGroup(this, 'StepFunctionLogs')

    const stateMachine = new stepfunctions.StateMachine(this, 'StateMachine', {
        definition: map,
        logs: {
          destination: logGroup,
          level: stepfunctions.LogLevel.ERROR
        }
    });

    const testVpc = ec2.Vpc.fromLookup(this,"vpc-dev",{
      vpcId: process.env.VPCID
    });

    const processorLambda = new lambda.Function(this, "processorLambda", {
      runtime: lambda.Runtime.NODEJS_12_X,
      handler: "index.handler",
      timeout: cdk.Duration.seconds(25),
      code: lambda.Code.fromAsset("lambda/processor"),
      vpc: testVpc,
      environment: {
        ENDPOINT: process.env.ENDPOINT ?? 'localhost',
        DATABASE: process.env.DATABASE ?? 'db',
        DBUSERNAME: process.env.DBUSERNAME ?? 'root',
        PASSWORD: process.env.PASSWORD ?? 'password',
        NODE_ENV: process.env.NODE_ENV ?? 'test',
        statemachine_arn: stateMachine.stateMachineArn
      }
    });

    stateMachine.grantStartExecution(transferLambda)
  }
}

總之,上面我就是用CDK先創建我的lambda , 然後把那個要放到state machine 的建立”task”, 給予我另外一個lambda 有 startExecution 的權限…. 簡單完成!

二、SAM 的版本

總之,有些原因,我另外又學習怎麼用SAM製作 state machine XDD

AWSTemplateFormatVersion: "2010-09-09"
Transform: AWS::Serverless-2016-10-31
Description:
  download audio file from huaxi to trigger audio transcoder
Resources:
  ProcessAudioFileStateMachine:
    Type: AWS::Serverless::StateMachine # More info about State Machine Resource: https://docs.aws.amazon.com/serverless-application-model/latest/developerguide/sam-resource-statemachine.html
    Properties:
      DefinitionUri: statemachine/audioFile_processer.json
      DefinitionSubstitutions:
        DownloadAudioFunctionArn: !GetAtt DownloadAudioFunction.Arn
      Policies: # Find out more about SAM policy templates: https://docs.aws.amazon.com/serverless-application-model/latest/developerguide/serverless-policy-templates.html
        - LambdaInvokePolicy:
            FunctionName: !Ref DownloadAudioFunction

  DownloadAudioFunction:
    Type: AWS::Serverless::Function # More info about Function Resource: https://docs.aws.amazon.com/serverless-application-model/latest/developerguide/sam-resource-function.html
    Properties:
      FunctionName: downloadaudio
      CodeUri: functions/downloadaudio/
      Handler: index.handler
      Runtime: nodejs12.x
      Timeout: 20
      Policies:
        - S3ReadPolicy:
            BucketName: 'test'
        - S3WritePolicy:
            BucketName: 'test'

  ProcessorFunction:
    Type: AWS::Serverless::Function
    Properties:
      FunctionName: processor
      Timeout: 20
      CodeUri: functions/processor/
      Handler: index.handler
      Runtime: nodejs12.x
      Environment:
        Variables:
          ENDPOINT: db_url
          DATABASE: dbname
          DBUSERNAME: dbusername
          PASSWORD:dbpassword
          NODE_ENV: test
          statemachine_arn: !Ref ProcessAudioFileStateMachine
      Policies:
        - StepFunctionsExecutionPolicy:
            StateMachineName: !GetAtt ProcessAudioFileStateMachine.Name

其實說真的CDK 和 SAM 沒有多大差別,只是CDK你可以用比較程式化的去做那個state machine language (就是sam 裡面要包的那個json 啦!),像我,實在懶得去構想那個json 怎麼寫(啊我就不是JSON工程師啊~),所以先用CDK 產生state machine , 然後上AWS控制台上面把那一串json 抓下來,放到我的sam 這裏… 整理一下,CDK detroy 一下,sam 的template.yaml 調整一下,一個下午搞定啦!(不過我好像忘了在sam 裡面宣吿log 去接state machine 啦 XDDD 之後再研究吧!)

小君曰:還有很多成長的空間

Pytest 簡單教學

最近在整理自己的履歷和side projects……,順便也買了一些線上課程學習,其中有一門課是教你演算法,舉Leetcode 裡面的題目為例,如果再工程師界久了都知道,Leetcode 是一個刷題網站,而我身為想要變強的工程師當然不可以忽略這個網站啊…… 因此在bitbucket 開了一個專案,放置一些藉由上課所學習的解題檔案(線上課程用的是JAVA),但我想要轉成Python ,藉此提升自己的python實力~~

如果有興趣可以來看看,但因為目前上課進度緩慢,其實也才幾題而已XD https://bitbucket.org/r567tw/leetcode/src/master/

不過在本機跑的時候也想要自己就先在本機測試一下不要用leetcode 在那邊幫我測試…但之前都是用類似以下的語法

test = Solution(); #先new 一個Solution 的class
print(Solution.method(...)) #然後呼叫方法一個一個用肉眼檢查

這種方法超級土法煉鋼的… 完全就不是工程師的style ~~

而我是一個php工程師,之前花了一點時間了解phpunit , 然後也有在一些專案寫一些UnitTest… 心想…. 難道python 沒有嗎?

叮咚! 原來就是Pytest 啊! 我現在leetcode 刷題要在本機測試都會使用這個來玩玩看的!接下來我要介紹怎麼使用Pytest,以及我如何將這個導入到我這個leetcode 的練習專案。

安裝Pytest

首先你要使用pytest 之前就一定要確認pytest 有沒有在你的電腦當中(廢話!),所以你可以參考這個文件來幫助你安裝pytest ,其實也就這麼簡單

$ pip install pytest

然後其實很簡單,就是使用pytest 這個指令或者pip freeze 確認pytest 在不在就好了啊

使用Pytest

其實和phpunit 很像,其實也是用所謂“assert”的方式確認答案是否正確,以底下程式碼為例說明:

from solutions.atoi import Solution


def test_myAtoi():
    test = Solution()
    assert(test.myAtoi("42") == 42)
    assert(test.myAtoi("   -42") == -42)
    assert(test.myAtoi("4193 with words") == 4193)

其實Pytest 的部分就是去偵測你的個函數名稱是否前綴有個`test` ,如果有的話就會跑底下的內容,於是一個完美個TDD流程完成!

接下來就是跑個指令、然後看看結果就好了,以我目前很緩慢只有解Atoi\Palindrome\Pow 的狀況就像底下的情況一樣

alindrome

$ pytest
============================================= test session starts =============================================
platform darwin -- Python 3.6.4, pytest-3.3.1, py-1.5.2, pluggy-0.6.0
rootdir: /Users/fang/playground/leetcode, inifile:
collected 3 items                                                                                             

tests/test_atoi.py .                                                                                    [ 33%]
tests/test_palindrome.py .                                                                              [ 66%]
tests/test_pow.py .                                                                                     [100%]
========================================== 3 passed in 0.05 seconds ===========================================

你寫幾個測試檔案,裡面就會有幾個items ,如果你最後沒看到什麼failed 的話就表示你都很順利喔~

剩下的我就利用一些modulte 引入的概念,將資料夾很清楚分出tests 和 solutions ,之後我就在solutions 裡面放入leetcode 這題的解法,而tests 裡面放的就是要被驗證的結果,沒過pytest 就會告訴我沒過了

小君曰:之後要參加鐵人賽了,就決定暫時不繼續努力週更了XD

 

VS-code 的炫炮神器-power mode

在某一天我看到某個人做一個程式的直播,教大家怎麼去爬蟲成人影片….. 以下我附上影片:

直播主滿滿的歡樂與搞笑啊哈哈,然後我發現他寫code 時會有一些震動與火花… 呵呵 感覺很有趣,後來查一查好像是外掛所處理的部分,發現原來Atom 有一個外掛power mode 也是可以達成類似的效果…想一想,Atom有了VS-Code會沒有嗎? 把「power mode」這個關鍵字放到vs-code的外掛搜尋列上,果然找到了!

同場加映: 我覺得有時候寫程式也可以解決自己的問題,有位youtuber 也分享了關於一些網頁的「暗黑技巧」,其中我覺得playbackrate 這個參數實在是太好用了啦…

小君曰:「這power mode 超級炫炮的啦....」

Laravel Tinker 一行就退出的問題

最近使用laravel ,發現遇到一行就退出的問題,發現原來是php 7.3 的問題… 詳細資源請參考:https://learnku.com/laravel/t/21165

解決方案

建立 ~/.config/psysh/config.php 這個檔案

然後在這個檔案裡面寫道

<?php
return [
  'usePcntl' => false,
];

之後就解決了這個一行就退出的問題囉~

Pytube 簡單教學

來寫個簡單的python 教學好了,對了! 去年我有挑戰it 幫鐵人賽,參加的是自我挑戰組,並且自己訂的主題就是python 30天! 歡迎大家去看看!

連結於此

對於鐵人賽完賽的心得不必多說,我想已經都寫在最後一天了,總之就是覺得自己還有很大的成長空間,下次參加鐵人賽一定要有更充足的準備和題目。

不得不說,這次鐵人賽的獎品
我個人覺得好浮誇……

好了,簡單交代近況也夠了,進入主題來談談python 好用的套件pytube 吧!

pytube 是用來可以抓youtube的影片,首先,你必須先安裝它

$ pip install pytube

接下來你可以確認一下pytube 是否正常運作?

$ pytube --version
$ pytube 9.4.0

注意:

如果你是最新安裝pytube version 應該會是9.5.1 , 不過pytube 9.5.1 有些問題,可以參考此連結解決問題

接下來我們就可以開始寫下載youtube影片的程式啦!
這裡我只是簡單呈現怎麼撰寫,詳細與延伸可以參考文件:https://python-pytube.readthedocs.io/en/latest/#
小君曰:不知道為什麼文件的版本似乎落後了我目前寫的版本…

# 就是這麼簡單!!!!
from pytube import YouTube

url =input('請輸入你要下載的youtube網址: ')
print('下載 來自'+url+' 的youtube影片中...')
YouTube(url).streams.first().download()

像我自己想要更加炫技一下就會想知道我目前youtube影片的名字的話可以這樣寫….. 加入beautifulSoup 這個可以分析網頁的套件。

from pytube import YouTube
import requests
from bs4 import BeautifulSoup

url =input('請輸入你要下載的youtube網址: ')

# 先去youtube 上看看這部影片的名字
request=requests.get(url)
context = request.content
# 藉由BeautifulSoup
soup=BeautifulSoup(context,"html.parser")
# 取得我要的資料
video_name = soup.select('h1.watch-title-container')[0].get_text();
# 資料清理
video_name = video_name.replace('\n','')
video_name = video_name.replace(' ','')
# 準備下載啦
print('下載 來自'+video_name+' 的youtube影片中...')
YouTube(url).streams.first().download()
print('下載完成!')