0. 為什么說做好微服務很難？
要想做好微服務，我們需要理解和掌握的知識點非常多，從幾個維度上來說：
-
基本功能層面
- 并發控制&限流，避免服務被突發流量擊垮
- 服務注冊與服務發現，確保能夠動態偵測增減的節點
- 負載均衡，需要根據節點承受能力分發流量
- 超時控制，避免對已超時請求做無用功
- 熔斷設計，快速失敗，保障故障節點的恢復能力
-
高階功能層面
- 請求認證，確保每個用戶只能訪問自己的資料
- 鏈路追蹤，用于理解整個系統和快速定位特定請求的問題
- 日志，用于資料收集和問題定位
- 可觀測性，沒有度量就沒有優化
對于其中每一點，我們都需要用很長的篇幅來講述其原理和實作，那么對我們后端開發者來說，要想把這些知識點都掌握并落實到業務系統里，難度是非常大的，不過我們可以依賴已經被大流量驗證過的框架體系，go-zero微服務框架就是為此而生，
另外，我們始終秉承工具大于約定和檔案的理念，我們希望盡可能減少開發人員的心智負擔，把精力都投入到產生業務價值的代碼上，減少重復代碼的撰寫，所以我們開發了goctl工具，
下面我通過書店服務來演示通過go-zero快速的創建微服務的流程，走完一遍，你就會發現：原來撰寫微服務如此簡單！
1. 書店服務示例簡介
為了教程簡單，我們用書店服務做示例，并且只實作其中的增加書目和檢查價格功能，
寫此書店服務是為了從整體上演示go-zero構建完整微服務的程序，實作細節盡可能簡化了，
2. 書店微服務架構圖
3. goctl各層代碼生成一覽
所有綠色背景的功能模塊是自動生成的，按需激活，紅色模塊是需要自己寫的，也就是增加下依賴，撰寫業務特有邏輯，各層示意圖分別如下：
- API Gateway
- RPC
- model
下面我們來一起完整走一遍快速構建微服務的流程，Let’s Go!???♂?
4. 準備作業
-
安裝etcd, mysql, redis
-
安裝goctl工具
GO111MODULE=on GOPROXY=https://goproxy.cn/,direct go get -u github.com/tal-tech/go-zero/tools/goctl -
創建作業目錄
bookstore -
在
bookstore目錄下執行go mod init bookstore初始化go.mod
5. 撰寫API Gateway代碼
-
在
bookstore/api目錄下通過goctl生成api/bookstore.api：goctl api -o bookstore.api編輯
bookstore.api，為了簡潔，去除了檔案開頭的info，代碼如下：type ( addReq struct { book string `form:"book"` price int64 `form:"price"` } addResp struct { ok bool `json:"ok"` } ) type ( checkReq struct { book string `form:"book"` } checkResp struct { found bool `json:"found"` price int64 `json:"price"` } ) service bookstore-api { @server( handler: AddHandler ) get /add(addReq) returns(addResp) @server( handler: CheckHandler ) get /check(checkReq) returns(checkResp) }type用法和go一致，service用來定義get/post/head/delete等api請求，解釋如下：
service bookstore-api {這一行定義了service名字@server部分用來定義server端用到的屬性handler定義了服務端handler名字get /add(addReq) returns(addResp)定義了get方法的路由、請求引數、回傳引數等
-
使用goctl生成API Gateway代碼
goctl api go -api bookstore.api -dir .生成的檔案結構如下：
api ├── bookstore.api // api定義 ├── bookstore.go // main入口定義 ├── etc │ └── bookstore-api.yaml // 組態檔 └── internal ├── config │ └── config.go // 定義配置 ├── handler │ ├── addhandler.go // 實作addHandler │ ├── checkhandler.go // 實作checkHandler │ └── routes.go // 定義路由處理 ├── logic │ ├── addlogic.go // 實作AddLogic │ └── checklogic.go // 實作CheckLogic ├── svc │ └── servicecontext.go // 定義ServiceContext └── types └── types.go // 定義請求、回傳結構體 -
啟動API Gateway服務，默認偵聽在8888埠
go run bookstore.go -f etc/bookstore-api.yaml -
測驗API Gateway服務
curl -i "http://localhost:8888/check?book=go-zero"回傳如下：
HTTP/1.1 200 OK Content-Type: application/json Date: Thu, 03 Sep 2020 06:46:18 GMT Content-Length: 25 {"found":false,"price":0}可以看到我們API Gateway其實啥也沒干，就回傳了個空值，接下來我們會在rpc服務里實作業務邏輯
-
可以修改
internal/svc/servicecontext.go來傳遞服務依賴（如果需要） -
實作邏輯可以修改
internal/logic下的對應檔案 -
可以通過
goctl生成各種客戶端語言的api呼叫代碼 -
到這里，你已經可以通過goctl生成客戶端代碼給客戶端同學并行開發了，支持多種語言，詳見檔案
6. 撰寫add rpc服務
-
在
rpc/add目錄下撰寫add.proto檔案可以通過命令生成proto檔案模板
goctl rpc template -o add.proto修改后檔案內容如下：
syntax = "proto3"; package add; message addReq { string book = 1; int64 price = 2; } message addResp { bool ok = 1; } service adder { rpc add(addReq) returns(addResp); } -
用
goctl生成rpc代碼，在rpc/add目錄下執行命令goctl rpc proto -src add.proto檔案結構如下：
rpc/add ├── add.go // rpc服務main函式 ├── add.proto // rpc介面定義 ├── adder │ ├── adder.go // 提供了外部呼叫方法，無需修改 │ ├── adder_mock.go // mock方法，測驗用 │ └── types.go // request/response結構體定義 ├── etc │ └── add.yaml // 組態檔 ├── internal │ ├── config │ │ └── config.go // 配置定義 │ ├── logic │ │ └── addlogic.go // add業務邏輯在這里實作 │ ├── server │ │ └── adderserver.go // 呼叫入口, 不需要修改 │ └── svc │ └── servicecontext.go // 定義ServiceContext，傳遞依賴 └── pb └── add.pb.go
直接可以運行，如下：
$ go run add.go -f etc/add.yaml
Starting rpc server at 127.0.0.1:8080...
etc/add.yaml檔案里可以修改偵聽埠等配置
7. 撰寫check rpc服務
-
在
rpc/check目錄下撰寫check.proto檔案可以通過命令生成proto檔案模板
goctl rpc template -o check.proto修改后檔案內容如下：
syntax = "proto3"; package check; message checkReq { string book = 1; } message checkResp { bool found = 1; int64 price = 2; } service checker { rpc check(checkReq) returns(checkResp); } -
用
goctl生成rpc代碼，在rpc/check目錄下執行命令goctl rpc proto -src check.proto檔案結構如下：
rpc/check ├── check.go // rpc服務main函式 ├── check.proto // rpc介面定義 ├── checker │ ├── checker.go // 提供了外部呼叫方法，無需修改 │ ├── checker_mock.go // mock方法，測驗用 │ └── types.go // request/response結構體定義 ├── etc │ └── check.yaml // 組態檔 ├── internal │ ├── config │ │ └── config.go // 配置定義 │ ├── logic │ │ └── checklogic.go // check業務邏輯在這里實作 │ ├── server │ │ └── checkerserver.go // 呼叫入口, 不需要修改 │ └── svc │ └── servicecontext.go // 定義ServiceContext，傳遞依賴 └── pb └── check.pb.goetc/check.yaml檔案里可以修改偵聽埠等配置需要修改
etc/check.yaml的埠為8081，因為8080已經被add服務使用了，直接可以運行，如下：$ go run check.go -f etc/check.yaml Starting rpc server at 127.0.0.1:8081...
8. 修改API Gateway代碼呼叫add/check rpc服務
-
修改組態檔
bookstore-api.yaml，增加如下內容Add: Etcd: Hosts: - localhost:2379 Key: add.rpc Check: Etcd: Hosts: - localhost:2379 Key: check.rpc通過etcd自動去發現可用的add/check服務
-
修改
internal/config/config.go如下，增加add/check服務依賴type Config struct { rest.RestConf Add rpcx.RpcClientConf // 手動代碼 Check rpcx.RpcClientConf // 手動代碼 } -
修改
internal/svc/servicecontext.go，如下：type ServiceContext struct { Config config.Config Adder adder.Adder // 手動代碼 Checker checker.Checker // 手動代碼 } func NewServiceContext(c config.Config) *ServiceContext { return &ServiceContext{ Config: c, Adder: adder.NewAdder(rpcx.MustNewClient(c.Add)), // 手動代碼 Checker: checker.NewChecker(rpcx.MustNewClient(c.Check)), // 手動代碼 } }通過ServiceContext在不同業務邏輯之間傳遞依賴
-
修改
internal/logic/addlogic.go里的Add方法，如下：func (l *AddLogic) Add(req types.AddReq) (*types.AddResp, error) { // 手動代碼開始 resp, err := l.svcCtx.Adder.Add(l.ctx, &adder.AddReq{ Book: req.Book, Price: req.Price, }) if err != nil { return nil, err } return &types.AddResp{ Ok: resp.Ok, }, nil // 手動代碼結束 }通過呼叫
adder的Add方法實作添加圖書到bookstore系統 -
修改
internal/logic/checklogic.go里的Check方法，如下：func (l *CheckLogic) Check(req types.CheckReq) (*types.CheckResp, error) { // 手動代碼開始 resp, err := l.svcCtx.Checker.Check(l.ctx, &checker.CheckReq{ Book: req.Book, }) if err != nil { return nil, err } return &types.CheckResp{ Found: resp.Found, Price: resp.Price, }, nil // 手動代碼結束 }通過呼叫
checker的Check方法實作從bookstore系統中查詢圖書的價格
9. 定義資料庫表結構，并生成CRUD+cache代碼
-
bookstore下創建
rpc/model目錄：mkdir -p rpc/model -
在rpc/model目錄下撰寫創建book表的sql檔案
book.sql，如下：CREATE TABLE `book` ( `book` varchar(255) NOT NULL COMMENT 'book name', `price` int NOT NULL COMMENT 'book price', PRIMARY KEY(`book`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; -
創建DB和table
create database gozero;source book.sql; -
在
rpc/model目錄下執行如下命令生成CRUD+cache代碼，-c表示使用redis cachegoctl model mysql ddl -c -src book.sql -dir .也可以用
datasource命令代替ddl來指定資料庫鏈接直接從schema生成生成后的檔案結構如下：
rpc/model ├── bookstore.sql ├── bookstoremodel.go // CRUD+cache代碼 └── vars.go // 定義常量和變數
10. 修改add/check rpc代碼呼叫crud+cache代碼
-
修改
rpc/add/etc/add.yaml和rpc/check/etc/check.yaml，增加如下內容：DataSource: root:@tcp(localhost:3306)/gozero Table: book Cache: - Host: localhost:6379可以使用多個redis作為cache，支持redis單點或者redis集群
-
修改
rpc/add/internal/config.go和rpc/check/internal/config.go，如下：type Config struct { rpcx.RpcServerConf DataSource string // 手動代碼 Table string // 手動代碼 Cache cache.CacheConf // 手動代碼 }增加了mysql和redis cache配置
-
修改
rpc/add/internal/svc/servicecontext.go和rpc/check/internal/svc/servicecontext.go，如下：type ServiceContext struct { c config.Config Model *model.BookModel // 手動代碼 } func NewServiceContext(c config.Config) *ServiceContext { return &ServiceContext{ c: c, Model: model.NewBookModel(sqlx.NewMysql(c.DataSource), c.Cache, c.Table), // 手動代碼 } } -
修改
rpc/add/internal/logic/addlogic.go，如下：func (l *AddLogic) Add(in *add.AddReq) (*add.AddResp, error) { // 手動代碼開始 _, err := l.svcCtx.Model.Insert(model.Book{ Book: in.Book, Price: in.Price, }) if err != nil { return nil, err } return &add.AddResp{ Ok: true, }, nil // 手動代碼結束 } -
修改
rpc/check/internal/logic/checklogic.go，如下：func (l *CheckLogic) Check(in *check.CheckReq) (*check.CheckResp, error) { // 手動代碼開始 resp, err := l.svcCtx.Model.FindOne(in.Book) if err != nil { return nil, err } return &check.CheckResp{ Found: true, Price: resp.Price, }, nil // 手動代碼結束 }至此代碼修改完成，凡事手動修改的代碼我加了標注
11. 完整呼叫演示
-
add api呼叫
curl -i "http://localhost:8888/add?book=go-zero&price=10"回傳如下：
HTTP/1.1 200 OK Content-Type: application/json Date: Thu, 03 Sep 2020 09:42:13 GMT Content-Length: 11 {"ok":true} -
check api呼叫
curl -i "http://localhost:8888/check?book=go-zero"回傳如下：
HTTP/1.1 200 OK Content-Type: application/json Date: Thu, 03 Sep 2020 09:47:34 GMT Content-Length: 25 {"found":true,"price":10}
12. Benchmark
因為寫入依賴于mysql的寫入速度，就相當于壓mysql了，所以壓測只測驗了check介面，相當于從mysql里讀取并利用快取，為了方便，直接壓這一本書，因為有快取，多本書也是一樣的，對壓測結果沒有影響，
壓測之前，讓我們先把打開檔案句柄數調大：
ulimit -n 20000
并日志的等級改為error，防止過多的info影響壓測結果，在每個yaml組態檔里加上如下：
Log:
Level: error
可以看出在我的MacBook Pro上能達到3萬+的qps，
13. 完整代碼
https://github.com/tal-tech/go-zero/tree/master/example/bookstore
14. 總結
我們一直強調工具大于約定和檔案，
go-zero不只是一個框架，更是一個建立在框架+工具基礎上的，簡化和規范了整個微服務構建的技術體系，
我們在保持簡單的同時也盡可能把微服務治理的復雜度封裝到了框架內部，極大的降低了開發人員的心智負擔，使得業務開發得以快速推進，
通過go-zero+goctl生成的代碼，包含了微服務治理的各種組件，包括：并發控制、自適應熔斷、自適應降載、自動快取控制等，可以輕松部署以承載巨大訪問量，
有任何好的提升工程效率的想法，隨時歡迎交流！??
15. 專案地址
https://github.com/tal-tech/go-zero
16. 微信交流群
添加我的微信：kevwan，請注明go-zero，我拉進go-zero社區群??
好未來技術
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/172099.html
標籤：Go
上一篇：Delphi極速字串替換函式