搭建DevOps模式的專案-有解無憂

在后端的開發領域，各類開發框架都已經很多，在開發專案時可以根據不同的需要和需求選擇合適的開發框架，然而在需要開發一個完善的工程化專案時，僅僅一個后端開發框架是不夠的，還面臨著在對開發專案的快速迭代中進行測驗，部署，監控等問題，為了解決這些問題，DevOps的開發模式應運而生，

基于個人對DevOps的理解，搭建了一個基于Gin的開源后端專案來實踐下DevOps的各個概念：https://github.com/wanghaoxi3000/advproject，

DevOps是一個寬泛的概念，這個專案也只是拋磚引玉，在測驗環境下串聯起各個DevOps的基礎工具，存在的不足歡迎指出，一起學習和交流，

如何構建DevOps模式的專案

什么是DevOps呢，對DevOps比較官方的定義如下：

DevOps 集文化理念、實踐和工具于一身，可以提高組織高速交付應用程式和服務的能力，與使用傳統軟體開發和基礎設施管理流程相比，能夠幫助組織更快地發展和改進產品，這種速度使組織能夠更好地服務其客戶，并在市場上更高效地參與競爭，

可以說DevOps是一組程序、方法與系統的統稱，涉及到開發中的組織架構，開發工具，基礎架構等等方面，但它的一個核心便是強調通過各類自動化的工具來自動執行軟體交付和基礎架構更改流程，從而快速、頻繁且更可靠地構建、測驗和發布軟體，這里也將主要圍繞這個思想來構建DevOps的專案，

在這個基礎專案中，將主要圍繞如下部分的Devops實踐進行構建：

持續集成：一種軟體開發實踐經驗，開發人員會定期將他們的代碼變更合并到一個中央存盤庫中，之后系統會自動運行構建和測驗操作，
持續交付：自動構建和測驗代碼更改，并為將其發布到生產環境做好準備，實作對持續集成的擴展，
基礎設施即代碼：使用基于代碼的工具來連接基礎設施，并且能夠以處理應用程式代碼的方式來處理基礎設施，基礎設施和服務器由代碼進行定義，
監控和日志記錄：組織對各項指標和日志進行監控，以了解應用程式和基礎設施性能如何影響其產品的最終用戶體驗，

整個專案的開發流程如下：

開發工具及環境

要完成從開發到部署的一系列的流程，當然也少不了各種自動化工具及環境的支持，本專案所使用的環境如下：

代碼開發環境Go 1.13
Github賬戶
容器倉庫，本專案使用騰訊云容器服務
Jenkins 2.190
Kubernetes 本專案使用基于k8s v1.16.1的三節點集群

DevOps專案開發流程

通過advproject這個基于Gin的后端專案的代碼更新、提交、完成對專案的自動化測驗、打包、部署的流程，

后端專案

advproject專案主要包含了如下部分：

介面檔案 swag
日志 zap
配置 godotenv
docker容器化檔案 Dockerfile
Jenkinsflie Jenkinsfile
Kubernetes部署檔案 deployment-template.yaml

整個代碼的結構如下

.
├── Dockerfile                  // Docker鏡像打包檔案
├── Jenkinsfile                 // Jenkins CI 定義
├── README.md
├── api
│   └── status.go               // 運行狀態介面
├── config
│   ├── base.go                 // 基礎配置
│   └── init.go                 // 配置模塊初始化
├── deployment-template.yaml    // Kubernetes部署模板檔案
├── docs                        // swag 介面檔案
│   ├── docs.go
│   ├── swagger.json
│   └── swagger.yaml
├── go.mod
├── go.sum
├── main.go
├── serializer
│   └── common.go               // 介面格式定義
├── server
│   └── router.go               // 路由
├── test
│   └── status_test.go          // 測驗代碼
└── util
    └── logger.go               // 日志模塊

Jenkins CI配置

在代碼有更新時，提交代碼到Github后，Jenkins會收到代碼Github推送通知，拉取代碼并讀取代碼中的Jenkinsfile檔案來運行指定的流程，

可通過如下命令docker來快速運行一個Jenkins，為了在Jenkins容器中使用docker命令，將docker命令映射到了容器中，同時指定以root身份來運行容器，

docker run --name=jenkins_lts -d -u root -v jenkins_home:/var/jenkins_home -v /var/run/docker.sock:/var/run/docker.sock -v $(which docker):/bin/docker -p 8080:8080 -p 50000:50000 -e JAVA_OPTS=-Duser.timezone=Asia/Shanghai jenkins/jenkins:lts

在Jenksin容器啟動完成并成功登陸后，可以點擊主界面右下角的Jenkins 中文社區鏈接，然后更新中心鏡像設定為國內源，加快插件的下載速度，

環境配置

本專案中主要使用到這些Jenkins插件，可以在插件管理頁面中搜索安裝：

Blue Ocean 方便和Pipeline搭配使用
Kubernetes Cli Plugin 通過kubectl操控k8s集群

在執行部署的推送鏡像、通知等程序中，需要使用到不方便暴露在代碼中的密鑰，如何在Jenkinsfile中使用這些密鑰呢？可以提前在Jenkins的憑據管理中錄入這些密鑰，Jenkinsfile中以變數的方式進行呼叫，這里配置了如下的憑證：

tcloud-docker-reg 鏡像倉庫登錄密鑰
kubctl-config kubectl密鑰
PUSH_KEY 基于Server醬通知推送的密鑰

建立專案

通過Jenkinsfile檔案以代碼宣告的方式來定義持續集成的流程，需要在Jenkins中建立一個 Pipeline流水線專案，

選擇新建任務，輸入任務名建立一個流水線專案：

General選項卡中勾選GitHub專案，并填入專案地址：

在代碼推送后，使用GitHub的webhook功能推送代碼更新訊息，需要在構建觸發器中勾選GitHub hook trigger for GITScm polling：

此后還需要在GitHub的代碼專案中配置webhook推送更新的地址，相關文章已有很多，這里就不再累述了，

最后，在流水線配置中填入代碼地址：

指定分支中默認為*/master，表示拉取master分支的更新，如果想要拉取指定tag的代碼，可以按這樣的格式來配置：+refs/tags/*:refs/remotes/origin/tags/*，

運行一下，可以看見Jenkins開始啟動并運行了，

通過Blue Ocean，可以看見更詳細的運行圖，

推送結果

推送的結果將通過Server醬推送到系結的微信中，Server醬是一個很方便的微信推送服務，只需要系結下GitHub賬戶，之后請求對應地址即可向微信推送訊息，推送的資訊包含本次集成的結果和代碼更新的記錄，集成結果在Jenkinsfile中可以通過${currentBuild.result}來獲取，代碼更新記錄Jenkins沒有對應的變數，可以通過運行git log --pretty=format:\'%h - %an,%ar : %s\' --since=\'1 hours\' | head -n 1來獲取代碼最近一次的變更記錄，

部署到Kubernetes

專案每次更新完成，同通過Jenkins拉取代碼測驗無誤后，將會把專案打包成鏡像并以build-${BUILD_NUMBER}作為tag，并推送到騰訊云的私有鏡像倉庫中，${BUILD_NUMBER}是Jenkins運行任務時的環境變數，表示運行本次集成任務的序號，之后以專案中deployment-template.yaml為模板，替換對應變數后部署到k8s集群上，

Jenkins pipeline 執行完成后登錄集群節點，運行kubectl get pods，可以看到剛剛部署上的專案，已全處于了Running狀態了，

NAME                          READY   STATUS    RESTARTS   AGE
advproject-6f5d4d7d5d-pwmrp   1/1     Running   0          33s
advproject-6f5d4d7d5d-zscz2   1/1     Running   0          19s

為了便于測驗，快速訪問集群中的服務，可以按如下配置啟動一個NodePort的Service，將Pod的埠暴露出來，

apiVersion: v1
kind: Service
metadata:
  name: advproject-svc
spec:
  type: NodePort
  ports:
  - port: 3000
    targetPort: 3000
    protocol: TCP
  selector:
    app: advproject

通過kubectl get service可以看到NodePode分配的埠號為30942：

NAME             TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
advproject-svc   NodePort    10.110.152.165   <none>        3000:30942/TCP   25d

在節點上運行curl localhost:30942/api/v1/hostname，可以查看到專案對應的hostname，由于部署的Deployment檔案中設定的replicas: 2，專案部署的節點數為2，請求的hostname也會隨機出現兩種，

日志監控

進入k8s的dashboard，在側邊欄選擇容器組，可以看見運行專案的兩個容器的，點擊日志可以在網頁中分別查看每個容器的控制臺日志，這里可以看到剛剛請求hostname介面的日志，以及k8s在定時請求status介面進行健康檢查，
容器日志

為了更好的收集和分析日志，這里將通過k8s的ELK插件，來統一收集日志，克隆k8s對應版本的代碼，使用k8s專案/cluster/addons/fluentd-elasticsearch目錄下的示例代碼，使用kubectl apply -f .命令可以快速部署一個ELk插件，

部署完成后，登錄kibana，創建一個默認的 logstash-* pattern，
index

稍等一會，就可以Discover選單下看到ElasticSearch logging中匯聚的日志，在Filters中搜索Gin，可以看到本專案的日志了，

總結

至此，一個以DevOps模式的專案開發流程便大致完成了，當然這個程序也還有很多可以繼續完善的地方，比如生成更詳細的代碼測驗報表、使用kibana生成日志報表、監測代碼中的錯誤日志并報警等等，通過DevOps，將開發、測驗、運維這些步驟緊密聯系了起來，使得構建、測驗、發布軟體能夠更加地快捷、頻繁和可靠，除了這些技術和工具，DevOps也更需要組織中各個部門之間的進行良好的溝通、協作與整合，在實際開發中，需要通過各個部門的分工合作，開發人員撰寫業務和單元測驗代碼；測驗人員設計測驗用例，關注代碼測驗報告；運維人員設計Kubernetes部署模板，監控系統及日志資料，這樣才能發揮DevOps的最大效力，更好地為客戶服務并在市場中更有競爭力，

轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/16275.html

標籤：架構設計

上一篇：UML之三、建模元素（2）

下一篇：分布式協調與同步之分布式選舉