持續集成
1. 概述
持續集成（Continuous integration，簡稱 CI）指的是，頻繁地（一天多次）將代碼集成到主干
持續集成的目的，就是讓產品可以快速迭代，同時還能保持高質量，它的核心措施是，代碼集成到主干之前，必須通過自動化測驗，只要有一個測驗用例失敗，就不能集成
通過持續集成，團隊可以快速的從一個功能到另一個功能，簡而言之，敏捷軟體開發很大一部分都要歸功于持續集成
根據持續集成的設計，代碼從提交到生產，整個程序有以下幾步：
-
提交
流程的第一步，是開發者向代碼倉庫提交代碼，所有后面的步驟都始于本地代碼的一次提交
-
測驗（第一輪）
代碼倉庫對提交操作配置了鉤子，只要提交代碼或者合并進主干，就會跑自動化測驗
-
構建
通過第一輪測驗，代碼就可以合并進主干，就算可以交付了
-
測驗（第二輪）
構建完成，就要進行第二輪測驗，如果第一輪已經涵蓋了所有測驗內容，第二輪可以省略，當然，這時構建步驟也要移到第一輪測驗前面
-
部署
過了第二輪測驗，當前代碼就是一個可以直接部署的版本，將這個版本的所有檔案打包存檔，發到生產服務器
-
回滾
一旦當前版本發生問題，就要回滾到上一個版本的構建結果，最簡單的做法就是修改一下符號鏈接，指向上一個版本的目錄
2. 組成要素
1、一個自動構建程序，從檢出代碼、編譯構建、運行測驗、結果記錄、測驗統計等都是自動完成的，無需人工干預
2、一個代碼存盤庫，即需要版本控制軟體來保障代碼的可維護性，同時作為構建程序的素材庫，一般使用 SVN 或 Git
3、一個持續集成服務器， Jenkins 就是一個配置簡單和使用方便的持續集成服務器
3. 持續集成的好處
1、降低風險，由于持續集成不斷去構建，編譯和測驗，可以很早期發現問題，所以修復的代價就少；
2、對系統健康持續檢查，減少發布風險帶來的問題；
3、減少重復性作業；
4、持續部署，提供可部署單元包；
5、持續交付可供使用的版本；
6、增強團隊信心
4. 持續集成流程說明
1）開發人員每天進行代碼提交，提交到 Git 倉庫
2）然后，Jenkins 作為持續集成工具，使用 Git 工具或者 Git 倉庫拉取代碼到集成服務器，再配合 JDK、Maven 等軟體完成代碼編譯、代碼測驗與審查、測驗、打包等作業，在這個程序中有一步出錯，都要重新執行一次流程
3）最后，Jenkins 把生成的包分發到測驗服務器或生產服務器
Gitlab 代碼托管服務器
GitLab 是一個用于倉庫管理系統的開源專案，使用 Git 作為代碼管理工具，并在此基礎上搭建起來的 web 服務
GitLab 和 GitHub 一樣屬于第三方基于 Git 開發的作品，免費且開源，不同的是，GitLab 可以部署到自己的服務器上，資料庫等一切資訊都掌握在自己手上，適合團隊內部協作開發
以 centos 為例，安裝步驟如下：
-
安裝相關依賴
yum -y install policycoreutils openssh-server openssh-clients post?x -
啟動 ssh 服務 & 設定為開機啟動
systemctl enable sshd && sudo systemctl start sshd -
設定 post?x 開機自啟，并啟動，post?x 支持 gitlab 發信功能
systemctl enable post?x && systemctl start post?x -
開放 ssh 以及 http 服務，然后重新加載防火墻串列
firewall-cmd --add-service=ssh --permanent ?rewall-cmd --add-service=http --permanent ?rewall-cmd --reload如果關閉防火墻就不需要做以上配置
-
下載 gitlab 包，并且安裝在線下載安裝包
wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el6/gitlab-ce-12.4.2-ce.0.el6.x 86_64.rpm](https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el6/gitlab-ce-12.4.2-ce.0.el6.x86_64.rpm -
修改 gitlab 配置
vi /etc/gitlab/gitlab.rb修改 gitlab 訪問地址和埠，默認為 80，我們改為 82
external_url ‘http://192.168.66.100:82’ nginx[‘listen_port’] = 82 -
多載配置及啟動
gitlab gitlab-ctl recon?gure gitlab-ctl restart -
把埠添加到防火墻
firewall-cmd --zone=public --add-port=82/tcp --permanent ?rewall-cmd --reload
Jenkins
Jenkins 是一款流行的開源持續集成（Continuous Integration）工具，廣泛用于專案開發，具有自動化構建、測驗和部署等功能
1. Jenkins 安裝
-
獲取 Jenkins 安裝包，下載頁面：https://jenkins.io/zh/download/
進行安裝：
rpm -ivh jenkins-2.190.3-1.1.noarch.rpm -
修改 Jenkins 配置
vi /etc/sysco?g/jenkins修改內容如下：
JENKINS_USER="root" JENKINS_PORT="8888" -
啟動 Jenkins
systemctl start jenkins -
打開瀏覽器訪問 http://localhost:8888
-
獲取并輸入 admin 賬戶密碼
cat /var/lib/jenkins/secrets/initialAdminPassword
2. Jenkins 插件管理
Jenkins 本身不提供很多功能，我們可以通過使用插件來滿足我們的使用，例如從Gitlab拉取代碼，使用Maven構建專案等功能需要依靠插件完成
Jenkins 國外官方插件地址下載速度非常慢，可以修改為國內插件地址：Jenkins - Manage Jenkins - Manage Plugins，點擊 Available
這樣做是為了把 Jenkins 官方的插件串列下載到本地，接著修改地址檔案，替換為國內插件地址
cd /var/lib/jenkins/updates
sed -i 's/http:\/\/updates.jenkinsci.org\/download/https:\/\/mirrors.tuna.tsinghua.edu.cn\/jenkins/g' default.json && sed -i
's/http:\/\/www.google.com/https:\/\/www.baidu.com/g' default.json
最后，Manage Plugins 點擊 Advanced，把 Update Site 改為國內插件下載地址 https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json
Sumbit 后，在瀏覽器輸入：http://localhost:8888/restart，重啟 Jenkins，下載中文漢化插件
Jenkins - Manage Jenkins - Manage Plugins，點擊 Available，搜索 "Chinese"，勾選并安裝，重啟 Jenkins 后，就看到 Jenkins 漢化了
3. Jenkins 用戶權限管理
我們可以利用 Role-based Authorization Strategy 插件來管理 Jenkins 用戶權限，安裝插件，點擊 Manage Jenkins，選擇 Configure Global Security，授權策略切換為 Role-Based Strategy，保存
在系統管理頁面進入 Manage and Assign Roles，點擊 Manage Roles，可創建角色
- Global roles（全域角色）：管理員等高級用戶可以創建基于全域的角色
- Project roles（專案角色）：針對某個或者某些專案的角色
- Slave roles（奴隸角色）：節點相關的權限
在系統管理頁面進入 Manage Users，創建用戶，接下來是為用戶分配角色，系統管理頁面進入 Manage and Assign Roles，點擊 Assign Roles，為用戶分配角色
4. Jenkins 憑證管理
憑據可以用來存盤需要密文保護的資料庫密碼、Gitlab 密碼資訊、Docker 私有倉庫密碼等，以便 Jenkins 可以和這些第三方的應用進行互動
要在 Jenkins 使用憑證管理功能，需要安裝 Credentials Binding 插件，安裝插件后，會多出一個憑證選單，在這里管理所有憑證
可以添加的憑證有五種：
- Username with password：用戶名和密碼
- SSH Username with private key：使用 SSH 用戶和密鑰
- Secret file：需要保密的文本檔案，使用時 Jenkins 會將檔案復制到一個臨時目錄中，再將檔案路徑設定到一個變數中，等構建結束后，所復制的 Secret file 就會被洗掉
- Secret text：需要保存的一個加密的文本串，如釘釘機器人或 Github 的 api token
- Certificate：通過上傳證書檔案的方式
5. 集成 Maven
-
Jenkins 關聯 JDK 和 MAVEN
Jenkins - Global Tool Con?guration - JDK，新增 JDK，配置指定 JDK 的 JAVA_HOME
Jenkins - Global Tool Con?guration - Maven，新增 Maven，配置指定 MAVEN 的 MAVEN_HOME
-
添加 Jenkins 全域變數
Manage Jenkins - Configure System - Global Properties，添加三個全域變數 JAVA_HOME、M2_HOME、PATH+EXTRA
我們也可以在拉取代碼時完成構建，選擇 構建 - 增加構建步驟 - Execute Shell，輸入：mvn clean package
保存配置后，選擇專案，點擊構建 Build Now 開始構建專案
查看 linux 的 /var/lib/jenkins/workspace/**目錄，會生成一個 target 目錄，里面有相應的包生成
Jenkins 專案構建型別
Jenkins 中自動構建專案的型別有很多，常用的有以下三種：
- 自由風格軟體專案（FreeStyle Project）
- Maven 專案（Maven Project）
- 流水線專案（Pipeline Project）
每種型別的構建都可以完成一樣的構建程序與結果，只是在操作方式、靈活度等方面有所區別，在實際開發中，可以根據自己的需求和習慣來選擇
1. 自由風格專案構建
一個自由風格專案來完成專案的集成程序：拉取代碼 - 編譯 - 打包 - 部署
-
創建專案
-
配置原始碼管理，從 gitlab 拉取代碼
-
編譯打包
構建 - 添加構建步驟 - Executor Shell
echo "開始編譯和打包" mvn clean package echo "編譯和打包結束" -
部署，把專案部署到遠程的 Tomcat
Jenkins 部署專案到 Tomcat 服務器，需要用到 Tomcat 的用戶，所以修改 tomcat 以下配置，添加用戶及權限
vi /opt/tomcat/conf/tomcat-users.xml內容如下：
<tomcat-users> <role rolename="tomcat"/> <role rolename="role1"/> <role rolename="manager-script"/> <role rolename="manager-gui"/> <role rolename="manager-status"/> <role rolename="admin-gui"/> <role rolename="admin-script"/> <user username="tomcat" password="tomcat" roles="manager-gui,managerscript,tomcat,admin-gui,admin-script"/> </tomcat-users>為了能夠剛才配置的用戶登錄到 Tomcat，還需要修改以下配置
vi /opt/tomcat/webapps/manager/META-INF/context.xml把下面內容注釋
<!-- <Valve className="org.apache.catalina.valves.RemoteAddrValve" allow="127\.\d+\.\d+\.\d+|::1|0:0:0:0:0:0:0:1" /> -->重啟 Tomcat
/opt/tomcat/bin/shutdown.sh 停止 /opt/tomcat/bin/startup.sh 啟動訪問：http://localhost:8080/manager/html ，輸入 tomcat 和 tomcat，看到以下頁面代表成功
Jenkins 本身無法實作遠程部署到 Tomcat 的功能，需要安裝 Deploy to container 插件實作
添加 Tomcat 用戶憑證，添加構建后操作，選擇 Deploy war/ear to a container，部署到容器（遠程 tomcat）
改動代碼后的持續集成
- 原始碼修改并提交到 gitlab
- 在 Jenkins 中專案重新構建
- 訪問 Tomcat
2. Maven 專案構建
使用 Maven 專案構建需要安裝 Maven Integration 插件，拉取代碼和遠程部署的程序和自由風格專案一樣，只是構建部分不同，之前是通過 shell 來指定編譯后的行為，現在則是在 Build 操作界面輸入指定的 pom.xml 檔案路徑，輸入 maven 指令
3. Pipeline 流水線專案構建
3.1 Pipeline 簡介
Pipeline，簡單來說，就是一套運行在 Jenkins 上的作業流框架，將原來獨立運行于單個或者多個節點的任務連接起來，實作單個任務難以完成的復雜流程編排和可視化的作業
Pipeline 腳本是由 Groovy 語言實作的，支持兩種語法：Declarative（宣告式）和 Scripted Pipeline（腳本式）語法
Pipeline 也有兩種創建方法：
- 可以直接在 Jenkins 的 Web UI 界面中輸入腳本
- 也可以通過創建一個 Jenkinsfile 腳本檔案放入專案原始碼庫中（推薦在 Jenkins 中直接從源代碼控制 SCM 中直接載入 Jenkinsfile Pipeline 這種方法）
要使用 Pipeline，需安裝 Pipeline 插件，Manage Jenkins - Manage Plugins - 可選插件 – 安裝 Pipeline，安裝插件后，創建專案的時候多了流水線型別
3.2 Pipeline 語法快速入門
-
Declarative 宣告式 Pipeline
流水線 - 選擇 Declarative Pipeline - 選擇 HelloWorld 模板，生成內容如下：
pipeline { agent any stages { stage('Hello') { steps { echo 'Hello World' } } } }- stages：代表整個流水線的所有執行階段，通常 stages 只有一個，里面包含多個 stage
- stage：代表流水線中的某個階段，可能出現多個，一般分為拉取代碼，編譯構建，部署等階段
- steps：代表一個階段內需要執行的邏輯，steps 里面是 shell 腳本，git 拉取代碼，ssh 遠程發布等任意內容
撰寫一個簡單的宣告式 Pipeline：
pipeline { agent any stages { stage('拉取代碼') { steps { echo '拉取代碼' } } stage('編譯構建') { steps { echo '編譯構建' } } stage('專案部署') { steps { echo '專案部署' } } } }點擊構建，可以看到整個構建程序
我們可以在流水線語法里選擇片段生成器，快速生成 Pipeline 代碼：
-
生成一個 pull stage
選擇
checkout from version controller，拉取代碼，選擇型別為 git，填寫好 git 專案地址，填寫拉取分支名字，生成流水線腳本，腳本里就包含了憑證資訊 -
生成一個構建 stage
選擇
sh：shell script，輸入mvc clean package，點擊生成腳本 -
生成一個部署 stage
選擇
deploy，填寫WAR files：targer/*.war，選擇 tomcat 遠程，然后填寫 tomcat 的地址就可遠程部署，可以同時部署多臺 tomcat
-
Scripted 腳本式 Pipeline
流水線 - 選擇 Scripted Pipeline，撰寫一個簡單的腳本式 Pipeline：
node { def mvnHome stage('拉取代碼') { // for display purposes echo '拉取代碼' } stage('編譯構建') { echo '編譯構建' } stage('專案部署') { echo '專案部署' } }- Node：節點，一個 Node 就是一個 Jenkins 節點，Master 或者 Agent，是執行 Step 的具體運行環境
- Stage：階段，一個 Pipeline 可以劃分為若干個 Stage，每個 Stage 代表一組操作，比如：Build、Test、Deploy，Stage 是一個邏輯分組的概念
- Step：步驟，Step 是最基本的操作單元，可以是列印一句話，也可以是構建一個 Docker 鏡像，由各類 Jenkins 插件提供，比如命令：
sh 'make'，就相當于我們平時 shell 終端中執行 make 命令一樣
完整代碼如下：
pipeline{ agentanystages{ stage('拉取代碼'){ steps{ checkout([ $class: 'GitSCM', branches: [ [name: '*/master']], doGenerateSubmoduleConfigurations: false, extensions: [ ], submoduleCfg: [ ], userRemoteConfigs: [ [ credentialsId: '68f2087f-a034-4d39-a9ff-1f776dd3dfa8', url: '[email protected]: itheima_group/web_demo.git' ] ] ]) } }stage('編譯構建'){ steps{ shlabel: '', script: 'mvncleanpackage' } }stage('專案部署'){ steps{ deployadapters: [ tomcat8(credentialsId: 'afc43e5e-4a4e-4de6-984fb1d5a254e434', path: '', url: 'http: //192.168.66.102: 8080') ], contextPath: null, war: 'target/*.war' } } } } -
Pipeline Script from SCM
之前我們都是直接在 Jenkins 的 UI 界面撰寫 Pipeline 代碼，這樣不方便腳本維護，建議把 Pipeline 腳本放在專案中，一起進行版本控制
-
在專案根目錄建立 Jenkinsfile 檔案，撰寫腳本內容，把檔案上傳到 Gitlab
-
在專案中參考該檔案
-
點擊構建，就開始拉取，拉取后拿到 Jenkins 后操作
-
Jenkins 構建觸發器
Jenkins 內置了四種構建觸發器：
- 遠程觸發構建
- 其他工程構建后觸發（Build after other projects are build）
- 定時構建（Build periodically）
- 輪詢SCM（Poll SCM）
1. 遠程觸發構建
在 Jenkins 工程下點擊配置，然后構建觸發器，其他系統發送 URL 請求，就可以讓 Jenkins 開始構建（觸發構建）
觸發構建url：http://192.168.66.101:8888/job/web_demo_pipeline/build?token=6666
2. 其他工程構建后觸發
該觸發器的需求是：當前專案需要前一個專案構建完成后才能觸發
-
創建 pre_job 流水線工程，該工程構建完成后觸發當前專案
-
配置需要觸發的工程
3. 定時構建
選擇 Build periodically，輸入定時字串運算式，即可定時構建
下面是一些定時運算式的例子：
每30分鐘構建一次：H代表形參 H/30 * * * * 10:02 10:32
每2個小時構建一次: H H/2 * * *
每天的8點，12點，22點，一天構建3次： (多個時間點中間用逗號隔開) 0 8,12,22 * * *
每天中午12點定時構建一次 H 12 * * *
每天下午18點定時構建一次 H 18 * * *
在每個小時的前半個小時內的每10分鐘 H(0-29)/10 * * * *
每兩小時一次，每個作業日上午9點到下午5點(也許是上午10:38，下午12:38，下午2:38，下午4:38) H H(9-16)/2 * * 1-5
4. 輪詢 SCM
輪詢 SCM，是指定時掃描本地代碼倉庫的代碼是否有變更，如果代碼有變更就觸發專案構建
Jenkins 會定時掃描本地整個專案的代碼，增大系統的開銷，不建議使用輪詢 SCM
5. Git hook 自動觸發構建
利用 Gitlab 的 webhook 實作代碼 push 到倉庫，立即觸發專案自動構建，需要安裝兩個插件：Gitlab Hook 和 GitLab
需要把生成的 webhook URL 配置到 Gitlab 中：
- 使用 root 賬戶登錄到后臺，點擊 Admin Area - Settings - Network，勾選
Allow requests to the local network from web hooks and services讓網路鉤子允許請求本地網路 - 點擊專案 - Settings - Integrations，在專案添加 webhook
在 Jenkins 中，Manage Jenkins - Con?gure System，取消勾選 Enable authentication for '/project' end-point GitLab connections
Jenkins 引數化構建
有時候在專案構建的程序中，我們需要根據用戶的輸入動態傳入引數，從而影響整個構建結果，比如：我們希望根據用戶傳入的引數，部署不同的分支，這時我們可以使用引數化構建
在 Jenkins 添加字串型別引數
改動 pipeline 流水線代碼
點擊 Build with Parameters，就用指定引數開始了構建
Jenkins 配置郵箱服務器
安裝 Email Extension 插件 template，Jenkins 設定郵箱相關引數：Manage Jenkins - Configure System，
設定 Jenkins 默認郵箱資訊
在專案根目錄撰寫 email.html，并把檔案推送到 Gitlab，內容如下：
<!DOCTYPE html>
<html>
<head>
<meta charset="UTF-8">
<title>${ENV, var="JOB_NAME"}-第${BUILD_NUMBER}次構建日志</title>
</head>
<body leftmargin="8" margin topmargin="8" marginheight="4"
offset="0">
<table cellpadding="0" cellspacing="0"
style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sansserif">
<tr>
<td>(本郵件是程式自動下發的，請勿回復！)</td>
</tr>
<tr>
<td><h2>
<font color="#0000FF">構建結果 - ${BUILD_STATUS}</font>
</h2></td>
</tr>
<tr>
<td><br />
<b><font color="#0B610B">構建資訊</font></b>
<hr size="2" align="center" /></td>
</tr>
<tr>
<td>
<ul>
<li>專案名稱 ： ${PROJECT_NAME}</li>
<li>構建編號 ： 第${BUILD_NUMBER}次構建</li>
<li>觸發原因： ${CAUSE}</li>
<li>構建日志： <a
href="https://www.cnblogs.com/Yee-Q/archive/2022/02/02/${BUILD_URL}console">${BUILD_URL}console</a></li>
<li>構建 Url ： <a
href="https://www.cnblogs.com/Yee-Q/archive/2022/02/02/${BUILD_URL}">${BUILD_URL}</a></li>
<li>作業目錄 ： <a
href="https://www.cnblogs.com/Yee-Q/archive/2022/02/02/${PROJECT_URL}ws">${PROJECT_URL}ws</a></li>
<li>專案 Url ： <a
href="https://www.cnblogs.com/Yee-Q/archive/2022/02/02/${PROJECT_URL}">${PROJECT_URL}</a></li>
</ul>
</td>
</tr>
<tr>
<td><b><font color="#0B610B">Changes Since Last
Successful Build:</font></b>
<hr size="2" align="center" /></td>
</tr>
<tr>
<td>
<ul>
<li>歷史變更記錄 : <a
href="https://www.cnblogs.com/Yee-Q/archive/2022/02/02/${PROJECT_URL}changes">${PROJECT_URL}changes</a></li>
</ul> ${CHANGES_SINCE_LAST_SUCCESS,reverse=true, format="Changes for
Build #%n:<br />%c<br />",showPaths=true,changesFormat="<pre>[%a]<br
/>%m</pre>",pathFormat=" %p"}
</td>
</tr>
<tr>
<td><b>Failed Test Results</b>
<hr size="2" align="center" /></td>
</tr>
<tr>
<td><pre
style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica,
sans-serif">$FAILED_TESTS</pre>
<br /></td>
</tr>
<tr>
<td><b><font color="#0B610B">構建日志 (最后 100行):</font></b>
<hr size="2" align="center" /></td>
</tr>
<tr>
<td><textarea cols="80" rows="30" readonly="readonly"
style="font-family: Courier New">${BUILD_LOG,
maxLines=100}</textarea>
</td>
</tr>
</table>
</body>
</html>
撰寫 Jenkinsfile 添加構建后發送郵件的 Pipeline 代碼，這個 post 可以到宣告式腳本生成器里選擇 post，選擇對應的 conditions，比如選擇永遠都執行等等，他和 stage 是分開的
pipeline {
agent any
stages {
stage('拉取代碼') {
steps {
checkout([$class: 'GitSCM',
branches: [[name: '*/master']],
doGenerateSubmoduleConfigurations: false,
extensions: [],
submoduleCfg: [],
userRemoteConfigs: [[credentialsId: '68f2087f-a034-4d39-a9ff-1f776dd3dfa8',
url: '[email protected]:itheima_group/web_demo.git']]])
}
}
stage('編譯構建') {
steps {
sh label: '', script: 'mvn clean package'
}
}
stage('專案部署') {
steps {
deploy adapters: [tomcat8(credentialsId: 'afc43e5e-4a4e-4de6-984fb1d5a254e434',
path: '',
url: 'http://192.168.66.102:8080')],
contextPath: null,
war: 'target/*.war'
}
}
}
post { # 主要看這就行
always {
emailext(
subject: '構建通知：${PROJECT_NAME} - Build # ${BUILD_NUMBER} -${BUILD_STATUS}!',
body: '${FILE,path="email.html"}',
to: '[email protected]'
)
}
}
}
郵件相關全域引數參考串列：系統設定 - Extended E-mail Noti?cation - Content Token Reference，點擊旁邊的 ? 號
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/423301.html
標籤：其他
上一篇：Python中的引數屏蔽