主頁 > 作業系統 > 持續集成工具之Jenkins pipline簡單示例

持續集成工具之Jenkins pipline簡單示例

2020-10-15 16:14:27 作業系統

  前文我們主要聊了下jenkins的插件安裝、用戶及權限管理、郵件發送、配置憑證到gitlab上拉取專案和創建普通job;回顧請參考https://www.cnblogs.com/qiuhom-1874/p/13810648.html;今天我們來了解下jenkins的一個核心功能pipline以及jenkins的分布式slave節點的部署;

  pipline介紹

  pipline 是幫助 Jenkins 實作 CI 到 CD 轉變的重要角色,是運行在 jenkins 2.X 版本的核心插件,簡單來說 Pipline 就是一套運行于 Jenkins 上的作業流框架,將原本獨立運行于單個或者多個節點的任務連接起來,實作單個任務難以完成的復雜發布流程,從而實作單個任務很難實作的復雜流程編排和任務可視化,Pipeline 的實作方式是一套 Groovy DSL,任何發布流程都可以表述為一段 Groovy 腳本,

  pipline優勢

  可持續性:jenkins 的重啟或者中斷后不影響已經執行的 Pipline Job;

  支持暫停:pipline 可以選擇停止并等待人工輸入或批準后再繼續執行,

  可擴展:通過 groovy 的編程更容易的擴展插件,

  并行執行:通過 groovy 腳本可以實作 step,stage 間的并行執行,和更復雜的相互依賴關系,

  pipline語法

  Stage:階段,一個 pipline 可以劃分為若干個 stage,每個 stage 都是一個操作,比如 clone 代碼、代碼編譯、代碼測驗和代碼部署,階段是一個邏輯分組,可以跨多個 node 執行,

  Node:節點,每個 node 都是一個 jenkins 節點,可以是 jenkins master 也可以是 jenkins agent,node 是執行 step 的具體服務器,

  Step:步驟,step 是 jenkins pipline 最基本的操作單元,從在服務器創建目錄到構建容器鏡像,由各類Jenkins 插件提供實作,例如: sh “make”;

  示例

node {
stage("clone 代碼"){
echo "代碼 clone"
}
stage("代碼構建"){
echo "代碼構建"
}
stage("代碼測驗"){
echo "代碼測驗"
}
stage("代碼部署"){
echo "代碼部署"
}
}

  提示:上面是pipline腳本示例,node用于指定節點,stage用于指定階段名稱;而下面的echo就是在每個階段需要做的事;基本語法就是這樣;從上面的示例不難反應一個job的作業流程;我們寫pipline 構建pipline job就是根據專案構建流程來把要做的事用上述語法的形式表示出來,然后jenkins就可以根據我們定義的pipline任務,依次去各節點執行定義在自身的階段任務;

  創建pipline job

  提示:新建任務要首先給任務寫一個名稱,然后選擇流水線,點確定;

  提示:我們在general寫上任務描述,然后就可以直接到流水線把我們上面的pipline 示例貼在此處;

  提示:選擇立即構建;

  提示:最后執行成功就會顯示淺綠色的方格,每個方格代表一個階段;我們可以點擊方格查看對應階段執行的操作日志;如下

  當然我們也可以查看整個構建程序的日志,如下

  提示:找到左下方的構建時間,點擊時間后端小三角,選擇console output就可以查看整個構建的日志中了;

  當然,我上面只是一個很簡單的測驗,主要是讓我們去理解pipline執行的流程和效果;

  生成Groovy代碼

  示例:把拉取代碼生成Groovy腳本

  提示:點擊配置,進入到配置任務的界面;

  提示:找到流水線語法,然后點擊跳轉到另外一個頁面;

  提示:這里我們可以選擇很多型別,比如我們要拉去代碼,可以選擇git:Git ;

  提示:選擇git:Git后,它會讓我們輸入倉庫地址和憑證,如果這里沒有憑證我們也可以選擇添加憑證;選擇好以后點擊下面的生成流水線腳本;然后我們就可以把生成后的腳本,拷貝到我們需要執行的步驟里;

  提示:編輯好pipline腳本后,點擊應用,我們又可以去執行我們現在的任務;

  提示:可以看到我們第二次構構建任務也是執行成功的;在克隆代碼階段,我們也可以看到jenkins到我們指定的倉庫中拉去代碼;

  驗證:在服務器上對任務目錄中看看是否將gitlab上的代碼拉去下來了?

 

  提示:可以看到對應的任務目錄下的確有從gitlab上拉去的檔案;

  pipline 中執行 shell 命令

  提示:執行shell命令我用sh去執行,把要執行的shell命令用引號引起來;上面在代碼構建這個階段,用shell命令做了一件事,到test-pipline-job目錄打包了所有檔案,生成了一個test.tar.gz的壓縮檔案;

  驗證:執行test-pipline-job,看看服務器對應的目錄下是否有test.tar.gz檔案生成?

  提示:從構建日志和視圖上看是執行成功了;我們在去服務器上確認下

  提示:在test-pipline-job目錄下的確有test.tar.gz檔案生成;說明我們在代碼構建階段執行的shell命令成功了;

  配置jenkins的slave節點

  在要成為slave節點上安裝java環境

[root@node05 ~]# yum install -y java-1.8.0-openjdk-devel

  驗證:java環境

[root@node05 ~]# java -version
openjdk version "1.8.0_262"
OpenJDK Runtime Environment (build 1.8.0_262-b10)
OpenJDK 64-Bit Server VM (build 25.262-b10, mixed mode)
[root@node05 ~]# 

  創建存放slave資料的目錄

[root@node05 ~]# mkdir /data/jenkins/slave01 -p
[root@node05 ~]# tree /data
/data
└── jenkins
    └── slave01

2 directories, 0 files
[root@node05 ~]# 

  在jenkinsweb圖形界面找到節點管理,選擇新建節點

  提示:填寫slave節點名稱或者IP地址,然后選擇固定節點,然后點擊確定;

  提示:填寫對應的資訊,在啟動方式里選擇SSH,然后主機就寫slave主機的ip地址,然后選擇憑證,如果沒有就選擇添加;

  提示:這里把連接slave節點的用戶和密碼填寫上;也可以選擇公鑰私鑰,然后把私鑰放上去也行;填寫好,點添加;然后在憑證里再選我們添加的憑證;

  提示:這里如果是第一次連接slave我們要選擇為驗證那個選項,這樣jenkins去用ssh連接slave出現輸入yes,它會幫我們輸入,否則jenkins會連接上不是;如果之前用ssh連接過slave,host key驗證我們可以選擇第一個know那個;選擇好以后點擊保存就好;

  提示:以上就是成功將192.168.0.45配置成jenkins的slave節點的狀態,如果我們添加到對應節點上有小紅叉,說明我們添加slave節點有問題;我們可以查看日志,來排查對應的錯誤;

  查看slave構建日志

  提示:從上面日志上,我們可以看到jenkins啟動slave時,首先會去我們指定的資料目錄找java命令,然后回傳java的版本,然后啟動一個sftp執行緒,拷貝remoting.jar到我們指定的資料目錄,然后在slave節點上執行 java -jar 把對應的jar包運行起來;

  驗證:在192.168.0.45上查看是否運行了remoting.jar的行程

  提示:可以看到在192.168.0.45上,運行了一個remoting.jar的jave行程;

  配置 slave 執行 job

  執行job

  提示:這里提示我們執行job失敗,說沒有git;我們在slave節點上安裝git命令

[root@node05 ~]# yum install git -y

  再次構建job,看看是否能夠夠構建成功?

  提示:這里這個錯誤嚴格上不應該出現,我們在pipline中寫的構建代碼,cd的目錄在slave上是不存在的,所以構建代碼這一步就失敗了;

  修改pipline腳本,然后重新構建job

  再次構建

  查看執行job日志

  提示:在日志中的確可以看到,執行程序是在我們指定的slave節點上執行的;

  驗證:去slave節點上對應目錄下看看是否有test.tar.gz生成?

  提示:可以看到slave節點上對應目錄下生成了我們指定打包檔案;

轉載請註明出處,本文鏈接:https://www.uj5u.com/caozuo/172501.html

標籤:其他

上一篇:Linux系統安裝JDK1.8

下一篇:Kubernetes K8S之存盤ConfigMap詳解

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • CA和證書

    1、在 CentOS7 中使用 gpg 創建 RSA 非對稱密鑰對 gpg --gen-key #Centos上生成公鑰/密鑰對(存放在家目錄.gnupg/) 2、將 CentOS7 匯出的公鑰,拷貝到 CentOS8 中,在 CentOS8 中使用 CentOS7 的公鑰加密一個檔案 gpg -a ......

    uj5u.com 2020-09-10 00:09:53 more
  • Kubernetes K8S之資源控制器Job和CronJob詳解

    Kubernetes的資源控制器Job和CronJob詳解與示例 ......

    uj5u.com 2020-09-10 00:10:45 more
  • VMware下安裝CentOS

    VMware下安裝CentOS 一、軟硬體準備 1 Centos鏡像準備 1.1 CentOS鏡像下載地址 下載地址 1.2 CentOS鏡像下載程序 點擊下載地址進入如下圖的網站,選擇需要下載的版本,這里選擇的是Centos8,點擊如圖所示。 決定選擇Centos8后,選擇想要的鏡像源進行下載,此 ......

    uj5u.com 2020-09-10 00:12:10 more
  • 如何使用Grep命令查找多個字串

    如何使用Grep 命令查找多個字串 大家好,我是良許! 今天向大家介紹一個非常有用的技巧,那就是使用 grep 命令查找多個字串。 簡單介紹一下,grep 命令可以理解為是一個功能強大的命令列工具,可以用它在一個或多個輸入檔案中搜索與正則運算式相匹配的文本,然后再將每個匹配的文本用標準輸出的格式 ......

    uj5u.com 2020-09-10 00:12:28 more
  • git配置http代理

    git配置http代理 經常遇到克隆 github 慢的問題,這里記錄一下幾種配置 git 代理的方法,解決 clone github 過慢。 目錄 git配置代理 git單獨配置github代理 git配置全域代理 配置終端環境變數 git配置代理 主要使用 git config 命令 git單獨 ......

    uj5u.com 2020-09-10 00:12:33 more
  • Linux npm install 裝包時提示Error EACCES permission denied解

    npm install 裝包時提示Error EACCES permission denied解決辦法 ......

    uj5u.com 2020-09-10 00:12:53 more
  • Centos 7下安裝nginx,使用yum install nginx,提示沒有可用的軟體包

    Centos 7下安裝nginx,使用yum install nginx,提示沒有可用的軟體包。 18 (flaskApi) [root@67 flaskDemo]# yum -y install nginx 19 已加載插件:fastestmirror, langpacks 20 Loading ......

    uj5u.com 2020-09-10 00:13:13 more
  • Linux查看服務器暴力破解ssh IP

    在公網的服務器上經常遇到別人爆破你服務器的22埠,用來挖礦或者干其他嘿嘿嘿的事情~ 這種情況下正確的做法是: 修改默認ssh的22埠 使用設定密鑰登錄或者白名單ip登錄 建議服務器密碼為復雜密碼 創建普通用戶登錄服務器(root權限過大) 建立堡壘機,實作統一管理服務器 統計爆破IP [root ......

    uj5u.com 2020-09-10 00:13:17 more
  • CentOS 7系統常見快捷鍵操作方式

    Linux系統中一些常見的快捷方式,可有效提高操作效率,在某些時刻也能避免操作失誤帶來的問題。 ......

    uj5u.com 2020-09-10 00:13:31 more
  • CentOS 7作業系統目錄結構介紹

    作業系統存在著大量的資料檔案資訊,相應檔案資訊會存在于系統相應目錄中,為了更好的管理資料資訊,會將系統進行一些目錄規劃,不同目錄存放不同的資源。 ......

    uj5u.com 2020-09-10 00:13:35 more
最新发布
  • vim的常用命令

    Vim的6種基本模式 1. 普通模式在普通模式中,用的編輯器命令,比如移動游標,洗掉文本等等。這也是Vim啟動后的默認模式。這正好和許多新用戶期待的操作方式相反(大多數編輯器默認模式為插入模式)。 2. 插入模式在這個模式中,大多數按鍵都會向文本緩沖中插入文本。大多數新用戶希望文本編輯器編輯程序中一 ......

    uj5u.com 2023-04-20 08:43:21 more
  • vim的常用命令

    Vim的6種基本模式 1. 普通模式在普通模式中,用的編輯器命令,比如移動游標,洗掉文本等等。這也是Vim啟動后的默認模式。這正好和許多新用戶期待的操作方式相反(大多數編輯器默認模式為插入模式)。 2. 插入模式在這個模式中,大多數按鍵都會向文本緩沖中插入文本。大多數新用戶希望文本編輯器編輯程序中一 ......

    uj5u.com 2023-04-20 08:42:36 more
  • docker學習

    ###Docker概述 真實專案部署環境可能非常復雜,傳統發布專案一個只需要一個jar包,運行環境需要單獨部署。而通過Docker可將jar包和相關環境(如jdk,redis,Hadoop...)等打包到docker鏡像里,將鏡像發布到Docker倉庫,部署時下載發布的鏡像,直接運行發布的鏡像即可。 ......

    uj5u.com 2023-04-19 09:26:53 more
  • 設定Windows主機的瀏覽器為wls2的默認瀏覽器

    這里以Chrome為例。 1. 準備作業 wsl是可以使用Windows主機上安裝的exe程式,出于安全考慮,默認情況下改功能是無法使用。要使用的話,終端需要以管理員權限啟動。 我這里以Windows Terminal為例,介紹如何默認使用管理員權限打開終端,具體操作如下圖所示: 2. 操作 wsl ......

    uj5u.com 2023-04-19 09:25:49 more
  • docker學習

    ###Docker概述 真實專案部署環境可能非常復雜,傳統發布專案一個只需要一個jar包,運行環境需要單獨部署。而通過Docker可將jar包和相關環境(如jdk,redis,Hadoop...)等打包到docker鏡像里,將鏡像發布到Docker倉庫,部署時下載發布的鏡像,直接運行發布的鏡像即可。 ......

    uj5u.com 2023-04-19 09:19:04 more
  • Linux學習筆記

    IP地址和主機名 IP地址 ifconfig可以用來查詢本機的IP地址,如果不能使用,可以通過install net-tools安裝。 Centos系統下ens33表示主網卡;inet后表示IP地址;lo表示本地回環網卡; 127.0.0.1表示代指本機;0.0.0.0可以用于代指本機,同時在放行設 ......

    uj5u.com 2023-04-18 06:52:01 more
  • 解決linux系統的kdump服務無法啟動的問題

    問題:專案麒麟系統服務器的kdump服務無法啟動,沒有相關日志無法定位問題。 1、查看服務狀態是關閉的,重啟系統也無法啟動 systemctl status kdump 2、修改grub引數,修改“crashkernel”為“512M(有的機器數值太大太小都會導致報錯,建議從128M開始試,或者加個 ......

    uj5u.com 2023-04-12 09:59:50 more
  • 解決linux系統的kdump服務無法啟動的問題

    問題:專案麒麟系統服務器的kdump服務無法啟動,沒有相關日志無法定位問題。 1、查看服務狀態是關閉的,重啟系統也無法啟動 systemctl status kdump 2、修改grub引數,修改“crashkernel”為“512M(有的機器數值太大太小都會導致報錯,建議從128M開始試,或者加個 ......

    uj5u.com 2023-04-12 09:59:01 more
  • 你是不是暴露了?

    作者:袁首京 原創文章,轉載時請保留此宣告,并給出原文連接。 如果您是計算機相關從業人員,那么應該經歷不止一次網路安全專項檢查了,你肯定是收到過資訊系統技術檢測報告,要求你加強風險監測,確保你提供的系統服務堅實可靠了。 沒檢測到問題還好,檢測到問題的話,有些處理起來還是挺麻煩的,尤其是線上正在運行的 ......

    uj5u.com 2023-04-05 16:52:56 more
  • 細節拉滿,80 張圖帶你一步一步推演 slab 記憶體池的設計與實作

    1. 前文回顧 在之前的幾篇記憶體管理系列文章中,筆者帶大家從宏觀角度完整地梳理了一遍 Linux 記憶體分配的整個鏈路,本文的主題依然是記憶體分配,這一次我們會從微觀的角度來探秘一下 Linux 內核中用于零散小記憶體塊分配的記憶體池 —— slab 分配器。 在本小節中,筆者還是按照以往的風格先帶大家簡單 ......

    uj5u.com 2023-04-05 16:44:11 more