主頁 >  其他 > 在k8s上安裝Jenkins及常見問題

在k8s上安裝Jenkins及常見問題

2020-09-16 13:08:37 其他

持續集成和部署是DevOps的重要組成部分，Jenkins是一款非常流行的持續集成和部署工具，最近試驗了一下Jenkins，發現它是我一段時間以來用過的工具中最復雜的，一個可能的原因是它需要與各種其它工具集成才能完成任務，而集成的方法又各不相同，在這些工具中，Docker是最簡單的，真的非常好用，K8s比較復雜，開始要花些時間熟悉，但它的整體設計十分合理，一旦搞清核心概念，掌握脈絡之后，就非常順利，它的命令格式即規范又統一，使得有些命令自己都能猜出來，這就是好的設計帶來的福利，，但Jenkins給人的感覺就是開始的時候沒有設計得很好，后面在不斷地打補丁，導致一件事情有好幾種不同的做法，對不熟悉的人來講無所適從，沒有統一的風格，處處都是意外，使得整個系統看起來既龐雜又沒有章法，當然這也跟它出來的時間比較長有關，雖然它可能不是最好的，但它是免費的，因此不能要求太高，

由于種種原因，我的Jenkins安裝碰到了各種各樣的問題，為此我查看了大量的資料，但遺憾的是每個人安裝Jenkins的方法都有些不同，很難找到一篇文章能解決所有問題，在我看來，Jenkins的安裝有兩三個關鍵之處，非常容易出錯，一定要理解透徹才能成功，

本文分成兩部分，第一部分講正常安裝步驟，如果一切順利，就不需要看第二部分了，我只能說恭喜你，你的運氣太好了，第二部分是講各種問題及解決辦法，這應該是本文最有價值的部分，

第一部分：在 k8s上部署Jenkins

1. 安裝在什么地方?

容器化是大勢所趨，它不但包括應用程式的容器化，還包括與之相關的工具的容器化，當把Jenkins部署在K8s上時，Jenkins的主節點會根據情況自動生成子節點（新的容器）來完成任務，任務結束后會自動銷毀子節點，

我先在Windows上部署了VirtulBox虛機，并用Vagrant來管理虛機，再在虛機上部署了k8s，并通過Vagrant設定虛機和宿主機之間的網路共享，這樣就可以在宿主機上用游覽器直接訪問k8s上的Jenkins，另外還要把宿主機的硬碟掛載到Jenkins上，這樣Jenkins的物理存盤還是在宿主機上，即使虛機出了問題，所有的配置和資料都不會丟失，

2. 選擇鏡像檔案

這個看起來不是問題，但是一不留神就容易出錯，我就是因為選錯了鏡像，導致安裝了很多遍，最后才成功，在本文的第二部分會詳細說明，我最終用的鏡像檔案是“jenkinsci/jenkins:2.154-slim”，后來發現這個是比較舊的版本，新的鏡像 是“jenkins/jenkins:lts”， 但因為已經安裝成功了，就沒有再換，Jenkins真的很坑人，有三個鏡像“Jenkins”，“jenkinsci/jenkins”, "jenkins/jenkins", 其中正確的是"jenkins/jenkins"，

選好鏡像之后，可以先運行下面命令，下載Jenkins鏡像檔案到本地（虛機上），

vagrant@ubuntu-xenial:~$ docker pull jenkinsci/jenkins:2.154-slim

3. 安裝Jenkins鏡像：

在安裝之前，需要先把宿主機的Jenkins安裝目錄掛載到虛機上，這樣可以在本地直接操作Jenkins，
下面是Vagrant的組態檔（Vagrantfile）中的設定，它把宿主機的app目錄掛載到虛機的"/home/vagrant/app"，Jenkins就安裝在app目錄下，

config.vm.synced_folder "app/", "/home/vagrant/app", id: "app"

下面就是在宿主機上安裝好了的Jenkins目錄

file

安裝Jenkins鏡像分成四部分，創建服務賬戶，安裝持久卷，安裝部署和安裝服務，需要按順序進行，其中的關鍵是創建服務賬戶，這個是必須的，沒有它不會成功，不知為什么網上的有些文章沒有提到它，

服務賬戶組態檔（service-account.yaml）：

kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  namespace: default
  name: service-reader
rules:
  - apiGroups: [""] # "" indicates the core API group
    resources: ["services"]
    verbs: ["get", "watch", "list"]
  - apiGroups: [""]
    resources: ["pods"]
    verbs: ["create","delete","get","list","patch","update","watch"]
  - apiGroups: [""]
    resources: ["pods/exec"]
    verbs: ["create","delete","get","list","patch","update","watch"]
  - apiGroups: [""]
    resources: ["pods/log"]
    verbs: ["get","list","watch"]
  - apiGroups: [""]
    resources: ["secrets"]
    verbs: ["get"]

這里創建了一個名為“service-reader”的“ClusterRole”，并把特定的權限（例如["get", "watch", "list"]）賦給特定的資源（例如["services"]），

運行如下命令，創建一個名為“service-reader-pod”的集群角色系結，它的“clusterrole”是“service-reader”，它的名字是“default:default”，其中第一個“default”是名空間（namespace），第二個“default”是服務賬戶名字，后面的部署組態檔會參考這個名字（default），這里由于我沒有給Jenkins創建單獨的名空間，因此它用的默認名空間（“default”），

kubectl create clusterrolebinding service-reader-pod --clusterrole=service-reader  --serviceaccount=default:default

關于服務賬戶的權限定義，請參閱“Kubernetes plugin for Jenkins” .

持久卷組態檔（jenkins-volumn.yaml）：

apiVersion: v1
kind: PersistentVolume
metadata:
  name: k8sdemo-jenkins-pv
  labels:
    app: k8sdemo-jenkins
spec:
  capacity:
    storage: 1Gi
  # volumeMode field requires BlockVolume Alpha feature gate to be enabled.
  volumeMode: Filesystem
  accessModes:
    - ReadWriteOnce
  storageClassName: standard
  local:
    path: /home/vagrant/app/jenkins
  nodeAffinity:
    required:
      nodeSelectorTerms:
        - matchExpressions:
            - key: kubernetes.io/hostname
              operator: In
              values:
                - minikube
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: k8sdemo-jenkins-pvclaim
  labels:
    app: k8sdemo-jenkins
spec:
  accessModes:
    - ReadWriteOnce
  # storageClassName: local-storage
  resources:
    requests:
      storage: 1Gi #1 GB

部署組態檔（jenkins-deployment.yaml）：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: k8sdemo-jenkins-deployment
  labels:
    app: k8sdemo-jenkins
spec:
  selector:
    matchLabels:
      app: k8sdemo-jenkins
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: k8sdemo-jenkins
    spec:
      serviceAccountName: default # 服務賬戶的名字是default
      containers:
        - image: jenkinsci/jenkins:2.154-slim
          name: k8sdemo-jenkins-container
          imagePullPolicy: Never
          ports:
            - containerPort: 8080
            - containerPort: 50000
          volumeMounts:
            - name: k8sdemo-jenkins-persistentstorage
              mountPath: /var/jenkins_home
      volumes:
        - name: k8sdemo-jenkins-persistentstorage
          persistentVolumeClaim:
            claimName: k8sdemo-jenkins-pvclaim

注意，這里參考了服務賬戶“default”（serviceAccountName: default），

服務組態檔（jenkins-service.yaml）：

apiVersion: v1
kind: Service
metadata:
  name: k8sdemo-jenkins-service
  labels:
    app: k8sdemo-jenkins
spec:
  type: NodePort
  selector:
    app: k8sdemo-jenkins
  ports:
    - port: 8080
      name: http
      protocol : TCP
      nodePort: 30080
      targetPort: 8080
    - port: 50000
      name: agent
      protocol: TCP
      targetPort: 50000

這里面的一個關鍵點是部署和服務都暴露了兩個容器埠，一個是8080，另一個是50000. “8080”是外部訪問Jenkins的埠，“50000”是Jenkins內部集群之間的互相通信埠，這里的Jenkins集群不需要你搭建，而是Jenkins根據需要自動生成的，因此這兩個埠是必須配置的，這里的配置命令都是比較標準的k8s配置，因此沒有詳細解釋，

如果你想了解k8s命令詳情（包括Vagrant配置），請參閱“通過搭建MySQL掌握k8s（Kubernetes）重要概念（上）：網路與持久卷”.

運行下面命令創建Jenkins：

kubectl apply -f jenkins-volume.yaml
kubectl apply -f jenkins-deployment.yaml
kubectl apply -f jenkins-service.yaml

驗證安裝：

獲得Jenkins的Pod名

vagrant@ubuntu-xenial:~$ kubectl get pod
NAME                                           READY   STATUS    RESTARTS   AGE
envar-demo                                     1/1     Running   15         27d
k8sdemo-backend-deployment-6b99dc6b8c-tbl4v    1/1     Running   7          11d
k8sdemo-database-deployment-578fc88c88-mm6x8   1/1     Running   9          16d
k8sdemo-jenkins-deployment-675dd574cb-bt7rx    1/1     Running   2          24h

查看Jenkins日志

vagrant@ubuntu-xenial:~$ kubectl logs k8sdemo-jenkins-deployment-675dd574cb-bt7rx

Running from: /usr/share/jenkins/jenkins.war
webroot: EnvVars.masterEnvVars.get("JENKINS_HOME")
Nov 02, 2019 1:33:30 AM org.eclipse.jetty.util.log.Log initialized
INFO: Logging initialized @3749ms to org.eclipse.jetty.util.log.JavaUtilLog

，，，

INFO: Invalidating Kubernetes client: kubernetes null
Nov 02, 2019 1:35:50 AM hudson.WebAppMain$3 run
INFO: Jenkins is fully up and running
--> setting agent port for jnlp
--> setting agent port for jnlp... done

當看到“INFO: Jenkins is fully up and running”，就說明Jenkins已經運行好了，Jenkins的第一次啟動需要一定時間，要耐心等待，

4. 登錄

前面已經講過，你可以在Vagrant里設定宿主機和虛機之間的網路互訪，我的虛機的地址是“192.168.50.4”，“30080”是Jenkins服務的NodePort的對外地址，因此可以用“http://192.168.50.4:30080/” 訪問Jenkins，

登錄之前先要獲得初始口令，你可以在Jenkins的“secrets\initialAdminPassword”目錄里獲得管理員用戶初始口令，我掛載Jenkins的宿主機目錄是“E:\app2\kub\app\jenkins”， 因此口令檔案是“E:\app2\kub\app\jenkins\secrets\initialAdminPassword”，口令是“072d7157c090479195e0acaa97bc1049”，第一次登錄之后，需要重新設定用戶和口令，

5. 安裝推薦插件

登錄之后，先要安裝必要的插件才能完成整個安裝工程， 直接選“Install suggested plugins”就可以了，
file

6 安裝Kubernetes Plugin

用管理員賬戶登錄 Jenkins主頁面后，找到
Manage Jenkins-》Manage Plugins-》Available， 勾選安裝“Kubernetes plugin”即可，

下圖是安裝之后的圖：

file

7. 配置Kubernetes Plugin

用管理員賬戶登錄 Jenkins Master主頁面后，找到
Manage Jenkins-》Configure System-》，然后配置Kubernetes Plugin，如下圖所示：

file

這是最重要的一個配置，決定整個安裝的成敗，默認的“name”是“Kubernetes“，這個不需要修改，但以后配置Pipelines時要用到，“Kubernetes URL”用 “https://kubernetes.default” 就可以了，設定之后點擊“Test Connection”，見到“Connection test successful”就成功了，

“Jenkins URL”是從外部（從虛擬機而不是宿主機）訪問Jenkins的地址，
你可以用如下命令，找到Kubernetes的“Jenkins Url”：

vagrant@ubuntu-xenial:~$  sudo minikube service k8sdemo-jenkins-service  --url
http://10.0.2.15:30080
http://10.0.2.15:32289

另外一個引數是“Jenkins tunnel”，這個引數是Jenkins Master和Jenkins Slave之間通信必須配置的，但不知道為什么，網上的很多文章都沒提這個引數，也許是Jenkins的版本不同，有些版本可能不需要，

查看容器名

vagrant@ubuntu-xenial:~$ docker ps -a
CONTAINER ID        IMAGE                   COMMAND                  CREATED             STATUS                      PORTS               NAMES
d15e30169568        f793ea0abe00            "/sbin/tini -- /usr/…"   15 minutes ago      Up 15 minutes                                   k8s_k8sdemo-jenkins-container_k8sdemo-jenkins-deployment-675dd574cb-2thn2_default_fb10e438-0231-4fd2-8dbd-d9e2f0bb9d09_0

查看容器地址：

vagrant@ubuntu-xenial:~$ docker inspect d15e |grep _8080
                "K8SDEMO_JENKINS_SERVICE_PORT_8080_TCP_ADDR=10.100.3.79",
                "K8SDEMO_JENKINS_SERVICE_PORT_8080_TCP=tcp://10.100.3.79:8080",
                "K8SDEMO_JENKINS_SERVICE_PORT_8080_TCP_PROTO=tcp",
                "K8SDEMO_JENKINS_SERVICE_PORT_8080_TCP_PORT=8080",

根據上面資訊，Jenkins的地址是“tcp://10.100.3.79:8080”，把8080換成50000就可以了，最終結果是“10.100.3.79:50000”，注意不要添加“http”，

8. 測驗Jenkins：

現在Jenkins已經全部安裝好了， 下面進行測驗，在Jenkins主頁面點擊“New Item”創建新專案，如下圖所示，輸入專案名，然后選擇“Pipeline”，

file

進入專案配置頁面，如下圖所示，腳本檔案是jenkinsfile-test：

file

這是最簡單的測驗，它直接使用Jenkins主節點(主節點名是master），不需要啟動子節點，因此基本上都不會有什么問題，
在Jenkins主頁面選專案“test”，然后選“Build Now”運行專案，再到“Console Output”中查看結果如下：

Running in Durability level: MAX_SURVIVABILITY
[Pipeline] Start of Pipeline[Pipeline] podTemplate[Pipeline] {[Pipeline] nodeRunning on Jenkins in /var/jenkins_home/workspace/test
[Pipeline] {[Pipeline] stage[Pipeline] { (Run shell)[Pipeline] sh+ echo hello world.
hello world.
[Pipeline] }
[Pipeline] // stage
[Pipeline] }
[Pipeline] // node
[Pipeline] }
[Pipeline] // podTemplate
[Pipeline] End of Pipeline
Finished: SUCCESS

9. 測驗子節點：

這是復雜一點的測驗，需要啟動子節點，這個才能真正檢測出安裝的成敗，先創建一個新的專案“slave-test”，


def POD_LABEL = "testpod-${UUID.randomUUID().toString()}"
podTemplate(label: POD_LABEL, cloud: 'kubernetes', containers: [
    containerTemplate(name: 'build', image: 'jfeng45/k8sdemo-backend:1.0', ttyEnabled: true, command: 'cat'),
    containerTemplate(name: 'run', image: 'jfeng45/k8sdemo-backend:1.0', ttyEnabled: true, command: 'cat')
  ]) {

    node(POD_LABEL) {
        stage('build a go project') {
            container('build') {
                stage('Build a go project') {
                    sh 'echo hello'
                }
            }
        }

        stage('Run a Golang project') {
            container('run') {
                stage('Run a Go project') {
                    sh '/root/main.exe'
                }
            }
        }

    }
}

上面是腳本（jenkins-salve-test），其中“POD_LABEL”取任何名字都可以（在Kubernetes-plugin 1.17.0 版本之后，系統會自動命名，但以前需要自己取名），“cloud: 'kubernetes'”要與前面定義的“Kubernetes Plugin” 相匹配，它有兩個stage，一個是“build”，另一個是“run”，在“podTemplate”里定義了每一個stage的鏡像（這樣后面的stage腳本里就可以參考），這里為了簡便把兩個鏡像設成是一樣的，因為是測驗，第一個stage只是輸出“echo hello”， 第二個運行鏡像“jfeng45/k8sdemo-backend:1.0”里的main.exe程式，

在Jenkins主頁面選專案“slave-test”，然后選“Build Now”運行專案，再到“Console Output”中查看結果如下：

Running in Durability level: MAX_SURVIVABILITY
[Pipeline] Start of Pipeline[Pipeline] podTemplate[Pipeline] {[Pipeline] node
Still waiting to schedule task
‘testpod-f754a7a4-6883-4be0-ba4f-c693906041ae-fjwqs-kbb7l’ is offline

Agent testpod-f754a7a4-6883-4be0-ba4f-c693906041ae-fjwqs-kbb7l is provisioned from template Kubernetes Pod Template
Agent specification [Kubernetes Pod Template] (testpod-f754a7a4-6883-4be0-ba4f-c693906041ae): 
* [build] jfeng45/k8sdemo-backend:1.0
* [run] jfeng45/k8sdemo-backend:1.0

Running on testpod-f754a7a4-6883-4be0-ba4f-c693906041ae-fjwqs-kbb7l in /home/jenkins/workspace/slave-test
[Pipeline] {
[Pipeline] stage[Pipeline] { (build a go project)
[Pipeline] container[Pipeline] {
[Pipeline] stage
[Pipeline] { (Build a go project)[Pipeline] sh
+ echo heollo
heollo

[Pipeline] }
[Pipeline] // stage
[Pipeline] }
[Pipeline] // container
[Pipeline] }

[Pipeline] // stage
[Pipeline] stage
[Pipeline] { (Run a Golang project)[Pipeline] container
[Pipeline] {[Pipeline] stage[Pipeline] { (Run a Go project)
[Pipeline] sh
+ /root/main.exe
time="2019-11-03T01:56:59Z" level=debug msg="connect to database "
time="2019-11-03T01:56:59Z" level=debug msg="dataSourceName::@tcp(:)/?charset=utf8"
time="2019-11-03T01:56:59Z" level=debug msg="FindAll()"
time="2019-11-03T01:56:59Z" level=debug msg="user registere failed:dial tcp :0: connect: connection refused"

[Pipeline] }
[Pipeline] // stage

[Pipeline] }
[Pipeline] // container
[Pipeline] }

[Pipeline] // stage
[Pipeline] }
[Pipeline] // node

[Pipeline] }
[Pipeline] // podTemplate

[Pipeline] End of Pipeline
Finished: SUCCESS

運行成功，測驗階段就完成了，

用腳本來寫Pipeline有兩種方法，“Scripted Pipleline”和“Declarative Pipleline”，這里用的是第一種方法，詳情請見“Using a Jenkinsfile”. “Declarative Pipleline”是新的方法，我在以后的文章里會講到，這里因為是測驗，只要通過了就行，

不必須的安裝步驟：

還有些安裝步驟在某些文章中提到了，但它們只是錦上添花，不是必須的，如果你的配置出現了問題，不要懷疑是這些步驟沒執行造成的，

  1. 配置名空間（namespace）：
    有些安裝步驟為Jenkins配置了單獨的名空間，這樣當然更好，但你即使沒有配置也不會出現問題，
  2. Kubernetes server certificate key：
    有些安裝步驟提到要配置“Kubernetes server certificate key ”，但我并沒有設定它，也沒有影響運行，

第二部分： 常見問題

1. Jenkins版本不對：

最開始用的是jenkins:2.60.3-alpine(這個已經是Jenkins鏡像的最高版本了），這個版本太低，在安裝插件時基本上都不成功，如下圖

file

后來換成jenkins:latest，這個應該是最新的吧，結果 版本還是一樣的，只不過Linux不是Apline的，

后來終于明白了是鏡像錯了（而不是版本的問題），是要用Jenkinsci， 而不是Jenkins，我用了當時排在第一位的jenkinsci/jenkins:2.150.1-slim，安裝之后，上面的插件錯誤全部消失了，真不容易，

2. 不支持Kubernetes Plugin

但當安裝Kubernetes Plugin插件時，提示需要 2.150.3（我的是2.150.1），這也太坑了，只好再次重裝，這次用的是jenkinsci/jenkins:2.154-slim，還好終于成功了，不過這個其實還是以前的鏡像，最新的在“jenkins/jenkins”，

3. 不能訪問Kubernetes

錯誤資訊如下：

Forbidden!Configured service account doesn't have access. Service account may have been revoked. User "system:serviceaccount:default:default" cannot get services in the namespace "default"

詳情請參見Kubernetes log, User “system:serviceaccount:default:default” cannot get services in the namespace，

錯誤原因是沒有建立service account，解決辦法是先創建“service-account.yaml”檔案，然后運行如下命令：

kubectl create clusterrolebinding service-reader-pod --clusterrole=service-reader  --serviceaccount=default:default

再次運行，錯誤消失，

4. Jenkins URL地址不對

在Jenkins主頁面，進入Manage Jenkins-》System Log-》All Jenkins Logs, 錯誤資訊如下，

SEVERE: http://192.168.50.4:30080/ provided port:50000 is not reachable
java.io.IOException: http://192.168.50.4:30080/ provided port:50000 is not reachable
     at org.jenkinsci.remoting.engine.JnlpAgentEndpointResolver.resolve(JnlpAgentEndpointResolver.java:303)
     at hudson.remoting.Engine.innerRun(Engine.java:527)
     at hudson.remoting.Engine.run(Engine.java:488)

這個錯誤主要是和Kubernetes-plugin配置有關，在Jenkins主頁面，進入Manage Jenkins-》Configure System》，在“http://192.168.50.4:30080/configure” 里有兩個“Jenkins URL”，不要弄混了，
第一個是“Jenkins Location”下的“Jenkins URL”， 它是宿主機訪問Jenkins的地址，

file

第二個是“Cloud”下的“Jenkins URL”， 它是從虛擬機訪問Jenkins的地址，

file

在上圖中，我開始時用的是“http://192.168.50.4:30080/” ，但這個是從宿主機訪問Jenkins的Url，不是從虛機內部訪問的Url，
你可以用如下命令，找到Kubernetes的“Jenkins Url”

vagrant@ubuntu-xenial:~$  sudo minikube service k8sdemo-jenkins-service  --url
http://10.0.2.15:30080
http://10.0.2.15:32289

鍵入如下命令測驗URL，

vagrant@ubuntu-xenial:~$ curl http://10.0.2.15:30080
<html><head><meta http-equiv='refresh' content='1;url=/login?from=%2F'/><script>window.location.replace('/login?from=%2F');</script></head><body style='background-color:white; color:white;'>

Authentication required
<!--
You are authenticated as: anonymous
Groups that you are in:

Permission you need to have (but didn't): hudson.model.Hudson.Read
... which is implied by: hudson.security.Permission.GenericRead
... which is implied by: hudson.model.Hudson.Administer
-->

</body></html>

這就說明URL是好的，

5. 不能連接slave

“Jenkins Url”改了之后，地址是對的，但還是不通，運行專案時，頁面顯示如下資訊：

file

“Console Output”（在Jenkins->salve-test->#13中，其中#13是build #）顯示如下資訊：

Running in Durability level: MAX_SURVIVABILITY
[Pipeline] Start of Pipeline[Pipeline] podTemplate[Pipeline] {[Pipeline] node
Still waiting to schedule task
‘testpod-d56038a0-45a2-41d1-922d-2879e3610900-0hr0m-sfv8s’ is offline

后來發現還有一個引數要填寫，就是“Jenkins tunnel”，如下圖所示，

file

詳情請見 Kubernetes Jenkins plugin - slaves always offline.

填寫之后原來的資訊沒有了，而且出現了“Agent discovery successful”，這個資訊是原來沒有的，但又有新的錯誤，
可用如下方法查看系統日志，在Jenkins主頁面，選擇Manage Jenkins-》System Log-》All Jenkins Logs, 資訊是這樣的：

INFO: Agent discovery successful
  Agent address: http://10.0.2.15
  Agent port:    50000
  Identity:      3e:1b:5f:48:f7:5b:f8:6d:ea:49:1d:b9:44:9a:2f:6c
Oct 30, 2019 12:18:51 AM hudson.remoting.jnlp.Main$CuiListener status
INFO: Handshaking
Oct 30, 2019 12:18:51 AM hudson.remoting.jnlp.Main$CuiListener status
INFO: Connecting to http://10.0.2.15:50000
Oct 30, 2019 12:18:51 AM hudson.remoting.jnlp.Main$CuiListener error
SEVERE: null
java.nio.channels.UnresolvedAddressException
     at sun.nio.ch.Net.checkAddress(Net.java:101)
     at sun.nio.ch.SocketChannelImpl.connect(SocketChannelImpl.java:622)
     at java.nio.channels.SocketChannel.open(SocketChannel.java:189)
     at org.jenkinsci.remoting.engine.JnlpAgentEndpoint.open(JnlpAgentEndpoint.java:203)
     at hudson.remoting.Engine.connectTcp(Engine.java:678)
     at hudson.remoting.Engine.innerRun(Engine.java:556)
     at hudson.remoting.Engine.run(Engine.java:488)

它的原因是“JenkinsTunnel”的地址還是不對，可用如下方法找到“Jenkins tunnel”地址：

vagrant@ubuntu-xenial:~$ docker ps -a
CONTAINER ID        IMAGE                   COMMAND                  CREATED             STATUS                      PORTS               NAMES
d15e30169568        f793ea0abe00            "/sbin/tini -- /usr/…"   15 minutes ago      Up 15 minutes                                   k8s_k8sdemo-jenkins-container_k8sdemo-jenkins-deployment-675dd574cb-2thn2_default_fb10e438-0231-4fd2-8dbd-d9e2f0bb9d09_0

vagrant@ubuntu-xenial:~$ docker inspect d15e |grep _8080
                "K8SDEMO_JENKINS_SERVICE_PORT_8080_TCP_ADDR=10.100.3.79",
                "K8SDEMO_JENKINS_SERVICE_PORT_8080_TCP=tcp://10.100.3.79:8080",
                "K8SDEMO_JENKINS_SERVICE_PORT_8080_TCP_PROTO=tcp",
                "K8SDEMO_JENKINS_SERVICE_PORT_8080_TCP_PORT=8080",

根據上面資訊，Jenkins容器地址是“tcp://10.100.3.79:8080”，把8080換成50000就可以了，最終結果是“10.100.3.79:50000”，注意不要添加“http”，
詳情請見 What setting to use for jenkins tunnel?

6. 鏡像問題

當使用的鏡像檔案是“k8sdemo-backend：latest”或“k8sdemo-backend：1.0”時，“Console Output”顯示錯誤如下：

Running in Durability level: MAX_SURVIVABILITY
[Pipeline] Start of Pipeline[Pipeline] podTemplate[Pipeline] {[Pipeline] nodeStill waiting to schedule task
All nodes of label ‘testpod-2971e0ce-e023-475f-b0ec-6118c5699188’ are offline
Aborted by admin[Pipeline] // node
[Pipeline] }
[Pipeline] // podTemplate
[Pipeline] End of Pipeline
Finished: ABORTED

查看Pod, 錯誤是“ImagePullBackOff”：

vagrant@ubuntu-xenial:~$ kubectl get pod
NAME                                                       READY   STATUS             RESTARTS   AGE
envar-demo                                                 1/1     Running            15         28d
k8sdemo-backend-deployment-6b99dc6b8c-tbl4v                1/1     Running            7          12d
k8sdemo-database-deployment-578fc88c88-mm6x8               1/1     Running            9          17d
k8sdemo-jenkins-deployment-675dd574cb-bt7rx                1/1     Running            2          2d
testpod-2971e0ce-e023-475f-b0ec-6118c5699188-xwwqq-vv59p   2/3     ImagePullBackOff   0          38s

查看鏡像：

vagrant@ubuntu-xenial:~$ docker image ls
REPOSITORY                                TAG                 IMAGE ID            CREATED             SIZE
jfeng45/k8sdemo-backend                   1.0                 f48d362fdebf        11 days ago         14.4MB
k8sdemo-backend                           1.0                 f48d362fdebf        11 days ago         14.4MB
k8sdemo-backend                           latest              f48d362fdebf        11 days ago         14.4MB

這里一共有三個“k8sdemo-backend”鏡像，它們的“Image ID”都是一樣的，之所以有三個是因為我用如下命令創建了tag

docker tag k8sdemo-backend jfeng45/k8sdemo-backend：1.0

但創建了之后，就只有“jfeng45/k8sdemo-backend：1.0”（最晚創建的）能夠用在Jenkins的Pipeline腳本里，其他兩個都會報錯，修改了正確的鏡像檔案之后就運行成功了，

7. pv和pvc洗掉慢

當用以下命令洗掉pv時，命令遲遲不能回傳，

kubectl delete pv k8sdemo-jenkins-pv

當你查看時，狀態（status）顯示一直是“Terminating”，但總是不能結束退出，pvc也是一樣，

vagrant@ubuntu-xenial:~$ kubectl get pv
NAME                  CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS        CLAIM                              STORAGECLASS   REASON   AGE
k8sdemo-backend-pv    1Gi        RWO            Retain           Bound         default/k8sdemo-backend-pvclaim    standard                13d
k8sdemo-database-pv   1Gi        RWO            Retain           Bound         default/k8sdemo-database-pvclaim   standard                18d
k8sdemo-jenkins-pv    1Gi        RWO            Retain           Terminating   default/k8sdemo-jenkins-pvclaim    standard                6d8h

這個主要原因是用到它們的服務和部署還在運行，先把服務和部署洗掉之后，pv和pvc的洗掉操作就馬上結束，順利回傳了，

原始碼:

完整原始碼的github鏈接

注意，本文的程式在0.1（tag）下，這個程式的主分支以后還會修改，

下面是程式的目錄結構，黃色部分是與本文有關的組態檔，

file

索引：

  1. Kubernetes plugin for Jenkins
  2. 通過搭建MySQL掌握k8s（Kubernetes）重要概念（上）：網路與持久卷
  3. Using a Jenkinsfile
  4. Kubernetes log, User “system:serviceaccount:default:default” cannot get services in the namespace
  5. Kubernetes Jenkins plugin - slaves always offline.
  6. What setting to use for jenkins tunnel?
  7. 初試 Jenkins 使用 Kubernetes Plugin 完成持續構建與發布

本文由博客一文多發平臺 OpenWrite 發布！

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/57244.html

標籤：其他

上一篇：如何用matlab將影像的橫條紋去除

下一篇：Idea中Maven下的Generate Sources and update folders for all projects選項是干嘛用的？？？

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C＃(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 網閘典型架構簡述

    網閘架構一般分為兩種：三主機的三系統架構網閘和雙主機的2+1架構網閘。 三主機架構分別為內端機、外端機和仲裁機。三機無論從軟體和硬體上均各自獨立。首先從硬體上來看，三機都用各自獨立的主板、記憶體及存盤設備。從軟體上來看，三機有各自獨立的作業系統。這樣能達到完全的三機獨立。對于“2+1”系統，“2”分為 ......

    uj5u.com 2020-09-10 02:00:44 more
  • 如何從xshell上傳檔案到centos linux虛擬機里

    如何從xshell上傳檔案到centos linux虛擬機里及：虛擬機CentOs下執行 yum -y install lrzsz命令，出現錯誤：鏡像無法找到軟體包 前言 一、安裝lrzsz步驟 二、上傳檔案 三、遇到的問題及解決方案 總結 前言 提示：其實很簡單，往虛擬機上安裝一個上傳檔案的工具 ......

    uj5u.com 2020-09-10 02:00:47 more
  • 一、SQLMAP入門

    一、SQLMAP入門 1、判斷是否存在注入 sqlmap.py -u 網址/id=1 id=1不可缺少。當注入點后面的引數大于兩個時。需要加雙引號， sqlmap.py -u "網址/id=1&uid=1" 2、判斷文本中的請求是否存在注入 從文本中加載http請求，SQLMAP可以從一個文本檔案中 ......

    uj5u.com 2020-09-10 02:00:50 more
  • Metasploit 簡單使用教程

    metasploit 簡單使用教程 浩先生， 2020-08-28 16:18:25 分類專欄： kail 網路安全 linux 文章標簽： linux資訊安全 編輯 著作權 metasploit 使用教程 前言 一、Metasploit是什么？ 二、準備作業 三、具體步驟 前言 Msfconsole ......

    uj5u.com 2020-09-10 02:00:53 more
  • 游戲逆向之驅動層與用戶層通訊

    驅動層代碼： #pragma once #include <ntifs.h> #define add_code CTL_CODE(FILE_DEVICE_UNKNOWN,0x800,METHOD_BUFFERED,FILE_ANY_ACCESS) /* 更多游戲逆向視頻www.yxfzedu.com ......

    uj5u.com 2020-09-10 02:00:56 more
  • 北斗電力時鐘（北斗授時服務器）讓網路資料更精準

    北斗電力時鐘（北斗授時服務器）讓網路資料更精準 北斗電力時鐘（北斗授時服務器）讓網路資料更精準 京準電子科技官微——ahjzsz 近幾年，資訊技術的得了快速發展，互聯網在逐漸普及，其在人們生活和生產中都得到了廣泛應用，并且取得了不錯的應用效果。計算機網路資訊在電力系統中的應用，一方面使電力系統的運行 ......

    uj5u.com 2020-09-10 02:01:03 more
  • 【CTF】CTFHub 技能樹 彩蛋 writeup

    ?碎碎念 CTFHub：https://www.ctfhub.com/ 筆者入門CTF時時剛開始刷的是bugku的舊平臺，后來才有了CTFHub。 感覺不論是網頁UI設計，還是題目質量，賽事跟蹤，工具軟體都做得很不錯。 而且因為獨到的金幣制度的確讓人有一種想去刷題賺金幣的感覺。 個人還是非常喜歡這個 ......

    uj5u.com 2020-09-10 02:04:05 more
  • 02windows基礎操作

    我學到了一下幾點 Windows系統目錄結構與滲透的作用 常見Windows的服務詳解 Windows埠詳解 常用的Windows注冊表詳解 hacker DOS命令詳解（net user / type /md /rd/ dir /cd /net use copy、批處理 等） 利用dos命令制作 ......

    uj5u.com 2020-09-10 02:04:18 more
  • 03.Linux基礎操作

    我學到了以下幾點 01Linux系統介紹02系統安裝，密碼啊破解03Linux常用命令04LAMP 01LINUX windows： win03 8 12 16 19 配置不繁瑣 Linux：redhat,centos(紅帽社區版)，Ubuntu server,suse unix:金融機構，證券，銀 ......

    uj5u.com 2020-09-10 02:04:30 more
  • 05HTML

    01HTML介紹 02頭部標簽講解03基礎標簽講解04表單標簽講解 HTML前段語言 js1.了解代碼2.根據代碼 懂得挖掘漏洞 （POST注入/XSS漏洞上傳）3.黑帽seo 白帽seo 客戶網站被黑帽植入劫持代碼如何處理4.熟悉html表單 <html><head><title>TDK標題，描述 ......

    uj5u.com 2020-09-10 02:04:36 more
最新发布
  • 2023年最新微信小程式抓包教程

    01 開門見山 隔一個月發一篇文章，不過分。 首先回顧一下《微信系結手機號資料庫被脫庫事件》，我也是第一時間得知了這個訊息，然后跟蹤了整件事情的經過。下面是這起事件的相關截圖以及近日流出的一萬條資料樣本： 個人認為這件事也沒什么，還不如關注一下之前45億快遞資料查詢渠道疑似在近日復活的訊息。 訊息是 ......

    uj5u.com 2023-04-20 08:48:24 more
  • web3 產品介紹：metamask 錢包 使用最多的瀏覽器插件錢包

    Metamask錢包是一種基于區塊鏈技術的數字貨幣錢包，它允許用戶在安全、便捷的環境下管理自己的加密資產。Metamask錢包是以太坊生態系統中最流行的錢包之一，它具有易于使用、安全性高和功能強大等優點。 本文將詳細介紹Metamask錢包的功能和使用方法。 一、 Metamask錢包的功能 數字資 ......

    uj5u.com 2023-04-20 08:47:46 more
  • vulnhub_Earth

    前言 靶機地址->>>vulnhub_Earth 攻擊機ip：192.168.20.121 靶機ip：192.168.20.122 參考文章 https://www.cnblogs.com/Jing-X/archive/2022/04/03/16097695.html https://www.cnb ......

    uj5u.com 2023-04-20 07:46:20 more
  • 從4k到42k，軟體測驗工程師的漲薪史，給我看哭了

    清明節一過，盲猜大家已經無心上班，在數著日子準備過五一，但一想到銀行卡里的余額……瞬間心情就不美麗了。最近，2023年高校畢業生就業調查顯示，本科畢業月平均起薪為5825元。調查一出，便有很多同學表示自己又被平均了。看著這一資料，不免讓人想到前不久中國青年報的一項調查：近六成大學生認為畢業10年內會 ......

    uj5u.com 2023-04-20 07:44:00 more
  • 最新版本 Stable Diffusion 開源 AI 繪畫工具之中文自動提詞篇

    🎈 標簽生成器 由于輸入正向提示詞 prompt 和反向提示詞 negative prompt 都是使用英文，所以對學習母語的我們非常不友好 使用網址：https://tinygeeker.github.io/p/ai-prompt-generator 這個網址是為了讓大家在使用 AI 繪畫的時候 ......

    uj5u.com 2023-04-20 07:43:36 more
  • 漫談前端自動化測驗演進之路及測驗工具分析

    隨著前端技術的不斷發展和應用程式的日益復雜，前端自動化測驗也在不斷演進。隨著 Web 應用程式變得越來越復雜，自動化測驗的需求也越來越高。如今，自動化測驗已經成為 Web 應用程式開發程序中不可或缺的一部分，它們可以幫助開發人員更快地發現和修復錯誤，提高應用程式的性能和可靠性。 ......

    uj5u.com 2023-04-20 07:43:16 more
  • CANN開發實踐：4個DVPP記憶體問題的典型案例解讀

    摘要：由于DVPP媒體資料處理功能對存放輸入、輸出資料的記憶體有更高的要求（例如，記憶體首地址128位元組對齊），因此需呼叫專用的記憶體申請介面，那么本期就分享幾個關于DVPP記憶體問題的典型案例，并給出原因分析及解決方法。 本文分享自華為云社區《FAQ_DVPP記憶體問題案例》，作者：昇騰CANN。 DVPP ......

    uj5u.com 2023-04-20 07:43:03 more
  • msf學習

    msf學習 以kali自帶的msf為例 一、msf核心模塊與功能 msf模塊都放在/usr/share/metasploit-framework/modules目錄下 1、auxiliary 輔助模塊，輔助滲透（埠掃描、登錄密碼爆破、漏洞驗證等） 2、encoders 編碼器模塊，主要包含各種編碼 ......

    uj5u.com 2023-04-20 07:42:59 more
  • Halcon軟體安裝與界面簡介

    1. 下載Halcon17版本到到本地 2. 雙擊安裝包后 3. 步驟如下 1.2 Halcon軟體安裝 界面分為四大塊 1. Halcon的五個助手 1) 影像采集助手：與相機連接，設定相機引數，采集影像 2) 標定助手：九點標定或是其它的標定，生成標定檔案及內參外參，可以將像素單位轉換為長度單位 ......

    uj5u.com 2023-04-20 07:42:17 more
  • 在MacOS下使用Unity3D開發游戲

    第一次發博客，先發一下我的游戲開發環境吧。 去年2月份買了一臺MacBookPro2021 M1pro(以下簡稱mbp)，這一年來一直在用mbp開發游戲。我大致分享一下我的開發工具以及使用體驗。 1、Unity 官網鏈接： https://unity.cn/releases 我一般使用的Apple ......

    uj5u.com 2023-04-20 07:40:19 more

Copyright © 2010-2020 有解無憂