群暉下 gitea+drone+harbor實作CI/CD 發布到云服務器-有解無憂

常用命令

sudo -i然后輸入密碼登錄root賬戶（群暉默認只能使用admin賬號登陸）

vim xxx編輯（編輯是進去之后按i，退出并保存是按esc，然后:wq!再回車）

mkdir xx創建檔案夾

準備

1. 群暉一般默認安裝docker

        我們不需要進行安裝，如果沒有安裝，則去套件中心進行安裝即可

2. 域名

        這個不做詳細贅述 比如，此文中域名是www.mydomain.com

3. 檔案夾權限

        在群暉的volume2的docker檔案夾下創建/volume2/docker/gitea/data、/volume2/docker/gitea/data、/volume2/docker/harbor/common/config，并賦予Everyone權限

4. root權限

         drone的deploy步驟需要root權限來進行docker發布，所以需要群暉的root也開一下，但是群暉默認關閉root

ssh中sudo -i進入root權限
vim /etc/ssh/sshd_config
將#PermitRootLogin 這一行去掉注釋，修改為PermitRootLogin yes
保存退出，然后執行synouser --setpw root xxxxxx  （xxxxxx就是你的root密碼）
reboot重啟群暉即可

安裝PostgreSQL

執行下面的陳述句，安裝postgres資料庫，安裝成功之后，用戶名是postgres，密碼是postgrespw，埠號是14332，初始資料庫是postgres
docker run --name postgres -e POSTGRES_PASSWORD=postgrespw -v /volume2/docker/postgres/data:/var/lib/postgresql/data -d -p 14332:5432 postgres
執行成功之后我們可以使用導航貓（navicat）連接試一下，連接成功之后添加一個gitea資料庫

安裝gitea

執行下面的陳述句，安裝gitea
docker run -d --name=gitea -p 10022:22 -p 13000:3000 -v /volume2/docker/gitea/data:/data gitea/gitea

安裝成功之后進入http://www.mydomain.com:13000,此時是一個gitea初始化的界面設定資料庫連接是postgresql，資料庫名稱是gitea；修改站點名稱，服務器域名www.mydomain.com,http埠3000，基礎URL：http://www.mydomain.com:13000/ , 管理員賬號密碼填寫gitea賬號密碼(比如賬號是myusername)，郵箱寫一個然后點擊安裝
安裝成功之后我們將進入http://www.mydomain.com:13000，輸入賬號密碼進入，新建一個倉庫，這個倉庫可以是從其他網站倉庫地址拉過來的，拉取過來的倉庫只有只讀權限，我們需要將倉庫更改為普通倉庫（在倉庫設定=>危險操作區=>轉移倉庫所有權），否則會造成無法提交的問題（gitea mirror repository is read-only）

下一步，進行drone設定，此時我們的drone未安裝，但是我們將14000埠分配給它使用，也就是http://www.mydomain.com:14000
點擊頭像（右上角）=>設定=>應用=>創建新的 OAuth2 應用程式，應用名稱填寫drone，重定向 URI填寫http://www.mydomain.com:14000/login，點擊創建應用，記錄一下client-id、client-secret

安裝drone

在安裝之前，我們可以先執行一下
openssl rand -hex 16來獲取一個共享的key，這個key值我們下面將使用到（當然也可以使用其他方法來隨機獲取一個加密程度更高的key）

安裝drone server

docker run \
  --volume=/var/lib/drone:/data \
  --env=DRONE_GITEA_SERVER=http://www.mydomain.com:13000 \
  --env=DRONE_GITEA_CLIENT_ID=client-id \
  --env=DRONE_GITEA_CLIENT_SECRET=client-secret \
  --env=DRONE_RPC_SECRET=共享的key \
  --env=DRONE_SERVER_HOST=www.mydomain.com:14000 \
  --env=DRONE_DATABASE_DRIVER=postgres \
  --env=DRONE_DATABASE_DATASOURCE=postgres://postgres:[email protected]:14332/postgres?sslmode=disable \
  --env=DRONE_SERVER_PROTO=http \
  --publish=14000:80 \
  --publish=14443:443 \
  --restart=always \
  --detach=true \
  --name=drone \
  --env=DRONE_USER_CREATE=username:myusername,admin:true \
  drone/drone:2

安裝drone-runner

docker run --detach \
  --volume=/var/run/docker.sock:/var/run/docker.sock \
  --env=DRONE_RPC_PROTO=http \
  --env=DRONE_RPC_HOST=www.mydomain.com:14000 \
  --env=DRONE_RPC_SECRET=共享的key \
  --env=DRONE_RUNNER_CAPACITY=2 \
  --env=DRONE_RUNNER_NAME=test-runner \
  --env=DRONE_AGENTS_ENABLED=true \
  --publish=14300:3000 \
  --restart=always \
  --name=runner \
  drone/drone-runner-docker:1

安裝成功之后，進入http://www.mydomain.com:14000,應該可以看到剛才我們在gitea創建的倉庫了

在此時的gitea里面，我們在這個專案的設定=>Web 鉤子里面能看到一個網址連接，這個網址連接就指向的是drone

點擊倉庫進去，在settings里面打開Trusted

然后在左下角的setting里面添加用戶test-runner（對應drone-runner安裝里面的DRONE_RUNNER_NAME）

此時，我們的gitea和drone已經OK了，我們來安裝一下harbor

安裝harbor

1. 安裝程序

參考使用Harbor搭建Docker私有鏡像倉庫，去[goharbor/harbor/releases (https://github.com/goharbor/harbor/releases)下載一下最新版的harbor-offline-installer-vx.x.x.tgz，建議首先

cd /volume2/docker
wget https://github.com/goharbor/harbor/releases/download/v1.10.11/harbor-offline-installer-v1.10.11.tgz
tar -zxvf harbor-offline-installer-v1.10.11.tgz
cd harbor
mkdir common
cd common
mkdir config
cd /volume2/docker/harbor
vim harbor.yml  //修改一下hostname和port，比如hostname：www.mydomain.com ， port：19080, 然后保存退出
sudo ./install.sh //最后會輸出`Harbor has been installed  and started successfully`，說明安裝成功

我們進入http://www.mydomain.com:19080，然后輸入賬號admin，密碼Harbor12345，進入后去更改一下密碼（！！！注意，此時的密碼不能有特殊符號，否則不會保存，更改harbor.yml時，里面的所有密碼最好不要隨意更改）
然后去系統設定=>用戶管理新增一個用戶（用戶名：myharborname,密碼：myharborpw），便于一會兒進行docker的操作
同時點擊專案=>library=>成員=>添加用戶，將myharborname添加進來，權限設定成專案管理員（否則有可能出現publish階段的denied: requested access to the resource is denied問題，該問題也可以通過docker login www.mydomain.com:19080登陸一下來嘗試解決）

2. 問題

如果出現了harbor-db容器經常重啟的問題，可以通過docker logs --tail="100" harbor-db //查看最近100行日志，如果日志是could not write lock file "postmaster.pid": No space left on device或者通過cat /var/log/harbor/postgresql.log | tail -20查出來的日志包含could not close temporary statistics file "pg_stat_tmp/db_12406.tmp": No space left on device，那說明docker提交太頻繁導致記憶體不足，

cat /volume2/docker/harbor/docker-compose.yml --查看一下postgresql的映射路徑，發現是/data/database
cd /data/database
rm -rf /data/database
cd /data
mkdir database
cd /volume2/docker/harbor
docker-compose down -v --關閉所有的harbor容器
cd /volume2/docker/harbor/common/config
rm -rf *
cd /volume2/docker/harbor
sudo ./install.sh --重新安裝一下，密碼、用戶等需要重新添加一次

如果出現了http://www.mydomain.com:19080登陸報錯500，那么一般去重啟一下harbor的nginx容器即可

CI和CD

我們再去drone中剛才的倉庫中setting=>Secret新增兩個Secret
分別是：
docker_username 值：myharborname ； docker_password 值：myharborpw

之前的倉庫我們拉取到本地，推薦使用Sourcetree，拉取之后在倉庫的根目錄下面創建兩個檔案.drone.yml和Dockerfile
我這里使用的是.net 6，所有Dockerfile內容：

FROM mcr.microsoft.com/dotnet/aspnet:6.0
COPY . .
WORKDIR /app
EXPOSE 29029/tcp
ENTRYPOINT ["dotnet", "k8s-netcore-demo.dll"]

.drone.yml的內容：

kind: pipeline
type: docker
name: deployment

steps:
- name: ls
  image: alpine
  commands:
  - ls -la
  - ls -la Dockerfile  --查看當前檔案夾是否包含了Dockerfile
- name: build
  image: mcr.microsoft.com/dotnet/sdk:6.0
  commands:
  - dotnet restore
  - dotnet build -c Release -o /drone/src_temp/k8s-netcore-demo/ --no-restore  --build之后的檔案輸出到/drone/src_temp/k8s-netcore-demo/目錄中，因為專案檔案默認在/drone/src/目錄，而build默認輸出也是/drone/src/，我們后面發布到docker里面只需要發布build的檔案即可，所以先輸出到臨時目錄
  - mv /drone/src/Dockerfile /drone/src_temp/k8s-netcore-demo/ --將專案檔案目錄中的Dockerfile也移動到臨時目錄
  - rm -rf *   --洗掉專案檔案/drone/src/下面的所有檔案
  - mv /drone/src_temp/k8s-netcore-demo/* /drone/src  --將臨時目錄的檔案移動到drone執行的默認目錄中
  - ls -la  --查看最后的/drone/src/下檔案，可以驗證一下是不是build之后+Dockerfile檔案
  - pwd  --輸出當前檔案夾路徑
  - echo 專案生成成功
- name: publish 2 harbor
  image: plugins/docker
  settings: 
    dockerfile: Dockerfile
    tags: latest
    insecure: true
    registry: www.mydomain.com:19080
    repo: www.mydomain.com:19080/library/k8s-netcore-demo
    storage_driver: vfs
    username: 
      from_secret: docker_username
    password: 
      from_secret: docker_password
- name: deploy
  image: appleboy/drone-ssh
  pull: true
  settings:
    host: 云服務器IP
    port: 22
    username: root
    password: root密碼
    command_timeout: 2m
    script: 
      - source /etc/profile
      - ls -la
      - docker info
      - echo $(docker ps -aqf "name=k8s-netcore-demo")
      - docker stop $(docker ps -aqf "name=k8s-netcore-demo")
      - docker container rm k8s-netcore-demo
      - docker rmi k8s-netcore-demo
      - echo 查看是否成功洗掉k8s-netcore-demo
      - docker ps -a
      - echo 從harbor拉取docker鏡像
      - sudo docker container rm xxxxxx/k8s-netcore-demo
      - sudo docker pull www.mydomain.com:19080/library/k8s-netcore-demo:latest
      - sudo docker tag www.mydomain.com:19080/library/k8s-netcore-demo:latest xxxxxx/k8s-netcore-demo:latest
      - sudo docker run --name k8s-netcore-demo -p 29029:80 xxxxxx/k8s-netcore-demo
      - /usr/local/bin/docker system prune -f
      - echo docker容器啟動成功

這里簡單解釋一下

image: mcr.microsoft.com/dotnet/aspnet:6.0，原來的Gogs + Drone 實作CI/CD（CD）中image是microsoft/dotnet，但是實際會出現錯誤（Error response from daemon: pull access denied for microsoft/dotnet, repository does not exist or may require 'docker login': denied: requested access to the resource is denied），從Unable to build pipeline: pull access denied for microsoft/dotnet, repository does not exist or may require 'docker login': denied: requested access中找到問題，是因為微軟把docker庫遷走了，這個倉庫沒有對應的dotnet鏡像了，，，所以我們要根據自己的專案版本自己去更改，不要使用mcr.microsoft.com/dotnet/aspnet:6.0，要使用sdk
dockerfile: Dockerfile這里我沒有使用drone-ci-demo/Dockerfile，因為Dockerfile其實是在根目錄下，可以查看name: ls的輸出，查閱問題鏈接unable to evaluate symlinks in Dockerfile path: lstat /drone/src/Dockerfile: no such file or directory
增加storage_driver: vfs，解決鏈接Plugins/Docker on Synology DSM
因為群暉默認沒有開root，所以要按照準備作業第三步進行操作，打開root，如果使用admin賬號，則會出現權限問題，是因為admin不能在ssh中呼叫docker和其他script指令（第一次嘗試我是按照部署到群暉執行的（群暉的dotnet SDK安裝之后軟連接好像有問題，無法執行），所以有上面的一句話，如果發布到云服務器，可以給其他賬戶開權限，這樣就不必使用root賬戶了）

其他

1. 群暉與其他linux的不同

   #### 1. docker的daemon.json地址
          不是`/etc/docker/daemon.json`,而是`/var/packages/Docker/etc/dockerd.json`
   #### 2. 常用命令不是`systemctl`或者`service`
          常用命令不是`systemctl`或者`service`，而是`synoservice`，前面加一個`syno`,可以通過`synoservicecfg --list`查看群暉下運行的所有服務，其中套件中心的服務前面需要加`pkgctl-`作為前綴，例如`synoservice –restart pkgctl-Docker`

2. 云服務器安裝dotnet，自己可以去查閱微軟的檔案在 Linux 發行版上安裝 .NET

參考鏈接

https://discourse.drone.io/
https://plugins.drone.io/plugins/docker
https://65535.pub/2020/06/01/gitea-drone-群暉搭建/
https://www.cnblogs.com/fallTakeMan/p/11944042.html
https://www.cnblogs.com/fallTakeMan/p/11866584.html
https://www.cnblogs.com/fallTakeMan/p/11875846.html
https://www.hafuhafu.cn/267/
https://www.cnblogs.com/manastudent/p/15938616.html
https://www.msnao.com/2019/04/26/568.html

轉載請註明出處，本文鏈接：https://www.uj5u.com/caozuo/478417.html

標籤：Linux

上一篇：提取“<>”標簽內的文本

下一篇：linux命令_sed

群暉下 gitea+drone+harbor實作CI/CD 發布到云服務器