隨著Kubernetes繼續將自己確立為容器編排的行業標準，為你的應用和工具找到使用宣告式模型的有效方法是成功的關鍵，在這篇文章中，我們將在AWS中建立一個K3s Kubernetes集群，然后使用Argo CD和Vault實作安全的GitOps，你可以在以下兩個鏈接中分別查看基礎架構以及Kubernetes umbrella應用程式：
https://github.com/atoy3731/aws-k8s-terraform
https://github.com/atoy3731/k8s-tools-app
以下是我們將會使用到的組件：
-
AWS——這是我們將在底層基礎設施使用的云提供商，它將管理我們的虛擬機以及Kubernetes作業所需的網路，并允許Ingress從外界進入集群，
-
K3s——由Rancher開發的輕量級Kubernetes發行版，它對許多alpha功能和云插件進行了清理，同時也使用關系型資料庫（本例中是RDS）代替etcd進行后端存盤，
-
Rancher——API驅動的UI，可以輕松管理你的Kubernetes集群
-
Vault——Hashicorp的密鑰管理實作，我將使用Banzai Cloud Vault的bank-- vaults實作，它可以通過使用Admission Webhook將密鑰直接注入pod中，這大大減輕了你在Git倉庫中存盤密鑰的需求，
-
Argo CD——這是一個GitOps工具，可以讓你在Git中維護Kubernetes資源的狀態，Argo CD會自動將你的Kubernetes資源與Git倉庫中的資源進行同步，同時也確保集群內對manifest的手動更改會自動還原，這保證了你的宣告式部署模式，
-
Cert Manager或LetsEncrypt——提供了一種為Kubernetes Ingress自動生成和更新證書的方法，
讓我們先從AWS基礎架構開始，
前期準備
你需要在你的系統中安裝以下CLI：
-
Terraform
-
Kubectl
-
AWS
同時，你還需要AWS管理員訪問權限以及一個訪問密鑰，如果你沒有，你可以使用信用卡創建一個賬戶，
最后，你需要一個可以管理/更新的托管域名，以指向你的基于Kubernetes彈性負載均衡器（ELB），如果你還沒有，建議你在NameCheap上開一個賬戶，然后購買一個.dev域名，它價格便宜，而且效果很好，
AWS基礎架構
對于我們的AWS基礎架構，我們將使用Terraform與S3支持來持久化狀態，這為我們提供了一種方法來宣告性地定義我們的基礎架構，并在我們需要的時候反復進行更改，在基礎設施倉庫中，你會看到一個k3s/example.tfvars檔案，我們需要根據我們特定的環境/使用情況更新這個檔案，設定以下值：
-
db_username — 將應用于Kubernetes后端存盤的RDS實體的管理員用戶名
-
db_password — RDS用戶的管理員密碼，這通常應該在你的terraform apply命令行內程序中傳遞此引數，但為了簡單起見，我們將在檔案中設定它，
-
public_ssh_key — 你的公共SSH密鑰，當你需要SSH到Kubernetes EC2s時，你將使用它，
-
keypair_name — 要應用于你的public_ssh_key的密鑰對名稱，
-
key_s3_bucket_name — 生成的bucket將在集群成功創建時存盤你的kubeconfig檔案，
如果你想修改集群大小或設定特定的CIDRs（無類域間路由），可以設定下面的一些可選欄位，但默認情況下，你會得到一個6節點（3個服務器，3個代理）的K3s集群，
同時，你將需要創建S3 bucket來存盤你的Terraform狀態并且在k3s/backends/s3.tfvars和k3s/main.tf檔案中更改bucket欄位來與其匹配，
一旦我們更新了所有的欄位，并創建了S3狀態bucket，我們就開始應用Terraform吧，首先，確保你在AWS賬戶中有一個管理IAM用戶并且你已經在系統上正確設定了環境變數或AWS憑證檔案，以便能夠與AWS API對接，然后運行以下命令：
cd k3s/
terraform init -backend-config=backends/s3.tfvars
terraform apply -var-file=example.tfvars
一旦你執行以上命令，Terraform會在apply成功后輸出預期的AWS狀態，如果一切看起來都符合預期，請輸入yes，這時候由于RDS集群的原因，需要5—10分鐘的時間來配置AWS資源，
驗證你的Kubernetes集群
Terraform成功應用之后（再多等幾分鐘的時間確保K3s已經部署完畢），你需要使用以下命令從S3 bucket中抓取kubeconfig檔案（替換你在example.tfvars中輸入的bucket名稱）：
aws s3 cp s3://YOUR_BUCKET_NAME/k3s.yaml ~/.kube/config
這應該成功完成，讓你現在能夠與你的集群通信，讓我們檢查一下我們的節點狀態，在繼續之前，確保它們都處于就緒狀態，
$ kubectl get nodes
NAME STATUS ROLES AGE VERSION
ip-10-0-1-208.ec2.internal Ready <none> 39m v1.18.9+k3s1
ip-10-0-1-12.ec2.internal Ready master 39m v1.18.9+k3s1
ip-10-0-1-191.ec2.internal Ready master 39m v1.18.9+k3s1
ip-10-0-2-12.ec2.internal Ready master 39m v1.18.9+k3s1
ip-10-0-2-204.ec2.internal Ready <none> 39m v1.18.9+k3s1
ip-10-0-1-169.ec2.internal Ready <none> 39m v1.18.9+k3s1
我們也來看看Argo CD的狀態，它是通過manifest自動部署的：
$ kubectl get pods -n kube-system | grep argocd
helm-install-argocd-5jc9s 0/1 Completed 1 40m
argocd-redis-774b4b475c-8v9s8 1/1 Running 0 40m
argocd-dex-server-6ff57ff5fd-62v9b 1/1 Running 0 40m
argocd-server-5bf58444b4-mpvht 1/1 Running 0 40m
argocd-repo-server-6d456ddf8f-h9gvd 1/1 Running 0 40m
argocd-application-controller-67c7856685-qm9hm 1/1 Running 0 40m
現在我們可以繼續為我們的ingress和證書自動化配置通配符DNS，
DNS配置
對于DNS，我通過Namecheap獲得atoy.dev域名，但你可以使用任何你喜歡的DNS供應商，我們需要做的是創建一個通配符CNAME條目，以將所有請求路由到AWS ELB，它正在管理應用程式的ingress，
首先，通過訪問你的AWS控制臺獲取你的彈性負載均衡器主機名稱——導航到EC2部分并在左邊選單欄上點擊Load Balancers，然后你應該看到一個使用隨機字符創建的新LoadBalancer，如果你檢查tag，它應該參考你的新Kubernetes集群，
你需要從該條目復制DNS名稱，為我的域名訪問NamecCheap 高級DNS頁面，并輸入*.demo.atoy.dev** 的CNAME條目，** 指向你從AWS復制的域名，你可以根據你的提供商/域名調整這個名稱：
要驗證它是否有效，你可以安裝/使用nslookup來確保它決議到正確的主機名：
$ nslookup test.demo.atoy.dev
Server: 71.252.0.12
Address: 71.252.0.12#53
Non-authoritative answer:
test.demo.atoy.dev canonical name = a4c6dfd75b47a4b1cb85fbccb390fe1f-529310843.us-east-1.elb.amazonaws.com.
Name: a4c6dfd75b47a4b1cb85fbccb390fe1f-529310843.us-east-1.elb.amazonaws.com
Address: 52.20.5.150
Name: a4c6dfd75b47a4b1cb85fbccb390fe1f-529310843.us-east-1.elb.amazonaws.com
Address: 23.20.0.2
現在到Umbrella應用程式，
Argo CD和Umbrella應用程式
我們已經知道Argo CD已經部署好了，但現在我們要使用Argo CD的App-of-Apps部署模型來部署我們的其余工具套件，由于我們使用的是GitOps，你需要將k8s-tools-app倉庫fork到你自己的Github賬戶上，然后我們需要做一些修改來匹配你各自的環境，
-
你需要為https://github.com/atoy3731/k8s-tools-app.git 進行全域查找/替換，并將其更改到之前fork的新存盤庫git URL，這使你可以管理自己的環境，讓Argo CD可以從那里拉取，另外，需要確保你的Git倉庫是公開的，以便Argo CD可以訪問它，
-
在resources/tools/resources/other-resources.yaml中，更改argoHostand issuerEmail，使其與你的域名和郵箱相匹配，
-
在resources/tools/resources/rancher.yaml中，更改主機名稱和郵件以匹配各自的域名和email，
-
在resources/apps/resources/hello-world.yaml中，將兩個參考app.demo.aptoy.dev改為與你的域名一致，
一旦你做了這些更新，繼續提交/推送你的更改到你的forked Github倉庫，現在你已經準備好應用umbrella應用程式了，在本地克隆的倉庫中執行以下操作：
$ kubectl apply -f umbrella-tools.yaml
appproject.argoproj.io/tools created
application.argoproj.io/umbrella-tools created
現在，Argo CD將開始配置所有其他工具，這些工具是倉庫為你的集群定義的，你可以通過執行以下操作來獲得已部署的應用程式的串列：
$ kubectl get applications -n kube-system
NAME AGE
other-resources 56m
umbrella-tools 58m
rancher 57m
vault-impl 57m
vault-operator 58m
vault-webhook 57m
cert-manager 57m
cert-manager-crds 58m
你將不得不等待5分鐘左右的時間，讓一切都準備好，讓LetsEncrypt生成暫存證書，一旦事情按預期運行，你應該看到兩個生成的Ingress條目，你可以通過瀏覽器訪問：
$ kubectl get ingress -A
NAMESPACE NAME CLASS HOSTS ADDRESS PORTS AGE
cattle-system rancher <none> rancher.demo.atoy.dev a4c6dfd75b47a4b1cb85fbccb390fe1f-529310843.us-east-1.elb.amazonaws.com 80, 443 59m
kube-system argocd-ingress <none> argo.demo.atoy.dev a4c6dfd75b47a4b1cb85fbccb390fe1f-529310843.us-east-1.elb.amazonaws.com 80, 443 58m
現在你可以通過 https://rancher.YOUR-DOMAIN 瀏覽 Rancher，通過 https://argo.YOUR-DOMAIN 瀏覽 Argo CD，
NOTE 1：為了避免LetsEncrypt的任何速率限制，我們使用的是無效的暫存證書，這有一個好處是當你在你的瀏覽器訪問Argo、Rancher或你的hello world應用程式，它會給你一個SSL例外，使用Chrome瀏覽器，在你的例外頁面加載時輸入thisisunsafe，它會讓你繞過它，你也可以了解更新Cert-manager的ClusterIssuer，以使用生產級的可信證書，
NOTE 2：K3s預裝了一個Traefik作為ingress controller，出于簡單起見，我們直接使用它，
NOTE 3：首次登錄Rancher后，你需要生成一個密碼，并接受用于訪問Rancher的URI，URI應該是預先加載在表單中的，所以您可以直接點擊 "Okay"，
NOTE 4： 要登錄Argo CD，它使用admin作為用戶名，使用argocd-server pod名作為密碼，你可以通過下面的操作來獲得這個服務器的pod名（本例中是argocd-server-5bf58444b4-mpvht），
$ kubectl get pods -n kube-system | grep argocd-server
argocd-server-5bf58444b4-mpvht 1/1 Running 0 64m
現在你應該能夠訪問Argo CD UI，登錄并查看，如下所示：
既然我們的工具已經部署完成，讓我們在Vault中存盤密鑰，以便hello world應用程式提取，
在Vault中創建密鑰
為了讓事情變得簡單，在你的工具庫中有一個幫助腳本，運行以下命令來獲取Vault管理員令牌和埠轉發命令：
$ sh tools/vault-config.sh
Your Vault root token is: s.qEl4Ftr4DR61dmbH3umRaXP0
Run the following:
export VAULT_TOKEN=s.qEl4Ftr4DR61dmbH3umRaXP0
export VAULT_CACERT=/Users/adam.toy/.vault-ca.crt
kubectl port-forward -n vault service/vault 8200 &
You will then be able to access Vault in your browser at: [https://localhost:8200](https://localhost:8200)
運行輸出的命令，然后導航到https://localhost:8200，輸入上面的root token進行登錄，
當你登錄時，你應該在一個密鑰引擎頁面，點擊Secret/條目，然后點擊右上方的創建密鑰，我們將創建一個demo密鑰，所以添加以下內容并點擊保存：
現在我們已經為hello world應用程式準備好密鑰了，
部署Hello World 應用程式
現在，回到我們的父版本，讓我們運行下面的代碼來部署hello world應用程式：
$ kubectl apply -f umbrella-apps.yaml
appproject.argoproj.io/apps created
application.argoproj.io/umbrella-apps created
創建完成后，回到Argo CD UI，你先應該看到兩個新應用程式，umbrella-apps和demo-app，單擊demo-app，然后等待所有資源正常運行：
一旦狀態都是healthy之后，你應該能夠通過訪問https://app.YOUR-DOMAIN 導航到你的應用程式，
讓我們也來驗證一下我們的Vault密鑰是否被注入到我們的應用程式pod中，在Argo CD UI的demo-app中，點擊應用程式的一個Pod，然后點擊頂部的日志標簽，左邊應該有兩個容器，選擇 test-deployment容器，在日志的頂部，你應該看到你的密鑰在兩行等號之間：
測驗GitOps
現在我們來測驗一下Argo CD，確保當我們在倉庫中做一些更改時它能夠自動同步，
在你的工具庫中，找到resources/apps/resources/hello-world.yaml檔案，將replicaCount的值從5改到10，提交并推送你的更改到主分支，然后在Argo CD UI中導航回demo-app，當Argo CD達到它的重繪間隔時，它會自動開始部署其他5個應用程式副本（如果你不想等待，可以點擊你的** umbrella-apps ** Argo應用程式 ** 中的重繪按鈕）：
清 除
如果你準備拆掉你的集群，你需要先進入AWS控制臺、EC2服務，然后點擊Load Balancers，你會看到Kubernetes云提供商創建了一個ELB，但不是由Terraform管理的，你需要清理它，你還需要洗掉該ELB正在使用的安全組，
清理了ELB之后，運行以下命令并在出現提示時輸入yes：
terraform destroy -var-file=example.tfvars
下一步是什么？
我們已經有一個很好的工具集來使用GitOps部署應用程式，那么下一步是什么？如果你愿意接受挑戰，可以嘗試在hello world應用旁邊部署自己的應用，甚至嘗試通過在應用manifest倉庫中更新鏡像標簽來實作CI/CD，這樣一來，當構建新的應用鏡像時，新的標簽就會在manifest倉庫中自動更新，Argo CD就會部署新版本，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/240390.html
標籤：其他