作者簡介
Giridhara Prasad，Mayadata Inc.首席工程師，在軟體測驗自動化、混沌工程（chaos engineering）方面有豐富的經驗，目前，他正在研究開源混沌工程專案Litmus，
原文鏈接：
https://openebs.io/blog/getting-started-with-k3s-in-vsphere-and-openebs-cstor/
K3OS是一個Linux發行版，專為輕量級Kubernetes發行版K3s打造的輕量作業系統，它為K3s的順利運行專門設計了一些功能，在本文中，我將介紹安裝K3OS的步驟以及如何設定OpenEBS，OpenEBS是一個CNCF專案，是一款針對Kubernetes有狀態作業負載的開源容器化存盤解決方案，
在vSphere中設定K3OS
K3OS的內核是從Ubuntu-18.04 LTS中fork出來的，它的用戶空間二進制檔案來自alpine，因此在創建虛擬機時，需要選擇Ubuntu Linux（64位）作為客戶作業系統，
從Github上的release頁面下載最新的K3OS iso檔案（撰寫文章時最新版本為v0.9.0，目前已經更新到v0.10.1），將iso檔案添加到虛擬機中，然后使用實時安裝選項啟動它，如下所示：
選擇K3OS LiveCD & Install，并啟動作業系統，
成功啟動之后，你將進入登錄提示，K3OS中的默認用戶是rancher，你無需密碼即可登錄該用戶，
執行了實時安裝之后，你需要將作業系統安裝到磁盤并將機器配置為server（master）或agent（worker），這可以通過運行命令sudo k3os install來執行，
選擇選項1，即Install to disk，以將K3OS安裝到磁盤，并且需要為rancher用戶設定新密碼，以啟用與服務器的ssh通信，
安裝到磁盤中
你需要選擇server或agent以在計算機中安裝相關組件，現在，我們選擇server來部署K3s server組件，你可以設定token或集群密鑰，當需要將K3s agent加入server時可以使用，
完成安裝之后，螢屏如下所示：
K3s server已經被成功配置，如果未配置DHCP，則需要使用connmanctl分配IP地址和其他詳細的網路資訊，然后以rancher用戶身份登錄server，輸入在上一步中配置的密碼，通過執行以下命令，讓我們找到系結在eth0設備上的connman網路服務：
sudo connmanctl services
執行以上命令之后，將會列出如下服務：
驗證服務后，你可以通過以下命令分配IP地址、網路掩碼、網關和DNS服務，
sudo connmanctl config <ethernet service> --ipv4 manual <IP Address> <Netmask> <gateway> --nameservers <DNS Address>
執行以上命令之后，可以通過ifconfig命令，確保網路是否已經配置正確，在完成網路設定之后，重啟機器，
安裝K3s agent
在K3s術語中，Kubernetes worker被稱為agent，將K3OS安裝到磁盤中時，你需要選擇選項2，agent，以在計算機中配置K3s agent，
選擇了Agent之后，你需要提供agent必須配置到的server的URL，K3s server的URL可以通過以下方式生成，
https://<K3s Server IP Address>:6443
鍵入URL之后，你需要提供集群密鑰，該密鑰在server安裝程序已經配置完成，在輸入完成以上內容之后，啟動agent部署，
開始配置網路，方式與上述配置server網路相同，然后重啟計算機，重啟之后，請按照以下步驟檢查server中的集群狀態，
k3os-1374 [~]$ kubectl get nodes
NAME STATUS ROLES AGE VERSION
k3os-1374 Ready master 10m v1.17.2+k3s1
k3os-15360 Ready <none> 10m v1.17.2+k3s1
k3os-1091 Ready <none> 10m v1.17.2+k3s1
執行以下命令，檢查集群組件是否已經配置成功，并且所有pod是否已經成功運行，
k3os-1374 [~]$ kubectl get pods -n kube-system
NAME READY STATUS RESTARTS AGE
helm-install-traefik-nmjvj 0/1 Completed 0 3d
svclb-traefik-gp9ff 2/2 Running 1 2d23h
svclb-traefik-qgdlx 2/2 Running 0 2d23h
local-path-provisioner-58fb86bdfd-wkdtm 1/1 Running 1 3d
metrics-server-6d684c7b5-mrxsr 1/1 Running 0 3d
svclb-traefik-c4v7l 2/2 Running 0 3d
coredns-d798c9dd-td5tr 1/1 Running 0 3d
traefik-6787cddb4b-n57jz 1/1 Running 0 3d
安裝OpenEBS
OpenEBS是一個CNCF專案，可以為Kubernetes中部署的作業負載提供持久性塊存盤，除了Jiva和Local PV之外，cStor也是OpenEBS提供的存盤引擎之一，而根據這一issue（https://github.com/rancher/k3os/issues/151 ）通過在v0.9.0中添加了對udev的支持才在K3OS中支持cStor，
k3os-1374 [~]$ kubectl apply -f openebs-operator-1.7.0.yaml
namespace/openebs created
serviceaccount/openebs-maya-operator created
clusterrole.rbac.authorization.k8s.io/openebs-maya-operator created
clusterrolebinding.rbac.authorization.k8s.io/openebs-maya-operator created
deployment.apps/maya-apiserver created
service/maya-apiserver-service created
deployment.apps/openebs-provisioner created
deployment.apps/openebs-snapshot-operator created
configmap/openebs-ndm-config created
daemonset.apps/openebs-ndm created
deployment.apps/openebs-ndm-operator created
deployment.apps/openebs-admission-server created
deployment.apps/openebs-localpv-provisioner created
檢查是否所有的OpenEBS組件都成功運行，
k3os-1374 [~]$ kubectl get pods -n openebs
NAME READY STATUS RESTARTS AGE
openebs-admission-server-f67f77588-8kl78 1/1 Running 0 65s
openebs-provisioner-7b8c68bf44-7bjw8 1/1 Running 0 66s
openebs-ndm-qp26v 1/1 Running 0 66s
openebs-ndm-84zb4 1/1 Running 0 66s
openebs-ndm-dzghs 1/1 Running 0 66s
openebs-localpv-provisioner-5c87bbd974-55486 1/1 Running 0 65s
openebs-ndm-operator-5fccfb7976-dvhj6 1/1 Running 0 66s
openebs-snapshot-operator-6c4c64d4bc-qxdwd 2/2 Running 0 66s
maya-apiserver-84785d7fbd-ck7sh 1/1 Running 0 66s
OpenEBS cStor引擎需要將外部磁盤連接到組成cStor池的agent上，磁盤或塊設備由稱為節點磁盤管理器（簡稱為NDM）的組件管理，將磁盤連接到agent計算機后，通過執行以下命令來檢查塊設備，
k3os-1374 [~]$ kubectl get blockdevices -n openebs
NAME NODENAME SIZE CLAIMSTATE STATUS AGE
blockdevice-30a3eb18f5b9e2d470de45e39f1036b0 k3os-15360 17179869184 Unclaimed Active 1h
blockdevice-86fc964305abe8970fc1508538a61dbc k3os-1374 17179869184 Unclaimed Active 1h
blockdevice-b8735721689d5843bca10e7028f60a4e k3os-1091 17179869184 Unclaimed Active 1h
在本例中，每個K3s agent計算機上都已連接1個塊設備，讓我們在spec.blockDevices下的池中創建manifest，然后創建池，
apiVersion: openebs.io/v1alpha1
kind: StoragePoolClaim
metadata:
name: cstor-disk-pool
annotations:
cas.openebs.io/config: |
- name: PoolResourceRequests
value: |-
memory: 2Gi
- name: PoolResourceLimits
value: |-
memory: 4Gi
spec:
name: cstor-disk-pool
type: disk
poolSpec:
poolType: striped
blockDevices:
blockDeviceList:
- blockdevice-30a3eb18f5b9e2d470de45e39f1036b0
- blockdevice-86fc964305abe8970fc1508538a61dbc
- blockdevice-b8735721689d5843bca10e7028f60a4e
應用以上定義之后，通過執行以下命令檢查池是否創建成功，
k3os-1374 [~]$ kubectl get csp
NAME ALLOCATED FREE CAPACITY STATUS TYPE AGE
cstor-disk-pool-rgy3 270K 15.9G 15.9G Healthy striped 2m3s
cstor-disk-pool-gij4 270K 15.9G 15.9G Healthy striped 2m2s
cstor-disk-pool-09l1 270K 15.9G 15.9G Healthy striped 2m2s
所有的池實體應該是健康的并且每個實體運行一個pod，通過執行以下命令可以找到pod：
k3os-1374 [~]$ kubectl get pods -n openebs -l app=cstor-pool
NAME READY STATUS RESTARTS AGE
cstor-disk-pool-rgy3-57f965b48c-srz2x 3/3 Running 0 8m33s
cstor-disk-pool-gij4-77bb4b8f44-s6k89 3/3 Running 0 8m33s
cstor-disk-pool-09l1-56d444996b-m698h 3/3 Running 0 8m33s
創建cStor池之后，我們可以開始創建volume，為了能夠說明清楚，我們部署一個帶有cStor volume的busybox，作為其持久性存盤，在創建池之前，我們需要創建一個storage class，它會指定在上述步驟中創建的storagePoolClaim，具體如下所示：
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: openebs-cstor
annotations:
openebs.io/cas-type: cstor
cas.openebs.io/config: |
- name: StoragePoolClaim
value: "cstor-disk-pool"
- name: ReplicaCount
value: "3"
provisioner: openebs.io/provisioner-iscsi
根據上述定義中的要求，填充storagePoolClaim和ReplicaCount并創建storage class，創建PVC時必須使用此類存盤，
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: openebs-pvc
spec:
storageClassName: openebs-cstor
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 10Gi
---
apiVersion: v1
kind: Service
metadata:
labels:
name: busybox
name: busybox
spec:
clusterIP: None
selector:
app: busybox
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: busybox
labels:
app: busybox
spec:
selector:
matchLabels:
app: busybox
template:
metadata:
labels:
app: busybox
spec:
containers:
- name: app-busybox
imagePullPolicy: IfNotPresent
image: busybox
command: ["/bin/sh"]
args: ["-c", "while true; do sleep 10;done"]
env:
volumeMounts:
- name: data-vol
mountPath: /busybox
volumes:
- name: data-vol
persistentVolumeClaim:
claimName: openebs-pvc
在上述manifest中升級storage class之后，讓我們通過應用以上定義來部署busybox應用程式，通過查看它們的狀態來檢查PVC是否在應用程式pod上成功創建和成功掛載，
k3os-1374 [~]$ kubectl get pvc
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
openebs-pvc Bound pvc-6cd2b30a-49ed-4605-b1e0-dd23c45e548d 10Gi RWO openebs-cstor 4m35s
k3os-1374 [~]$ kubectl get pods
NAME READY STATUS RESTARTS AGE
busybox-748fb77c75-9lwzz 1/1 Running 0 4m42s
由于我們在storage class中將ReplicaCount指定為3，因此需要創建3個volume副本，你可以通過執行以下命令來找到它們，
k3os-1374 [~]$ kubectl get cvr -n openebs
NAME USED ALLOCATED STATUS AGE
pvc-6cd2b30a-49ed-4605-b1e0-dd23c45e548d-cstor-disk-pool-09l1 7.95M 116K Healthy 6m37s
pvc-6cd2b30a-49ed-4605-b1e0-dd23c45e548d-cstor-disk-pool-rgy3 7.95M 116K Healthy 6m37s
pvc-6cd2b30a-49ed-4605-b1e0-dd23c45e548d-cstor-disk-pool-gij4 7.95M 116K Healthy 6m37s
因此，可以使用cStor引擎為K3s中的作業負載提供持久卷，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/10735.html
標籤：其他