作者：馬偉，青云科技容器顧問，云原生愛好者，目前專注于云原生技術，云原生領域技術堆疊涉及 Kubernetes、KubeSphere、kubekey等，
相信很多小伙伴和企業在構建容器集群時都會考慮存盤選型問題，不論是塊存盤 / 檔案存盤 / 物件存盤的選擇，亦或是一體機 / 裸機+外置存盤 / 虛擬化+存盤的糾結，都是在規劃容器集群時的顧慮，對于原先就有虛擬化環境的用戶來說，我能否直接搭建容器集群在虛擬化環境中，并直接使用現有的存盤用于容器呢？本文將以 VMware vSphere CNS+KubeSphere 為工具在虛擬化環境搭建容器及存盤環境，
vSphere CNS
VMware vSphere Cloud Native Storage（CNS）是 VMware 結合 vSphere 和 K8s 提供容器卷管理的組件，K8s 存盤有 in tree 和 out of tree 兩種存盤型別，in tree 存盤如 AWS EBS，Ceph RBD 等，是 VMware in tree 存盤 VCP 演進到 out of tree 存盤提供的符合 CSI 插件規范的容器存盤，它由兩部分構成：
- vCenter 的 CNS 控制平臺，vCenter 調度底層虛擬化結合的存盤平臺創建容器存盤卷，
- K8s 的 CSI 存盤插件，對 vCenter 創建的卷進行附加 / 分離 / 掛載等操作，
結合上面這張官方提供的圖，可以理解為，現在我的 vSphere 虛擬化環境已經準備好了不同的存盤（本地存盤 /NAS/FC SAN/vSAN），我不用在乎存盤是什么品牌，不需要考慮這款存盤是否有廠商支持的 CSI 插件，我可以基于業務型別，將不同的存盤直接掛載給我不同業務的容器使用，
這種設計模式也帶來眾多好處 :
- 簡便運維，想在 vSphere 虛擬化平臺上運行容器的用戶，不再擔心怎么結合存盤，不用再去糾結 Ceph 還是 GlusterFS 好用，也不用想去哪倒騰個閑置的 NFS 掛在容器集群上了，相反可以在 vSphere 上監控容器虛擬機節點和存盤狀態，運維方式不變，運維效率得到提升，
- 屏蔽存盤差異，不論是 NAS 存盤還是集中存盤，只要對接于 vSphere 存盤，使用 VMFS/NFS/vSAN 協議或格式的存盤，皆可提供給容器使用，
- 基于策略的放置，基于存盤策略（SPBM）的 StorageClass Provisioner 定義，管理員可在虛擬化平臺定義相應的存盤策略， 直接應用于 SC 中給容器使用，
容器環境搭建
在了解了基本概念后，本章開始實操演練，首先搭建一個 vSphere 虛擬化上的容器集群，為了快速搭建一個從 0 到 1 的容器集群，此處使用一款開源工具——"Kubekey"，Kubekey 是青云開源的一款快速搭建 K8s 和 KubeSphere 容器集群的工具，KubeSphere 是青云開源的 K8s PaaS 管理平臺，可以幫助用戶可視化統一管理所有 K8s 環境，包括 AWS EKS，華為 CCE，VMware Tanzu 等 K8s 環境納管，Kubekey 和 KubeSphere 皆通過 CNCF 一致性認證，感興趣的小伙伴可以在 github/gitee 查看詳情，
獲取 Kubekey 很簡單，使用以下命令：
接下來使用一條命令快速安裝一個 kubernetes 平臺和 KubeSphere 平臺，
?? → export KKZONE=cn #國內網路環境友好
?? → curl -sfL https://get-kk.kubesphere.io | VERSION=v2.2.1 sh -
Docker 的出現讓我們可以一條命令運行一個 MySQL 應用，Kubekey 讓我們一條命令運行一個完整的 K8s 集群和 KubeSphere 平臺，
?? → kk create cluster --with-kubernetes v1.23.8 --with-kubesphere v3.3.0
若是多臺節點，使用組態檔定義節點資訊即可，
hosts:
- {name: master, address: 192.168.0.2, internalAddress: 192.168.0.2, user: ubuntu, password: Testing123}
- {name: node1, address: 192.168.0.3, internalAddress: 192.168.0.3, user: ubuntu, password: Testing123}
roleGroups:
etcd:
- master
control-plane:
- master
worker:
- node1
在 kk create 后等待 20 分鐘，K8s 和 KubeSphere 即可搭建完畢，
Kubekey 不僅是一個 K8s 集群創建工具，還可以輕松創建 Harbor，Addon 網路存盤插件，并可基于 Manifest 的形式定義節點依賴包，鏡像，工具后標準化交付，過段時間我會更新一篇 Kubekey 使用手冊，可以三連關注一波，
vSphere 容器存盤插件安裝
第一章節提過，vSphere CNS 整體由 vCenter 的 CNS 控制面和面向 k8s 的存盤插件構成，CNS 控制面已存在于 vCenter 6.7U3 及更高版本中，接下來只需要在 vSphere 虛擬機部署的 k8s 中安裝 CSI 插件即可，
這里有一個準備條件，在準備 K8s 節點虛擬機時，要先設定以下引數：
- 安裝 VMTools；
- 配置虛擬機高級引數 disk.EnableUUID=TRUE；
- 調整虛擬機硬體版本至 15 以上；
- 添加 VMware 準 SCSI 存盤控制器到 VM，使用 VMware 準虛擬型別，
安裝 vSphere CSI 插件時，提前查閱官網檢查對應版本的 vCenter，K8s 的兼容性，
安裝 vsphere-cloud-controller-manager
對所有節點打標簽
?? → kubectl taint node k8s node.cloudprovider.kubernetes.io/uninitialized=true:NoSchedule
下載 vsphere-cloud-controller-manager yaml 檔案，
?? → wget https://raw.githubusercontent.com/kubernetes/cloud-provider-vsphere/release-1.23/releases/v1.23/vsphere-cloud-controller-manager.yaml
修改其中 Secret 和 Configmap 部分的 vCenter 配置：
apiVersion: v1
kind: Secret
metadata:
name: vsphere-cloud-secret
namespace: kube-system
stringData:
10.0.0.1.username: "<ENTER_YOUR_VCENTER_USERNAME>"
10.0.0.1.password: "<ENTER_YOUR_VCENTER_PASSWORD>"
apiVersion: v1
kind: ConfigMap
metadata:
name: vsphere-cloud-config
namespace: kube-system
data:
vcenter:
<your-vcenter-name-here>:
server: 10.0.0.1
user: <use-your-vcenter-user-here>
password: <use-your-vcenter-password-here>
datacenters:
- Datacenter01
作為一個合格的 yaml 工程師，一定注意縮進，在調整完后，kubectl apply 一下：
?? → kubectl apply -f vsphere-con-ma.yaml
serviceaccount/cloud-controller-manager created
secret/vsphere-cloud-secret created
configmap/vsphere-cloud-config created
rolebinding.rbac.authorization.k8s.io/servicecatalog.k8s.io:apiserver-authentication-reader created
clusterrolebinding.rbac.authorization.k8s.io/system:cloud-controller-manager created
clusterrole.rbac.authorization.k8s.io/system:cloud-controller-manager created
daemonset.apps/vsphere-cloud-controller-manager created
?? → kubectl get pods -A | grep vsphere
kube-system vsphere-cloud-controller-manager-km68c 1/1 Running 0 3m4s
創建 vmware-system-csi 命名空間：
?? → kubectl create ns vmware-system-csi
namespace/vmware-system-csi created
創建 CSI 驅動組態檔：
?? → cat /etc/kubernetes/csi-vsphere.conf
[Global]
cluster-id = "<cluster-id>"#t填寫集群名稱
[VirtualCenter "<IP or FQDN>"] #填寫vcenter資訊
insecure-flag = "<true or false>"#選擇false后要注明ca檔案和指紋，可選擇true
user = "<username>"
password = "<password>"
port = "<port>"
datacenters = "<datacenter1-path>"#選擇集群節點所在的datacenter
生成 Secret：
?? → kubectl create secret generic vsphere-config-secret --from-file=csi-vsphere.conf --namespace=vmware-system-csi
安裝 vsphere-csi-driver：
?? → kubectl apply -f https://raw.githubusercontent.com/kubernetes-sigs/vsphere-csi-driver/v2.6.0/manifests/vanilla/vsphere-csi-driver.yaml
等待 Pod 成功運行：
查看 csidriver 和 csinode 狀態：
?? → kubectl get csidriver
NAME ATTACHREQUIRED PODINFOONMOUNT STORAGECAPACITY TOKENREQUESTS REQUIRESREPUBLISH MODES AGE
csi.vsphere.vmware.com true false false <unset> false Persistent 85m
?? → kubectl get CSINODE
NAME DRIVERS AGE
k8s 1 16h
到這里 vsphere csi driver 安裝完成，可以準備底層存盤和 StorageClass 置備了，
StorageClass 創建
CNS 使 vSphere 存盤成為運行有狀態 K8s 作業負載的平臺，因此 CNS 可基于存盤策略或指定掛載的 vSphere 存盤（VMFS/NFS/vSAN）創建 StorageClass 進行動態持久卷置備，
創建 StorageClass：
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: example-block-sc
annotations:
storageclass.kubernetes.io/is-default-class: "true"
provisioner: csi.vsphere.vmware.com
parameters:
storagepolicyname: "vSAN Default Storage Policy" #使用存盤策略定義
# datastoreurl: "ds:///vmfs/volumes/vsan:52cdfa80721ff516-ea1e993113acfc77/" #使用指定的資料存盤定義，可以是掛載給ESXi的NFS，FC/IP SAN，本地存盤等
# csi.storage.k8s.io/fstype: "ext4" #設定格式化檔案型別
進入 KubeSphere，查看已經同步的存盤類和快照類：
運行有狀態應用
打開 KubeSphere 容器平臺的應用商店，部署一個 MySQL 應用示例，以驗證 vSphere 持久卷的可行性，
設定對應的 StorageClass 為剛才基于 vSphere CSI 創建的 example-block-sc：
應用創建成功，已創建并附加宣告的存盤卷：
進入 vCenter，可以看到這臺節點虛擬機已掛載一個 8G 的硬碟，容量和 PVC 一致，后端存盤和 StorageClass 定義的一致，
進入 MySQL 終端，寫入一些測驗資料：
這里創建一個表，插入示例值：
對現有 PVC 創建一個快照：
再次進入 MySQL 添加資料：
洗掉現有系結的 PVC，進入 MySQL 查看表已檢索不到，
使用卷快照的 PVC，進入 MySQL 查看資料，為創建快照時的狀態，
監控
vsphere-csi 提供了基于 Prometheus 的監控指標，提供 CNS 組件和容器存盤的指標暴露，
在 KubeSphere 上可以通過監控匯出器創建對應服務的 ServiceMontior：
vSphere 官方提供了 Grafana 的監控模板，可直接使用：
用戶也可根據監控指標在 KubeSphere 設定基于偏好的自定義監控面板，如觀察容器塊存盤創建成功的次數統計：
除此之外，虛擬化管理員亦可在 vCenter 查看 CNS 監控資訊：
首次分享就到這里了，作為一名之前從事虛擬化，現在從事云原生的工程師，不論是采用哪種基礎設施環境，最終目的都是為了上層應用站在巨人的肩膀上大施拳腳，因此在不同的基礎環境提供不同的解決方案，也是一名售前工程師的樂趣，感謝觀看，
PS: 感謝老東家的 VMware 環境借用哈哈，
本文由博客一文多發平臺 OpenWrite 發布！
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/518883.html
標籤：其他