一 共享存盤
1.1 共享存盤作用
Kubernetes對于有狀態的容器應用或者對資料需要持久化的應用,不僅需要將容器內的目錄掛載到宿主機的目錄或者emptyDir臨時存盤卷,而且需要更加可靠的存盤來保存應用產生的重要資料,以便容器應用在重建之后仍然可以使用之前的資料,1.2 共享存盤資源
為了能夠屏蔽底層存盤實作的細節,便于使用和管理,Kubernetes從1.0版本就引入PersistentVolume(PV)和PersistentVolumeClaim(PVC)兩個資源物件來實作對存盤的管理子系統, PV是對底層網路共享存盤的抽象,將共享存盤定義為一種“資源”,比如Node也是一種容器應用可以“消費”的資源,PV由管理員創建和配置,它與共享存盤的具體實作直接相關,例如GlusterFS、iSCSI、RBD或GCE或AWS公有云提供的共享存盤,通過插件式的機制完成與共享存盤的對接,以供應用訪問和使用, PVC則是用戶對存盤資源的一個“申請”,就像Pod“消費”Node的資源一樣,PVC能夠“消費”PV資源,PVC可以申請特定的存盤空間和訪問模式, 若使用PVC“申請”到一定的存盤空間仍然不能滿足應用對存盤設備的需求,比如通常應用程式都會對存盤設備的特性和性能有不同的要求,包括讀寫速度、并發性能、資料冗余等更高的要求,因此Kubernetes從1.4版本開始引入了一個新的資源物件StorageClass,用于標記存盤資源的特性和性能, Kubernetes 1.6版本時,StorageClass和動態資源供應的機制得到了完善,實作了存盤卷的按需創建,通過StorageClass的定義,管理員可以將存盤資源定義為某種類別(Class),正如存盤設備對于自身的配置描述(Profile),例如“快速存盤”“慢速存盤”“有資料冗余”“無資料冗余”等,用戶根據StorageClass的描述就能夠直觀地得知各種存盤資源的特性,就可以根據應用對存盤資源的需求去申請存盤資源, Kubernetes從1.9版本開始引入容器存盤介面Container Storage Interface(CSI)機制,目標是在Kubernetes和外部存盤系統之間建立一套標準的存盤管理介面,通過該介面為容器提供存盤服務,類似于CRI(容器運行時介面)和CNI(容器網路介面),二 PV
2.1 PV詳解
PV作為存盤資源,主要包括存盤能力、訪問模式、存盤型別、回收策略、后端存盤型別等關鍵資訊的設定, 示例1:如下宣告的PV具有如下屬性:5GiB存盤空間,訪問模式為ReadWriteOnce,存盤型別為slow(要求在系統中已存在名為slow的StorageClass),回收策略為Recycle,并且后端存盤型別為nfs(設定了NFS Server的IP地址和路徑), [root@k8smaster01 study]# vi nfspv01.yaml1 apiVersion: v1 2 kind: PersistentVolume 3 metadata: 4 name: pv1 5 spec: 6 capacity: 7 storage: 5Gi 8 accessModes: 9 - ReadWriteOnce 10 persistentVolumeReclaimPolicy: Recycle 11 storageClassName: slow 12 nfs: 13 path: /tmp 14 server: 172.17.0.2Kubernetes主要支持的PV型別如下:
- AWSElasticBlockStore:AWS公有云提供的ElasticBlockStore,
- AzureFile:Azure公有云提供的File,
- AzureDisk:Azure公有云提供的Disk,
- CephFS:一種開源共享存盤系統,
- FC(FibreChannel):光纖存盤設備,
- FlexVolume:一種插件式的存盤機制,
- Flocker:一種開源共享存盤系統,
- GCEPersistentDisk:GCE公有云提供的PersistentDisk,
- Glusterfs:一種開源共享存盤系統,
- HostPath:宿主機目錄,僅用于單機測驗,
- iSCSI:iSCSI存盤設備,
- Local:本地存盤設備,從Kubernetes1.7版本引入,到1.14版本時更新為穩定版,目前可以通過指定塊(Block)設備提供LocalPV,或通過社區開發的sig-storage-local-static-provisioner插件(https://github.com/kubernetes-sigs/sigstorage-local-static-provisioner)來管理LocalPV的生命周期,
- NFS:網路檔案系統,
- PortworxVolumes:Portworx提供的存盤服務,
- QuobyteVolumes:Quobyte提供的存盤服務,
- RBD(CephBlockDevice):Ceph塊存盤,
- ScaleIOVolumes:DellEMC的存盤設備,
- StorageOS:StorageOS提供的存盤服務,
- VsphereVolume:VMWare提供的存盤系統,
2.2 PV配置引數
- 存盤能力(Capacity)
- 存盤卷模式(VolumeMode)
- AWSElasticBlockStore
- AzureDisk
- FC
- GCEPersistentDisk
- iSCSI
- Localvolume
- RBD(CephBlockDevice)
- VsphereVolume(alpha)
1 apiVersion: v1 2 kind PersistentVolume 3 metadata: 4 name: block-pv 5 spec: 6 capacity: 7 storage: 10Gi 8 accessNodes: 9 - ReadWriteOnce 10 persistentVolumeReclaimPolicy: Retain 11 volumeMode: Block 12 fc: 13 targetWWNs: ["50060e801049cfd1"] 14 lun: 0 15 readOnly: false 16
- 訪問模式(Access Modes)
- ReadWriteOnce(RWO):讀寫權限,并且只能被單個Node掛載,
- ReadOnlyMany(ROX):只讀權限,允許被多個Node掛載,
- ReadWriteMany(RWX):讀寫權限,允許被多個Node掛載,
- 存盤類別(Class)PV
- 回收策略(ReclaimPolicy)
- 保留:保留資料,需要手工處理,
- 回收空間:簡單清除檔案的操作(例如執行rm-rf/thevolume/*命令),
- 洗掉:與PV相連的后端存盤完成Volume的洗掉操作(如AWSEBS、GCEPD、AzureDisk、OpenStackCinder等設備的內部Volume清理),
- 掛載引數(MountOptions)
1 apiVersion: "v1" 2 kind: "PersistentVolume" 3 metadata: 4 name: gce-disk-1 5 spec: 6 capacity: 7 storage: "10Gi" 8 accessModes: 9 - "ReadWriteOnce" 10 mountOptions: 11 - hard 12 - nolock 13 - nfsvers=3 14 gcePersistentDisk: 15 fsType: "ext4" 16 pdName: "gce-disk-1" 17提示:以下PV型別支持設定掛載引數:
- AWSElasticBlockStore
- AzureDisk
- AzureFile
- CephFS
- Cinder(OpenStackblockstorage)
- GCEPersistentDisk
- Glusterfs
- NFS
- QuobyteVolumes
- RBD(CephBlockDevice)
- StorageOS
- VsphereVolume
- iSCSI
- 節點親和性(NodeAffinity)
1 apiVersion: v1 2 kind: PersistentVolume 3 metadata: 4 name: example-local-pv 5 spec: 6 capacity: 7 storage: 5Gi 8 accessModes: 9 - ReadWriteOnce 10 persistentVolumeReclaimPolicy: Delete 11 storageClassName: local-storage 12 local: 13 path: /mnt/disks/ssd1 14 nodeAffinity: 15 required: 16 nodeSelectorTerms: 17 - mathExpressions: 18 - key: kubernetes.io/hostname 19 operator: In 20 values: 21 - my-node 22注意:這個引數僅用于Local型別的存盤卷,
三 PVC詳解
3.1 PVC使用
PVC作為用戶對存盤資源的需求申請,主要包括存盤空間請求、訪問模式、PV選擇條件和存盤類別等資訊的設定, 示例1:申明PVC,具有如下屬性:申請8GiB存盤空間,訪問模式為ReadWriteOnce,PV選擇條件為包含標簽“release=stable”并且包含條件為“environment In [dev]”的標簽,存盤類別為“slow”(要求在系統中已存在名為slow的StorageClass), [root@k8smaster01 study]# vi myclaim01.yaml1 kind: PersistentVolumeClaim 2 apiVersion: v1 3 metadata: 4 name: myclaim 5 spec: 6 accessModes: 7 - ReadWriteOnce 8 resources: 9 requests: 10 storage: 8Gi 11 storageClassName: slow 12 selector: 13 matchLabels: 14 release: "stable" 15 matchExpressions: 16 - {key: enviroment, operator: In, values: [dev] } 17
3.2 PVC配置詳解
PVC的關鍵配置引數說明如下:- 資源請求(Resources):描述對存盤資源的請求,目前僅支持request.storage的設定,即存盤空間大小,
- 訪問模式(AccessModes):PVC也可以設定訪問模式,用于描述用戶應用對存盤資源的訪問權限,其三種訪問模式的設定與PV的設定相同,
- 存盤卷模式(VolumeModes):PVC也可以設定存盤卷模式,用于描述希望使用的PV存盤卷模式,包括檔案系統和塊設備,
- PV選擇條件(Selector):通過對LabelSelector的設定,可使PVC對于系統中已存在的各種PV進行篩選,系統將根據標簽選出合適的PV與該PVC進行系結,選擇條件可以使用matchLabels和matchExpressions進行設定,如果兩個欄位都設定了,則Selector的邏輯將是兩組條件同時滿足才能完成匹配,
- 存盤類別(Class):PVC在定義時可以設定需要的后端存盤的類別(通過storageClassName欄位指定),以減少對后端存盤特性的詳細資訊的依賴,只有設定了該Class的PV才能被系統選出,并與該PVC進行系結,PVC也可以不設定Class需求,如果storageClassName欄位的值被設定為空(storageClassName=""),則表示該PVC不要求特定的Class,系統將只選擇未設定Class的PV與之匹配和系結,PVC也可以完全不設定storageClassName欄位,此時將根據系統是否啟用了名為DefaultStorageClass的admissioncontroller進行相應的操作,
- 未啟用DefaultStorageClass:等效于PVC設定storageClassName的值為空(storageClassName=""),即只能選擇未設定Class的PV與之匹配和系結,
- 啟用DefaultStorageClass:要求集群管理員已定義默認的StorageClass,如果在系統中不存在默認的StorageClass,則等效于不啟用DefaultStorageClass的情況,如果存在默認的StorageClass,則系統將自動為PVC創建一個PV(使用默認StorageClass的后端存盤),并將它們進行系結,
四 PV和PVC生命周期管理
4.1 PV生命周期
某個PV在生命周期中可能處于以下4個階段(Phaes)之一,- Available:可用狀態,還未與某個PVC系結,
- Bound:已與某個PVC系結,
- Released:系結的PVC已經洗掉,資源已釋放,但沒有被集群回收,
- Failed:自動資源回收失敗,
4.2 PVC生命周期
將PV看作可用的存盤資源,PVC則是對存盤資源的需求,PV和PVC的相互關系遵循如下所示關系:
4.3 資源供應
Kubernetes支持兩種資源的供應模式:靜態模式(Static)和動態模式(Dynamic),資源供應的目的就是創建好PV,- 靜態模式:集群管理員手工創建許多PV,在定義PV時需要將后端存盤的特性進行設定,
- 動態模式:集群管理員無須手工創建PV,而是通過StorageClass的設定對后端存盤進行描述,標記為某種型別,此時要求PVC對存盤的型別進行宣告,系統將自動完成PV的創建及與PVC的系結,
4.4 資源系結
在用戶定義好PVC之后,系統將根據PVC對存盤資源的請求(存盤空間和訪問模式)在已存在的PV中選擇一個滿足PVC要求的PV,一旦找到,就將該PV與用戶定義的PVC進行系結,用戶的Pod應用就可以使用這個PVC了, 如果在系統中沒有滿足PVC要求的PV,PVC則會無限期處于Pending狀態,直到等到系統管理員創建了一個符合其要求的PV, PV一旦系結到某個PVC上,就會被這個PVC獨占,不能再與其他PVC進行系結了,在這種情況下,當PVC申請的存盤空間比PV的少時,整個PV的空間就都能夠為PVC所用,可能會造成資源的浪費, 如果資源供應使用的是動態模式,則系統在為PVC找到合適的StorageClass后,將自動創建一個PV并完成與PVC的系結,4.5 資源使用
Pod使用Volume的定義,將PVC掛載到容器內的某個路徑進行使用,Volume的型別為persistentVolumeClaim,在容器應用掛載了一個PVC后,就能被持續獨占使用, 不過,多個Pod可以掛載同一個PVC,由應用程式自身考慮多個實體共同訪問一塊存盤空間的問題,4.6 資源釋放
當用戶對存盤資源使用完畢后,用戶可以洗掉PVC,與該PVC系結的PV將會被標記為“已釋放”,但還不能立刻與其他PVC進行系結,通過之前PVC寫入的資料可能還被留在存盤設備上,只有在清除之后該PV才能再次使用,4.7 資源回收
對于PV,可以設定回收策略,用于設定與之系結的PVC釋放資源之后如何處理遺留資料的問題,只有PV的存盤空間完成回收,才能供新的PVC系結和使用, 靜態資源供應模式下,PV、PVC、StorageClass及Pod使用PVC的原理釋義說明:
動態資源供應模式下,PV、PVC、StorageClass及Pod使用PVC的原理釋義說明:
提示:更多StorageClass見《044.集群存盤-StorageClass》,
更多存盤型別參考:https://www.cnblogs.com/Irving/p/9847060.html
轉載請註明出處,本文鏈接:https://www.uj5u.com/caozuo/119051.html
標籤:Linux
