作者:萬宏明,KubeSphere member,負責 KubeSphere 安全和多租戶團隊
隨著 K8s 在生產和測驗環境中用的越來越多,對安全性的關注也會越來越多,所以本文主要是給大家分享以下內容:
- 了解 K8s 環境面臨的安全風險
- 了解 K8s 提供的安全機制
- 改善 K8s 安全狀況的最佳實踐
1. K8s 安全風險

這張圖是 CNCF 金融用戶小組總結的 K8s 信任邊界圖,它把在 K8s 環境中的信任邊界劃分成三大塊兒,
- 容器鏡像相關部分,主要涉及到的安全攻擊點就是鏡像倉庫和鏡像本身,紅色曲線可以被視為獨立邊界的系統,
- K8s 控制平面相關部分,如果說一個攻擊者攻擊你的 K8s 集群的話,首先會攻擊 K8s 的控制平面,中間涉及到的組件就是 K8s 的 apiserver、scheduler 和 controller-manager,所以說這些組件之間呼叫鏈的安全也需要去注意,
- 節點上運行時的安全,其中包括 kubelet、kube-proxy 和容器運行時環境也容易被攻擊,要避免運行環境被滲透,
我們根據不同的攻擊型別劃分,首先最容易規避的就是來自外部的攻擊,通常情況下,來自外部的攻擊會有 2 種型別:
-
一種是系統層面的漏洞,需要及時更新,及時跟進 K8s 社區和安全領域相關的最新訊息,可以很好的規避,
-
第二個是應用本身帶來的滲透或者是提權的風險,業務部署在 K8s 之上,應用的漏洞可能造成容器越權或者容器逃逸之類的風險,
借助惡意容器進行攻擊也比較常見,在使用容器的程序種主要會面臨以下風險:
- 使用了不受信任的鏡像倉庫或者是使用了被篡改的容器鏡像會導致惡意代碼被執行,
- 容器執行惡意代碼存在提權或者逃逸的風險,
- 即使容器運行時足夠安全,無法提權或逃逸,內部暴露的服務也容易成為被攻擊的點,造成資料被惡意訪問,
K8s 集群的規模變大,運維人員與終端用戶也會變多,安全憑證的泄露,會對整個集群的安全造成威脅,
即使集群保護的非常好,在安全憑證沒有泄漏的情況下,來自內部成員的惡意攻擊也難以規避,即使是在測驗環境也需要一定程度的租戶隔離,避免來自內部的攻擊、對資料的惡意訪問,
2. K8s 安全機制
在 K8s 社區,安全問題的關注度是非常高的,在 K8s 的設計中,各組件都有安全相關的特性,在 API 認證層面,控制平面中各個組件之間,需要開啟 mTLS 進行組件之間的互認證,
K8s 也支持豐富的認證、訪問控制的機制,通常我們會借助 RBAC 對用戶的權限進行限制,
K8s 還提供了針對容器能力的限制機制,我們可以通過 Security Context 去限制容器運行時的用戶、用戶組,對容器特權進行限制,
K8s 中 Pod Security Policy 可以為集群應用安全策略,但是這個特性會在 1.25 之后被后面提到的 pod security admission webhook 替代,這是 K8s 提供的安全策略機制,非常建議大家去深入了解,
我們還可以用到 Resource Quota 結合 request、limit 限制容器的資源用量,盡可能的利用 linux 提供的安全特性,針對網路、cpu、記憶體等資源進行用量的限制,Limit Range 可以幫助我們為 Pod 設定默認的資源限制,
除此之外,還可以針對 K8s 集群網路進行劃分,通過 network policy 來支持網路隔離策略,設定黑名單或者白名單,為 namespace 去分配一獨立的 IP 池,
我們可以借助 K8s 節點調度策略、污點管理,node selector 等機制去限制容器能夠調度的節點,實作一定程度的物理隔離,
K8s 還有一些和安全相關的內容,一個是審計日志,需要在 kube-apiserver 中進行開啟,然后是 Pod Security Admission Webhook,這將是一個新的特性,幫助我們為集群應用安全策略,最后就是和資料安全相關,我們可以借助 KMS 來加密 etcd 中的資料,在容器運行時進行解密,
3. K8s 安全最佳實踐
K8s 安全最佳實踐,大部分都是來自于社區用戶和我們實際生產中環境中的經驗總結,

上圖是 K8s 社區的對云原生安全的安全總結,在云原生中主要分四個比較重要的層級:代碼安全、容器安全,K8s 集群安全和云平臺、資料中心的安全,
針對這四個層面的安全問題,有不同的解決策略,
代碼安全往往可以通過以下方式進行應對,比如說應用之間的通訊,盡量使用 TLS 或 mTLS,保證資料的加密傳輸,即使集群中大部分都是可信的環境,TLS 帶來的性能損耗我認為也是在可以承受的范圍之內,
針對代碼安全的增強,通常需要我們在在 CI 或 CD 程序中對代碼進行掃描,對容器鏡像進行掃描,對應用安全進行掃描,即使很多工具會存在誤報的情況,但在大規模的專案中這些步驟是必不可少的,
容器安全方面,我們建議盡可能的使用可信的基礎鏡像,除此之外,盡可能去刪掉不必要的二進制,避免基礎鏡像中作業系統漏洞帶來的影響,
在容器運行的程序中盡可能的使用非 root 用戶,除非是有特定的資料讀寫要求,可能會有一些問題,
- 集群安全
K8s 集群安全層面的建議,首先我們需要整理集群中所有關鍵組件的通訊矩陣,要知道哪些組件會用到哪些埠,比如說 K8s 控制平面常用的 10250,6443 埠等,對系統組件所用到的埠進行合理的管控,通過防火墻來提供最基礎的保障, - 資料安全
在 K8s 集群中我們可以實作或接入已有的 KMS 服務,對 etcd 中的資料進行加密,在 etcd 資料泄漏的情況下也可以保證集群中 secret 資料的安全, - 網路安全
在 K8s 中我們可以借助 Network Policy 實作網路隔離,常用的網路插件 calico 和 Cilium 都可以很好的支持,不要開放不必要的埠,不僅是不對外開放埠甚至對于容器內部暴露的埠也要盡可能的去屏蔽, - 針對所部署的應用安全
盡可能的為每一個部署到 K8s 的容器配置 Security Context,限制容器內的運行用戶和容器特權,禁止其直接讀取或讀寫整個宿主機的網路和檔案,再就是 K8s 針對安全策略的的增強,我們可以利用一些安全策略管理工具如 Gatekeeper,為整個集群運用一些安全策略以抵抗風險,
- 可觀測性部分
不論是限制節點調度,還是配置網路隔離策略等,這些都是以很被動的方式主動進行防御,在復雜的分布式容器化環境中資料的可見性降低,借助可觀測性工具,我們就可以及時的發現集群中例外,比如例外流量、例外的日志、例外的 API 訪問等,這些對整個系統安全來說顯得尤為重要,借助可觀測性工具,無論是監控資料還是例外日志,都可以幫助我們在第一時間去發現問題,我們可以設定合理的告警策略進行防御, - 安全策略管理
K8s 集群安全策略,除了在使用程序中規范對使用者的要求,比如限制不可信的鏡像倉庫、特權容器、hostPath 掛載,也可以借助 Gatekeeper 這類安全策略管理工具進行主動的攔截,
KubeSphere 中的安全增強
KubeSphere 是一個構建在 K8s 之上的容器管理平臺,我們針對 K8s 安全問題提供了以下增強:
1、借助可觀測性組件增強例外的感知能力,借助日志、監控資料結合告警策略來提高例外感知的能力,增加資料的能見度,
2、支 Network Policy 實作網路隔離,支持 IP 池的管理,
3、支持接入 Kata Containers 等更安全的運行時,
4、KubeSphere 社區中開源的 KubeEye,是一個可以實作集群自動巡檢的小工具,可以幫助我們掃描集群中存在的安全風險、不合理的配置等,
5、KubeSphere 提供了 Gatekeeper 的集成,并計劃提供可視化的管理界面,實作安全策略的管理,
6、在 DevOps 流水線中我們可以集成代碼、鏡像等安全掃描工具,
本文由博客一文多發平臺 OpenWrite 發布!
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/458014.html
標籤:其他
