摘要：華為云容器SRE在海量集群和容器運維實踐中，從智能運維能力、確定性場景恢復等多方面總結出一套確定性運維實踐，以應對云原生業務快速增長，
本文分享自華為云社區《云原生容器高可用運維能力應用》，作者：陳勇/劉志超/袁文峰，
云原生場景下，對架構高可用、應用高可用、基礎云平臺高可用提出了更高的要求，企業以及云平臺都在不斷致力于穩定性建設，但面對海量復雜的客戶業務場景，業務會不可避免的遇到非預期的故障，比如配置例外、應用過載、底層網路例外、硬體故障等，當這些確定性故障場景出現時，如何做到快速診斷和快速恢復，如何在故障發生前提前識別風險、消除隱患，如何在故障發生時監控準確發現定界，一直是云計算廠商面臨的困難問題之一，
云原生容器面對的挑戰與解決方案
1、華為云云原生容器年復合增長快，需要維護的站點和k8s集群多，復雜的海量客戶應用場景給運維作業帶來巨大挑戰，
2、云原生便捷的快速部署能力、可伸縮性使得用戶業務容器、集群結構等無時無刻不在變化之中，單局點節點變化非常快，
3、云原生社區豐富的應用實踐以及容器開放的部署方式，用戶易出現配置類錯誤，導致故障發生，
4、面對客戶不同的業務場景、集群型別，當前社區在監控準確率、故障快速定位恢復等通用運維能力尚無有效的解決方案，
解決思路：
1、現網客戶請求事件同比增長，單純依賴人力的運維已無法支撐業務的快速增長，以軟體工程的手段解決現網運維中的實際困難，構建貼合業務特征的自動化運維平臺，
2、將業務形態與業界開源方案相結合，構建可靠、可信的租戶監控能力
3、打通運維能力產品化落地路徑，將實踐可靠的運維能力固化到產品中，提升產品易用性以及客戶自運維能力，
智能運維能力
>> 故障預防
“故障預防"在確定性運維中是很重要的一環，可以有效避免客戶業務發生故障，風險識別在故障預防中極為有效的一種手段，客戶業務的高可用部署、容器的資源配置合理性、依賴各服務的使用配額、集群和節點分配和使用率等，均會導致業務存在潛在風險，完備、及時的有效風險識別可消除客戶業務隱患，防止應用故障，
解決思路和措施：
a. 結合歷史現網故障以及容器業務架構，梳理關鍵風險場景和有效監控指標，
b. 基于專家經驗、歷史故障場景、結合租戶歷史行為，構建風險指標判斷識別系統，自動檢測租戶容器場景集群風險項，為集群構建集群畫像，識別集群風險，
c. 風險識別能力實作原子化對接TSC平臺，賦能客戶經理，
d. 風險識別聯動周邊，推動產品設計改進、引導租戶提前消除、支撐SRE風險收編以及故障快速恢復，
現網效果：
周級別自動識別全網集群風險、分鐘級單集群深度自動巡檢，資料入湖并被TSC訂閱消費，
>> 監控故障發現
監控發現”旨在先于客戶發現，在底層ECS故障、網路故障發生時，及時發現故障，及時自愈或通知到客戶，盡最大可能短時間止損，減少客戶的損失，另一方面，在真正客戶業務受損時，監控要做到快速判斷故障影響面，做到應用鏈路透視監控，可以輔助快速定位至故障點，
解決思路和措施：
- 歷史事件+業務架構，確定監控場景：通過對歷史現網事件負向分析和容器場景故障模式正向分析，梳理確定容器監控場景，
- 從0到1構建監控能力：構建容器prometheus監控能力，實作從集群、租戶、站點三級視圖的監控能力，并完成1-N個站點的快速復制和覆寫，
- 引入基于孤立森林的智能檢測演算法以及租戶面集群容器狀態細粒度監控等不斷提升監控覆寫率和準確度，
現網效果：
容器現網warroom提前發現率顯著提高，
確定性場景恢復
>> 快速定位恢復
“快速定位恢復”從定位和止損兩方面出發，目標是降低故障發生后的MTTR，減少客戶業務損失，通過歷史海量用戶故障輸入，明確故障確定性場景，針對這些確定性故障場景，建設自動診斷能力和一鍵恢復預案能力，
解決思路和措施：
a. 基于CMC/AOM/Promtheus/CLS/datahub等構建容器場景全指標監控接入.
b. 結合容器場景業務生命周期以及現網故障，構建容器域故障推導模型，
c. 結合監控資料，業務性，CLS日志等構建故障推導原子能力，
d. 基于CAR打造故障定位編排引擎，
e. 結合故障模式以及應急預案，降故障恢復動作平臺化，
現網效果：
- 實作核心故障場景預案平臺化、構建故障場景故障定位能力，對應確定性故障場景5min定界，
- 對應確定性故障場景實作10min恢復，
云原生容器場景運維方向
未來華為云云原生容器體量會更快速的增長，k8s社區新特性也在快速迭代，跨云跨地域業務部署是大趨勢，如何在云原生時代為客戶業務提供穩定的運維保障能力，如何在不斷指數式增長的容器規模下，構建統一確定性運維能力是我們的方向，
總結
華為云通過海量復雜云原生客戶業務場景，從風險預防、資料面監控、故障自動診斷、確定性場景預案恢復等方面，識別云原生客戶云上確定性業務使用和故障場景，持續構建智能運維能力和確定性場景恢復能力，保障客戶云上業務穩定，以應對云原生業務快速增長，
點擊關注，第一時間了解華為云新鮮技術~
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/548724.html
標籤：其他
上一篇：git 常用命令
下一篇：全網最詳細中英文ChatGPT-GPT-4示例檔案-個性化角色智能對話從0到1快速入門——官網推薦的48種最佳應用場景（附python/node.js/curl命令源代碼，小白也能學）