摘要：華為云站點數字化平臺CloudMap攜手華為云圖引擎GES打造云服務全堆疊拓撲，網路流量路徑和云服務動態依賴等空間關系資料，支撐現網運行態風險識別和分鐘級定位定界，構建業界領先的數字化能力，
本文分享自華為云社區《構建站點數字孿生，支撐確定性運維：華為云九洲云圖CloudMap》，作者：HWCloudAI ，
隨著云計算產業的蓬勃發展，站點數字化行程方興未艾，如何管理云站點中數目眾多的云資源和日益復雜的關系資料，通過數字化技術提前識別和發現現網風險，保證現網不出重大事故成為當前SRE面臨的巨大挑戰，面對海量業務和運維資料，如何構建站點級數字孿生平臺，讓資料發揮自身價值為SRE所用，是邁入DataOps的我們亟需解決的問題，為此，華為云站點數字化平臺CloudMap（以下簡稱“九洲平臺CloudMap”）攜手華為云圖引擎GES打造云服務全堆疊拓撲，網路流量路徑和云服務動態依賴等空間關系資料，支撐現網運行態風險識別和分鐘級定位定界，構建業界領先的數字化能力，
1、傳統云資源運維面臨的挑戰
傳統的云資源的運維存在諸多問題：對風險的管控仍然依賴人工而不是工具系統，風火水電基礎設施在遇到問題時因無法定位影響只能全域管控，使影響面無故擴大，由于缺乏云資源的拓撲資訊，部分資源依賴獲取不到會導致許多問題的擱置……提升云資源的自動化運維能力，面臨諸多挑戰：
缺乏拓撲資訊，依賴分析難
不同的云資源（如租戶資訊、云服務資訊、機柜機房資訊）來源于不同的系統中，從軟體層面的云服務，到硬體層面的機房機柜等，都可能出現各種各樣的問題，并且不同的云服務之間存在著一些依賴關系，一個云服務出問題可能影響其他云服務，
自動化程度低，問題定位依賴人工
即使擁有這些依賴關系并存盤在配置管理資料庫中，傳統運維手段也只能定位問題節點，對于問題的爆炸半徑（如問題節點依賴的機柜機房資訊、或者受到其依賴的其他云服務)往往要依賴手工定位，
運維訴求雜，查詢型別多
此外運維例行維護、故障定位需要進行型別繁多的查詢，既需要有實時性要求的單點深度鏈路查詢支撐運維，也需要全域類鏈路統計等偏離線任務的查詢支撐下游任務，
2、九洲平臺CloudMap的解決方案
圖 1 九洲平臺CloudMap資料概覽
九洲平臺CloudMap攜手華為云圖引擎GES完成了億級空間資料構建，通過租戶資源拓撲構建、網路流量路徑分析、服務動態依賴發現打造全鏈路可視能力，構筑基于站點視角的數字化平臺，實作分鐘級問題定界，
圖 2 云上資源拓撲關系示意圖
2.1 租戶資源拓撲構建
租戶資源拓撲是將物體抽象成與其大小、形狀無關的“點”，而把連接物體的線路抽象成“線”，CloudMap通過整合各類系統中的資料資訊，將華為云的租戶與其相關租賃的物理機、虛擬機進行關系的構建并存盤到華為云圖引擎GES中，構建租戶資源拓撲，使得依賴分析成為可能，在租戶出現問題時第一時間能夠通過“線”溯源回對應的租賃機器，并快速定位和解決其中的問題，
2.2 網路流量路徑分析
華為云作為國內TOP云服務廠商，每日網路流量資料是比較龐大的，對于網路流量路徑的管理和可視就如百度地圖之于道路交通一樣重要，而在運維場景下，掌握了網路流量路徑可以進一步的補充由基礎設施、基礎服務到高階服務之間的鏈路關系，CloudMap通過將請求流量進行監控，繪制出一個整體、清晰的物理和虛擬網路路徑，可以準確截斷問題的蔓延，提高自動化運維水平，
2.3 服務動態依賴發現
服務依賴發現是發現分布式軟體系統中各組件依賴關系的程序，隨著華為云的規模擴張，服務往往會被拆分為多個子服務，分布式軟體系統通過不同子服務之間的組合，提供了穩定多樣化的服務，與此同時，由于這些錯綜復雜的依賴關系，也伴隨著很多連鎖反應，其中最經典的案例就是由于單個服務的故障導致其在分布式軟體系統中快速傳播，導致大量的服務失效，在華為云的日常運維中，掌握各個服務的動態依賴是讓云穩定可靠不可或缺的一項技術，它關系到了能否快速的找到保障服務的各個關聯服務，避免其他服務引火燒身，CloudMap通過對服務間依賴的動態探測，構造全鏈路微服務依賴關系；同時借助GES的多跳查詢能力，及時定位單服務問題的影響范圍，避免大量服務失效，解決爆炸半徑求解難的問題，
圖 3 服務資源視圖查詢示例
3、華為云圖引擎GES助力CloudMap高效檢索圖資料
從資料入庫到計算查詢，華為云圖引擎GES為九洲平臺CloudMap的存盤、查詢和分析提供了一站式解決方案，
3.1 圖資料建模
- 在復雜、龐大資料量的背景下很難使用傳統的結構化資料庫進行資料建模，圖引擎幫助快速構建點到點、點到邊之間的資料建模；
- 從基礎設施到云服務，使用圖引擎構建全堆疊元資料，創建了過億的點邊關系，同時這些點、邊支持增加屬性機制，讓每個點、邊都能存盤對應的屬性；
- 數億級屬性資料實作小時級資料匯入能力，保證了資料的時效性，
圖 4 簡化后的元資料截選
3.2 多樣介面能力
華為云圖引擎GES提供了豐富的API介面查詢能力，CloudMap通過呼叫GES API，實作介面化的查詢邏輯，目前CloudMap有數十個查詢請求通過GES的Cypher、PipelineQuery、PathQuery等介面完成，這些請求回應和回傳格式統一，便于處理，簡化了CloudMap的處理邏輯，降低了運維訴求雜，查詢型別多帶來的業務開發成本，查詢請求的高效回應，讓長鏈路的空間關系資料得以快速查詢并消費，
3.3 計算分析
- 秒級回應能力：在圖引擎的強大算力支持下，九洲平臺CloudMap實作了多點、多跳查詢的能力，在復雜的空間關系中快速、準確的找到需要的資料及關系，其中利用業界領先的技術，圖引擎將大量6-8跳查詢的回應控制在秒級，使得CloudMap進行實時故障影響面分析、設備依賴關系查詢成為可能；
- 離線計算能力：在對于需要龐大計算量、大量資料的分析型任務中，圖引擎提供了異步任務能力，通過提前執行離線查詢/演算法任務并快取結果，保證了結果獲取的效率，支撐了CloudMap向下游應用提供資料；
- 強大索引機制：圖引擎支持像關系型資料庫一樣的索引構建能力，可以基于label、屬性等進行索引創建，實作全圖屬性過濾任務的快速回應；
- 穩定可靠的查詢能力：由于資料量大、查詢鏈路長的原因，在查詢程序中往往會使用大量記憶體，圖引擎通過記憶體管理技術控制總記憶體使用量，讓查詢穩定可靠，
圖 5 CloudMap資料示例
4、九洲平臺CloudMap的應用
作為站點數字化平臺，九洲平臺CloudMap在圖引擎GES上搭建運維圖譜圖模型，建立站點空間資料關系，通過疊加空間資料和運維作業資料，從而打破資料孤島、消除資料斷裂點，形成運維知識圖譜，釋放資料價值，助力故障快速定位定界：
- 空間資料：通過提供華為云站點三類空間資料（租戶資源拓撲、網路流量路徑與服務架構依賴），提供從租戶資源實體、物理網路到基礎設施風火水電等全域視野，支撐快速識別服務影響與租戶影響范圍；
- 知識圖譜：基于以上空間資料，結合告警、變更、監控與事件等核心運維資料，通過整合整理，再提取出故障線索，形成發現即定界能力，提升黑盒和自愈恢復觸達效率，
- 專家經驗：在各個運維場景下不斷固化專家經驗并進行實踐和沉淀，使得專家經驗真正使能運維資料，
截止目前，CloudMap空間關系資料已覆寫30+云服務，在分布式快取服務DCS、云資料庫服務RDS、檔案資料庫服務DDS和大資料服務MRS等高階服務故障快恢場景應用落地，除此之外，CloudMap還為站點風控、變更風控、故障快恢等多個運維場景提供了資料底座和計算能力，極大提升了現網運維效率，為華為云穩定可靠，為SRE確定性運維而持續努力，
點擊關注，第一時間了解華為云新鮮技術~
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/548858.html
標籤：大數據
上一篇：DTALK直播預約 | 資料資產管理：金融機構資料價值釋放的必經之路
下一篇：Mysql之SQL陳述句基礎1