摘要:本文主要從華為云原生產品及開源產品兩個層面進行展開,詳述華為云在云原生領域的最佳實踐,
本文分享自華為云社區《【云駐共創】華為云云原生產品及開源實踐》,作者:kaliarch,
一 云原生發展階段和趨勢
回首過去,云計算的快速發展,為眾多行業的數字化轉型提供了推力,也提升了企業數字化轉型的技術革新,將科技創新與商業元素的不斷融合,又催生出新的業務形態,對企業而言,互聯網激化競爭,面對富有創新的后來者,傳統企業必須做出快速應對,以容器為代表的云原生技術正在推動整個商業世界飛速發展,不斷地高效地運營,并最終轉化到生產效率的提升,通過企業應用的不斷迭代創新,賦予企業嶄新的增長機遇,通過充分利用云計算的相關能力,釋放更多精力專注于業務創新,云原生的興起更是加快了企業數字化轉型的行程,
本文主要從華為云原生產品及開源產品兩個層面進行展開,詳述華為云在云原生領域的最佳實踐,
1.1 第一階段:服務器
云原生發展階段和趨勢,企業 IT 建設所依賴的基礎資源,經歷了從服務器到云化資源的發展階段,正在快速進入云原生階段,服務器階段的特點是以硬體設備為中心,業務應用隨不同廠商設備、作業系統、虛擬化軟體的差異化進行定制設備的安裝、除錯,應用的部署運維基本靠人力完成,自動化程度低,缺乏統一的設備和應用管理能力,后期隨著虛擬化軟體的出現,資源的利用率和擴縮容的靈活性方面得到一定提升,但從未從根本上解決基礎設施與軟體割裂、運維復雜的問題,
1.2 第二階段:云化
為了解決服務器階段的問題,在云化階段,傳統模式下分布離散的設備被統一起來實作了各類資源,如計算、存盤網路的池化,通過統一的虛擬化軟體平臺為上層業務軟體提供統一的資源管理介面,實作資源管理能力的自動化,屏蔽了一部分的基礎設施的差異,使應用通用性增強,但因為虛擬化軟體平臺差異比較大,尤其是各廠商的一些商業化增強,無法在廠商間進行能力共享應用,還是無法以標準的模式構建應用部署,以資源為中心有一個明顯的弊端,就是應用的管理是資源視角,舉個例子,在 Kubernetes 管理中心看到的是一個一個的作業負載,只能劃分出有狀態負載、無狀態負載任務等,沒有一個應用的視角,因為應用通常包含多個不同型別的作業負載,
1.3 第三階段:云原生
云原生階段企業的關注點就以資源為中心轉移到以應用為中心,包括應用敏捷交付、快速、彈性、平滑遷移、無損容災,因此,企業開始考慮如何將基礎設施與業務平臺融合,為企業應用提供標準的運行監控治理平臺,并將業務的通用能力反哺到平臺側,為更好地幫助企業實踐應用的自動化應用,云原生基礎設施成為了企業資料化轉型的首選,
Forrester:國內 300 多個企業認為云原生可幫助企業應對各類調整,企業發展的五大關鍵階段,包括需求變化、快速變化、市場不確定性、業務穩定性、創新業務價值,降本增效,其中讓企業領導者最擔憂的是需求的快速變化,這就要求企業未來的技術架構必須能夠滿足敏捷交付、快速彈性等這些特性,以適應需求和市場變化,
CNCF 的亞洲企業和云原生基礎設施使用率調研結果顯示,云原生已在企業內被廣泛使用,超過 50% 的企業正在使用云原生基礎設施,14%的企業正在計劃使用,Gartner預測到 2025 年,超過 90% 的數字化業務將基于云原生基礎設施構建,可以預見,云原生在未來仍然有較大的增長空間,云原生基礎設施是企業數字化轉型的長期首選,
華為云長期跟隨云原生的動態,并引領云原生創新,不斷實作自我突破, 2012年,華為云推出了擎天架構,簡單來說就是資料面和管理面的全堆疊架構,華為云原生團隊發布的容器產品和分布式云產品也是這個架構上的產品,我們知道云包括虛擬化、 IO 處理、鏈路加密等能力的資料面,也負責虛擬創建,便于協同調度、熱遷移、熱升級等能力的管控面,二者協同配合,為企業提供極優極簡的運營服務,
華為擎天架構包括資料面的軟硬協同系統和管理面的智慧云腦兩部分,其中資料面從極簡資料中心、多樣性算力、擎天系列卡、極速引擎、極簡虛擬化五個維度進行軟硬協同創新實踐計算、存盤、網路安全的全卸載與加速能力,并全面支持虛擬機、裸機與容器,智慧云腦作為面向云AI、 5G 時代的分布式語音作業系統,依托全域調度能力,實作云邊端的協同和治理,
2015 年,華為成為了亞洲唯一的 CNCF 初創成員,并在 2016 年在國內首發第一款 Kubernetes 容器管理平臺 CCE 前身是 Cloud Container Engine,也就是云容器引擎,該云服務通過了 Kubernetes 一致性認證,并在互動、安全、管理性能等維度相比于 Kubernetes 有大幅度的提升,
在 2017 年,華為在國內首發裸金屬,裸金屬容器,裸金屬容器的明顯優勢是高性能,能夠讓容器直接運行于華為的高性能物理服務器上,不會有任何的虛擬化性能損失,可獲得和物理機同等的超優性能,華為云的裸金屬容器使用的是獨立的容器網路技術,相較于開源,性能能夠提升在 20% 以上,
在 2018 年,華為全球首發了 Kubernetes 的 Serverless Container CCI,全稱是Cloud Container Instance,用戶在使用 CCR 的時候就不需要維護和管理那個集群服務器,可以快速創建云原生支持的 Kubernetes 的容器應用,
在 2019 年,華為捐獻了 CNCF 首個基于 Kubernetes 的智能邊緣專案Kubedge,并同步發布了商用服務IEF,全稱 Intelligent Edge Fabric,用戶可以使用一個 Kubernetes 集群,實作云和邊的節點的統一管理,
應用云邊協同統一調度, 2019 年是華為的高產的一年,這一年也是云原生被大眾廣泛接受的一年,容器平臺批量計算專案 Volcano 發布,
在 2021 年,華為云重磅發布了 CCE Turbo 和分布式云原生,從名字上看, CCE Turbo 是 CC 的加強版,在計算、網路、調度三大方面全面加速,服務器資源和性能雙零損耗,幫助提升了音視頻服務性能達到40%,讓在線課堂零卡頓,打造流暢的用戶體驗,
在網路加速方面,采用了獨創的容器直通網路,讓兩層網路變成一層,端到端,連通時間縮短一半,有效支撐業務擴容,在調度加速方面,通過感知 AI 大資料、 Web 業務的不同特征以及應用模型、網路拓撲等,實踐了業務混合部署、智能調度以及自動化優化任務調度策略,實作了每秒1萬容器的大規模并發調度能力,幫助了某客戶提升了集群利用率達提升了40%,
華為云在那個云原生領域的開源專案,從 2019 年到 2022 年,華為云先后開源了 5 個開源專案,共同推動云原生技術的共享和發展,
二 華為云云原生產品介紹
2.1 CCE Turbo集群:云原生基礎設施全面增強的云容器旗艦產品
CCE Turbe 是面向云原生2.0的新一代容器集群產品,計算、網路、調度全面加速,
在計算方面,基于擎天架構,將存盤容器、存盤容器網路和容器引擎百分之百應用到擎天卡上,服務器資源利用率可提升20%,
在網路方面,深度整合了華為云 VPC 的彈性網卡和輔助彈性網卡的能力,直接從 VPC 網段內分配容器 IP 地址,容器支持容器直接系結、安全組,構建了業內領先的深度融合云上虛擬云 VPC 的新一代容器網路方案,實作了虛擬機 trunkport 裸金屬 Eni 直通流量,直通容器性能提升40%,
在調度方面,實作了多種型別業務智能混合調度應用拓撲感知、分時復用等快取加多調度器共享視圖速度達到了每秒1萬Pod,
安全方面:裸金屬節點部署安全容器,提供虛擬機級別的資源和業務隔離 ,基于VPC安全組提供容器網路訪問控制能力和Qos限速能力,
2.2 IEF:智能邊緣平臺云邊協同,高效構建云邊端一體解決方案
IEF 是全稱,是Intelligent EdgeFabric,它基于 CCE 構建,智能邊緣平臺(Intelligent EdgeFabric)是基于云原生技術構建的邊云協同作業系統,可運行在大量異構邊緣設備上,并以輕量化的方式將豐富的AI、資料分析、中間件等應用從云端部署到邊緣,滿足用戶對智能應用邊云協同的業務訴求,
其可以支持接入邊緣節點,接入 Kubernetes 集群的節點需要有 VPC 以及相同的子網約束, IEF 打破了這個約束,只需要在邊緣節點上安裝一個代理Agent,就能讓用戶把已有的設備接入 IEF 管理,
這些邊緣節點可以分布在不同的地理位置,不同的邊緣節點可以組成節點組,同一個邊緣節點可分屬不同的節點組,這樣應用就可以按節點組調度,一個典型的云邊端協同場景,是分布在全國的電塔或者通信塔上的攝像頭視頻資料有著巨大的價值,可以作為生命防火實地監控,用于監控的資料輸入,將全國可支持相同業務的攝像頭進入的邊緣節點劃到相同的節點組,這樣一個演算法就可以實作全國發放,全國的相同業務都實作秒級更新,
除了基本能力, IEF 還提供邊緣協同通道,支持邊緣節點提取價值資料上云 IEF 作為邊緣協同平臺,它具備以下重要特性,海量設備接入能力,在互聯網和 Web 3.0 的趨勢下,越來越多的資料需要在邊緣處理,因此需要支持大規模邊緣設備接入,當前 IEF 可支持 10 萬級節點接入,實際已交付過6萬節點接入的專案,云邊協同方面, IEF 為邊緣應用和云上服務提供互訪的方式,
2.3 CCl:華為云長期投入云原生技術與產業,多款明星產品
CCI 云容器實體的全稱是 Cloud Container Instance,可以,可以提供 Serverless Container,也就是無服務器容器的容器引擎,讓您無需創建和管理服務器集群,就可以直接運行容器, 其提供基于Kubernetes的Serverless容器服務,兼容K8s和Docker原生介面,用戶無需關注集群和服務器,Serverless 是一種架構概念,是指不用創建和管理服務器,不用擔心服務器的運行狀態、服務器是否在作業等,開發者只需要動態申請應用需要的資源,把服務器留給專門的維護人員管理和維護,從而就可以專注于應用開發,提升應用開發效率,節約企業 IT 成本,
傳統使用 Kubernetes 運行容器,首先需要創建運行容器的 Kubernetes 服務器集群,然后再創建容器負載,如果使用 CCI 來部署容器應用,用戶就不需要在 CCI 集群上系結虛擬機,直接部署應用就可以, CCI 會根據應用申請的資源,為用戶提供足夠的資源運行應用,除了這個基本能力, CCI 還提供了其他高階能力,秒級計費:支持以微核為粒度自定義容器規格,以秒為單位計算容器費用,按實際使用量付費,大幅降低用戶投入成本;安全快速:采用Kata Container安全容器技術,提供虛擬機級別的安全隔離能力,同時兼具容器的啟停速度;開放兼容:原生支持Kubernetes、 Kata Container 和Docker介面,支持Docker鏡像格式, 兼容開源社區生態,
2.4 ASM(Application Service Mesh):八大商業增強能力
ASM全稱是 Application Service Mesh,在開源的微服務治理平臺 Istio 的基礎上,提供了 8 大商業增強能力,
第一點增強是提供了端到端的圖形化控制臺,內置包括金絲雀/藍綠發布不同的應用灰度發布模式,在服務治理方面,支持按流量比例、內容請求、內容源I P 等維度進行治理,
第二點增強是提供了微服務級的可觀測性,傳統的微服務提供的是單應用的監控服務,拓撲和呼叫鏈的支持采用非侵入式,可支持非侵入式的日志拓撲和呼叫鏈,只需要用戶把微服相關的 Service 進去接入 ASM 的網路中,
第三點增強是提供性能更高的資料面,除了與 Istio 社區一樣支持 Pod 級別的 Sidecar 部署之外,還支持 Node 級別的 sidecar 部署, Node 級別的資源資料面資源開銷相比于 Istio 會降低30%,時延降低30%,
第四點增強是管理規模上的加強, 單一網格可以支持 10 萬級的 Pod 實體,實作高密度、大規模的實體統一治理,
第五點增強是支持多種基礎設施治理,網格可接入在容器虛擬機和物理機上部署的服務,幫助用戶實作業務平滑牽引,不需要大刀闊斧地將整個服務從非容器架構遷移到容器架構,
第六點增強是升級能力的提升,控制面和資料面的服務可以實作一鍵升級,支持資料面隨業務滾動和獨立升級,
第七點增強是管理面的可靠性和可維護性的增強,控制面支持跨 AZ 部署,用戶無需擔心控制面的單點故障資料影響資料面的服務治理,降低用戶的運維負擔,
第八點是提供專家服務,相比開源社區, ASM 能夠為客戶提供更完整的咨詢和服務支持,幫助開發者更快地構建解決方案,
2.5 UCS為企業分布式業務提供無處不在的云原生服務
UCS 全稱是 Ubiquitous Cloud Native Service(UCS)是業界首個分布式云原生產品,為企業構建云原生業務部署、管理、應用生態的全域一致性體驗 ,實作客戶在使用云原生應用時,感受不到地域、跨云、流量的限制,讓云原生的能力進入企業的每一個業務場景,加速千行百業擁抱云原生,
這也是華為 2021 年重磅發布的一個服務,要理解UCS,可以把它拆成兩部分,分布式云和云原生,大家可能對云原生已經耳熟能詳,但是分布式云是最近幾年才起來的概念,什么是分布式云?分布式云指的是將公有云服務通常包括必要的硬體和軟體分布到不同的地理位置,而服務的所有權、運營、治理、更新和發展仍然由原始公有云提供商負責,這意味著公有云由原來的幾朵大云轉變為大云加小云的分布模式,
大云轉變為大云加小云的分布模式,分布式云解決了因地理空間所造成的硬體難題,云原生則從應用視角出發解決企業應用云計算的軟體難題, UCS 的分布式云是一個資源和應用的統一管理平臺,可接入四類區域的 Kubernetes 集群,分別是華為的公有云、自建 IDC 、邊緣集群和第三方云,華為云公有云,包括中心Region、智能邊緣 IEC 以及智能邊緣上的 CCE 集群,
第二類場景是自建的 IDC,用戶在自己的資料中心或者機房自建 Kubernetes集群,或者使用華為云的 Kubernetes 敏捷安裝版、 CCE 敏捷版創建的 K8S 可手工注冊到UCS,第三類場景是邊緣集群,即通過剛剛介紹的智能邊緣平臺 IEF 納管的邊緣設備組成的集群,可被 UCS 管理,最后一類是第三方云上的 K8S 集群,除了從華為云直接創建的集群,手工注冊的 UCS 集群,只需要在集群上配置 UCS 的集群管理組態檔,就可以注冊到UCS,實踐云端的邊緣跨云多集群的統一管理,實作集群生命周期統一管理、配置策略統一管理應用和資源可視化監控洞察等,
除了基本的集群管理能力, UCS 還提供了三大競爭力,應用算力供給、應用流量治理、應用與資料協同,
UCS 通過全域應用調度屏蔽位置帶來的復雜性,將全域的算力打通,根據資源分布的業務特點,結合地理位置、網路、 Qos 的資源均衡等條件,實作全域資源的最優化協同部署,應用流量治理新模式就包括在分布式云中,流量互通是業務協同的根本, UCS 通過提供全域服務能力可以提供,管理分布式云中的南北東西向流量策略,實作全域服務的流量和智能調度,地理親和、動態路由演算法等調度能力,應用和資料的割裂會為容災、遷移、彈性等場景帶來很大的困難,華為分布式云原生 UCS 就圍繞應用的資料模型進行了建模,并對不同的資料型別進行分層管理,實作存盤層、容器層、中間件層等不同層級資料的實時調動,使資料能夠更好地隨著應用在分布式云場景下進行通信和流轉,支持應用容災擴容、遷移的應用場景,
以上從以上三點可以看出,華為云的 UCS 致力讓企業使用云原生時感受不到地域的限制、流量的限制、跨云的限制,充分保證應用在多個場景下的使用,在三大能力之上是統一的云原生服務市場, OSC 可以理解為云廠商的Marketplace,不過這是Marketplace 的子集,只包含容器部署的服務, OSC 可支持服務提供商發布商品,服務提供商需要按,按照 OSC 的服務規范改造服務,充分利用UC、 IEF 等基礎服務提供的跨云、跨集群的調度能力、調度能和資料協同能力,達到服務的真正云源深化,
華為云原生團隊提供了 3 個基礎設施服務管理服務,CCE、 CCI 和 IEF 分別管理華為云資源和用戶接入華為云的邊猿澩,這些被管理的資源為應用提供了部署環境,還提供了 3 個軟體服務,SWR、UCS、ASM,這SWR 當前的功能相對簡單,可提供鏡像的生命周期管理, 為微服務提供了非侵入式的容器化服務治理能力,以 UCS 的保羅萬象,以CCE、CCI、IEF、 ASM 為基礎,在這些服務之上構建了跨集群、跨云的統一治理和應用調度能力,
三 云原生開源產品介紹
一直以來,華為云都是開源社區和基金會的重要參與者、支持者和貢獻者,在基金會貢獻方面, CNCF 基金會 2015 年成立開始,華為運營,就成為了基金會亞洲唯一創始成員、白金會員,直到今年,華為已向 CNCF 貢獻多個首創開源專案,包括云原生邊緣計算平臺KubeEdge、云原生批量計算專案Volcano、云原生多云容器編排專案Kamada,今年,華為又開源了兩個云原生領域的專案 Kurator 和Kappital,受到廣大開發者的追捧,
在社區貢獻方面, K8S 和 Istio 兩個社區成立之初,華為云就參與到該專案,并開始貢獻代碼至今目前,貢獻在亞洲都是排列首位,總體上,華為云在云原生領域一直都保持高投入、高貢獻,持續多年排名第一名,
3.1 KubeEdge云原生邊緣計算平臺賦能千行百業
KubeEdge是業界首個云原生邊緣計算框架,云原生計算基金會內唯一范訓級邊緣計算開源專案,在全球已擁有 900 多個貢獻者和 70 多個貢獻組織,在 Github 上已經獲得了超過 5.4 千的 stars 和 1.6 千的fork,
近年來, KubeEdge社區一直持續開拓創新,完成業界最大規模的云原生邊云協同高速公路專案,統一管理了全國 10 萬邊緣節點和 50 萬的邊緣應用,完成業界首個云原生星地協同衛星,以云原生衛星為例,使得衛星在太空中可同時呼叫邊緣和中心云的資源,并具備 AI 能力和多任務處理能力,有效降低空天計算實驗門檻,測驗資料表明,通過衛星與地面站協同,計算精度提升了 50% 以上,其衛星回傳資料也可減少90%,
3.2 Volcano云原生批量計算平臺釋放多元算力
Volcano是一個基于 Kubernetes 的云原生批量計算專案,是 CNCF 首個容器批量計算專案,并已正式成為 CNCF 范訓級專案, Volcano 主要用于AI、大資料、基因渲染等諸多高性能計算場景,對主流通用計算框架都有很好的支持, Volcano 社區已吸引了 2.6 萬全球開發者,目前, Volcano 在人工智能、大資料、基因測序等海量資料計算和分析場景已得到了快速應用,并構建起了完善的上下游形態,
以小紅書為例,小紅書是國內 TOP 級內容社區公司,能擁有千億級的引數推薦模型和 AI 在線離線訓練平臺,它們訓練集群有接近千臺計算節點,訓練速度優化到最佳,同時要求集群資源規劃自動化,無需人工手動配置定位,并為同集群作頁澩競爭提供防餓死機制,
小紅書在使用 Volcano 改造后,使用 Volcano 應用感知調度就可以避免人工提前規劃資源,實作資源規劃自動化,同時基于 Volcano SLA 調度演算法解決了大作業餓死問題,最終小紅書總體 AI 訓練速度提升了20%,
3.3 Karmada助力工行實作海量節點的多集群管理
Kamada 是華為云 2021 年4月開源的云原生多云容器編排專案,沉淀了眾多企業在多云管理領域的豐富經驗,可構建無限可擴展的容器資源池,讓開發者像使用單個 K8S 集群一樣使用多云,目前, Kamada 已正式捐獻給CNCF,也是 CNCF 首個多云容器編排專案, Kamada 專案的加入,將 CNCF 的云原生版圖進一步擴展至分布式云領域,自開源以來, 專案已經擁有 2.3 千多的 star 和 450 多的fork, 120 多個貢獻者,極具潛力,
工商銀行等企業也是基于 Kamada 進行了容器化改造,以工商銀行為例,工商銀行的應用平臺云容器規模超過 20 萬,整體的核心業務都已經實作了容器化,包括個人金融體系的賬戶、敏捷支付、線上渠道等,
當越來越多的核心業務進入云以后,最大挑戰就是容災,很高可用,但現有的云管平臺并不能解決這些問題,比如,沒有整體的跨集群自動伸縮能力,集群佇列上層用戶不透明,沒有跨集群的自動調度和遷移能力,對此,他們根據業務場景調研了一些多集群管理平臺,最終也選擇了社區支持的開源專案 Karmada 以類似 K8S 的形式部署,對他們來說,改造成本是最小的,只需要在上面部署一個管理集群即可,
3.4 Kappital云原生服務全生命周期平臺
華為開源推出了分布式云原生服務, Kappital 旨在幫助開發者快速構建云原生服務,為云原生服務提供統一的打包、部署、管理標準和一致使用體驗,加快云原生服務的落地, Kappital 主要提供統一的服務生態、全場景的部署、全生命周期治理、開箱即用運維等四個方面的能力,華為云希望Kappital專案能夠幫助到開發者和合作伙伴,快速、輕松地構建健壯、可擴展的云原生服務,豐富云原生服務生態,
3.5 Kurator打造統一的分布式云原生基礎設施
華為云在分布式云原生領域的多年優秀實踐,華為的開源團隊構建了開源的分布式云原生套件Kurator,是業界首個分布式云原生開源套件,整合了Karmada、Volcano、KubeEdge、 Prometheus 等業界主流開源技術堆疊,同時包括新增的開源分布式云原生服務中心,
Kurator 致力于打造開箱即用、開源開放的分布式云原生平臺,提供多云、多集群、統一編排、統一調度、流量治理、便于協同、統一監控運維等核心能力,可以幫助廣大開發者、生態伙伴實作云原生應用服務化,助力企業快速搭建分布式云原生平臺,實作企業業務跨云跨編、分布式化升級開發,
面向未來,華為云開源策略未來的規劃將持續秉持攜手創新、成就共享的理念,深耕云原生領域,基于云原生領域開源的已有的成功經驗和優秀實踐,以分布式云原生套件 Kurator 為核心,協同開發者持續打磨、增強,在生態方面,主動參與各生態資源對接開源,主動開源華為云自身各類資源插件,打造 K8S 南向標準生態,在北向生態方面,加強 CNCF 現有優勢社區集成開源大資料庫、 AI 中間件、 UI 等場景化工具套件,降低開發者使用門檻,使能開發者生態,
點擊關注,第一時間了解華為云新鮮技術~
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/549148.html
標籤:其他
上一篇:KubeSphere 社區雙周報 | 4.8 深圳站 Meetup 火熱報名中 | 2023.3.17-3.30
