當Serverless遇到Regionless：現狀與挑戰

摘要：本文嘗試基于分析現有的學術文章，剖析Serverless與Regionless并存時，在性能提升和成本控制兩個方向的現狀與挑戰

本文分享自華為云社區《當Serverless遇到Regionless：現狀與挑戰》，作者：云容器大未來，

近年來，Serverless服務崛起的趨勢是有目共睹的：從Berkeley將Serverless認定為云計算向用戶呈現的新默認形態[1]，到頭部廠商紛紛推出Serverless產品并成為爆款，這個趨勢對于云計算平臺是個必然，因為Serverless解放了用戶管理和使用復雜云計算資源的雙手，猶如第二次工業革命中內燃機汽車的出現解決了馬車夫養馬的麻煩，也推動高效、穩定的交通工具走進尋常百姓家，如同汽車由內燃機和轉向機構等組件構成，Serverless平臺可大致分為資源管理和任務編排[2]，分別致力于提供高效且靈活的算力以及提供方便的用戶程式執行方式，

在Serverless如火如荼的同時，Regionless也是不可忽視的一個方向，Regionless實際上是華為云提出的概念，即為屏蔽掉云平臺Region的差異，使得云服務的租戶能像“用水和用電”一樣隨時隨地使用云服務，Regionless的內涵實際上是豐富的，囊括了多個學術研究方向：可以是geo-distributed cloud，也可以是multi-cloud，還可以是cloud-edge computing、 hybrid cloud等，分別對應不同的能力，恰好，以上都涵蓋在華為云分布式云原生服務提供的offerings中，

既然Serverless和Regionless都是當前云原生發展的重要方向，也都基于同一個云平臺資源底座構建，那么兩者的發展必然不會是平行的：Serverless對基礎設施進行了標準化，為應用Regionless化減少了管理和適配的成本；反過來，Regionless也是Serverless的重要組成，因其可以避免用戶感知Region間的差異，

事實上，早在2018年，就有學者關注到Serverless對底層差異的屏蔽以及平臺提供商數量的快速增長，用戶必然會有將Serverless業務部署至Regionless平臺的訴求[3]，在此場景下，用戶和平臺設計者首當其中考慮到的就是如何充分利用分布在各個區域的計算資源以提升如并發度、時延等性能；同時，使用成本也是用戶核心關注點，所以如何充分利用各個廠商的定價差異消減成本，同時也避免與廠商系結（vendor lock-in）帶來潛在的成本問題也需要充分考慮，因此，本文嘗試基于分析現有的學術文章，剖析Serverless與Regionless并存時，在性能提升和成本控制兩個方向的現狀與挑戰，以期拋磚引玉，

性能提升

早在2019年，來自華盛頓大學的研究者[4]已經注意到Serverless作業流中的計算任務會涉及存盤在不同區位的資料，并且這些資料在對應區位會存在隱私性等問題，因此需要將任務分布到對應資料所在的云平臺Region進行計算，為此，作者設計了跨Region的調度器GlobalFlow，其核心思想是將作業流中的任務根據對Region的依賴關系進行分組，形成子作業流調度到對應Region，并且在子作業流之間設計Connector以便于資料交換，

同樣考慮到資料分布的問題，即資料可能分布在不同的區域，而且由于資料隱私性、傳輸開銷等問題，并不能方便地集中在一個區域內處理，[5]中的作者設計了FaDO系統用以編排Serverless計算任務和資料，如圖1所示，FaDO通過Backend Server記錄每個區域存盤的資料，這些資訊則被提供給Load Balancer用于將用戶請求的計算任務匹配并發送到對應的區域，并且在規則允許范圍內，Backend Server還會將資料備份在不同的區域間進行復制，以配合計算任務的并發度，

圖1 FaDO系統執行流程

除了資料的分布會促使Serverless必須接受Regionless，[6]的作者還觀察到：一個云廠商的每個Region、每個廠商都有不同的并發度限制，并且之間的資料傳輸時延、存盤的資料、每種任務執行的速度等能力均不一致，簡單的將應用分發到多云/多Region上并不一定能充分提升并發度和整體完成時間，例如圖2左側所示（每種顏色標記的云上并發度限制為1000，整體應用由f1-f4任務構成，也需要運行1000次），如果f1在藍色標識的云資源上運行地快，而f4則在橙色上快時，均勻分布則不能利用這個性能差異，而且在橙色云上，f2和f3并不能充分并行（完全并行需要1200并發度），進一步影響整體執行時間，在此情況下，如何合理選擇任務所使用的云資源（如圖2右側所示），以有效地提升并發度是[6]所研究的重點，為此，[6]中提出了基于三層數學抽象構建的調度器演算法FaaSt，FaaSt能夠合理地將各個任務調度和合適的云廠商/Region上，使得整體的任務完成時間最短，經過在AWS和IBM云上4個Region的實驗對比，FaaSt調度后的任務完成時間比單云提升2.82倍，

圖2 Serverless并發度示意圖

成本控制

為了協助用戶選擇合適的平臺以執行Serverless任務，[3]中提出了MPSC框架，其核心思想是通過實時監控Serverless任務在不同平臺上執行的性能，進而選擇最具性價比的平臺，MPSC的架構如圖3所示，其中Monitoring Controller為核心組件，用于協調監控指標采集分析和任務調度，Function Executor則負責將任務分發至各個平臺執行，并采集對應指標，除此之外，還有三個存盤模塊分別用于儲存用戶配置、監控指標、用戶定義的調度邏輯，

圖3 MPSC系統架構

在Serverless任務能夠合理分發的基礎之上，來自CMU和UBC的學者提出了虛擬Serverless提供商（virtual Serverless provider, VSP）[7]的概念，VSP作為第三方的平臺，聚合了各個廠商的Offerings，為用戶提供統一的使用介面，為用戶動態選擇最具性價比的Offering，VSP整體架構如圖4所示，其中核心組件包括：Scheduler用以根據性能指標和花費計算最合適的云平臺；Controller則負責將應用請求映射到Scheduler選擇的云平臺上；Bridge用于不同云平臺之間任務的互動；Monitor用以記錄調度到不同平臺上任務的執行性能；Pre-Load用于初始化新接入的云平臺；而Cache則記錄了平臺執行情況用于后續分析優化，通過在AWS和Google云平臺上的測驗，VSP將Serverless任務的吞吐量提升了1.2-4.2倍，同時降低了54%的云資源使用成本，

圖4 VSP系統架構

進一步地，一個面向多云Serverless的開源library在[8]中提出了，此library主要包括兩部分內容（如圖5所示）：1）統一的API和SDK，用于讓用戶不需要感知底層差異即可將不同人物部署在不同的云平臺上，并且為了降低用戶的學習門檻，還提供了基于某一家云平臺提供商的API和SDK（如AWS）拓展出來的、可以將任務部署在其他云平臺的API和SDK；2）分析系統（EAS），用于分析每個任務最適合的云平臺，包含用于將任務分發至不同平臺的adaptor、各個平臺log的收集器Cloud Logging Query、各個云廠商的計費模型Cost Model、接入各個云平臺的鑒權組件Authentication、任務執行的記錄Local Logging以及性能分析器Analysis，

圖5 面向多云的Serverless開源library

挑戰

從上述現有作業可以看出，當前學術界對于Regionless和Serverless結合的研究主要面向geo-distributed cloud和multi-cloud這兩個場景下的任務編排系統架構和演算法，然而這還遠遠不足以構建高效、易用的Regionless化的Serverless平臺，類似于Berkeley將Serverless分成Backend-as-a-Service (BaaS)和Function-as-a-Service (FaaS)兩個層級[1]，我們也可以將當前所面臨的挑戰拆分成底層資源供給以及上層應用管理在Regionless場景的Serverless化：

? 底層資源上，我們需要考慮：

1. 通盤考慮每個區域計算資源池的異構性、資源余量、成本等因素的情況下，提供足夠的資源同時又不因為Serverless極強的彈性而造成過多浪費[9]；
2. 從網路角度，在規避部分地理區位間帶寬、時間等限制的同時，提供支持動態創刪的低性能損失、免配置的網路；
3. 存盤上，提供用戶無感知的跨Region資料預存取與快取，

? 應用管理層面上看，需要達到如下：

%2) 任務編排上，需要對計算、網路、存盤聯合進行調度以避免其中某項瓶頸對整體應用的影響；

%2) 編程框架上，需要在最小甚至沒有侵入式修改的前提下，將用戶應用構建或遷移至該平臺；

%2) 從監控運維角度，需要實作非侵入式、高精度地采集Serverless實體的指標，并基于分布在各個區域的監控資料進行智能例外檢測、根因分析，

以上也將云廠商和學術界共同打造高效且易用的Regionless下Serverless平臺，共同面臨的挑戰，

參考文獻

[1] J. Schleier-Smith, et. al. "What serverless computing is and should become: The next phase of cloud computing," Communications of the ACM, vol. 64, no.5, pp. 76-84, 2021.

[2] Li, Zijun, et. al. "The serverless computing survey: A technical primer for design architecture." ACM Computing Surveys (CSUR), vol. 54, no.10s, pp. 1-34, 2022.

[3] A. Aske, et. al. "Supporting multi-provider serverless computing on the edge," in Proc. Int. Conf. Parallel Processing Companion, 2018.

[4] G. Zheng, et. al. "GlobalFlow: a cross-region orchestration service for serverless computing services," in Proc. IEEE Int. Conf. Cloud Comput. (CLOUD), 2019.

[5] C. Smith, et. al. "Fado: Faas functions and data orchestrator for multiple serverless edge-cloud clusters," in Proc. IEEE Int. Conf. Fog and Edge Comput. (ICFEC), 2022.

[6] S. Ristov, et. al, "FaaSt: Optimize makespan of serverless workflows in federated commercial FaaS," in Proc. IEEE Int. Conf. Cluster Comput. (CLUSTER), 2022.

[7] A. Baarzi, et. al. "On merits and viability of multi-cloud Serverless," in Proc. ACM Symp. Cloud Comput., 2021.

[8] H. Zhao, et al. "Supporting Multi-Cloud in Serverless Computing," arXiv preprint arXiv:2209.09367, 2022.

[9] A. Mampage, et. al. "A holistic view on resource management in serverless computing environments: Taxonomy and future directions," ACM Computing Surveys (CSUR), vol. 54, no. 11s, pp. 1-36, 2022.

點擊關注，第一時間了解華為云新鮮技術~

標籤：其他

上一篇：環形佇列的實作 [詳解在代碼中]

下一篇：返回列表