近日,阿里云函式計算產品團隊撰寫的關于 Serverless 調度的創新性論文,被云計算領域 ACM SoCC 國際會議長文錄用,

去年阿里云函式計算團隊首個提出在 FaaS 場景下的去中心化快速鏡像分發技術,團隊所作論文被計算機系統領域的頂級會議 USENIX ATC’21 錄用,入選中國計算機協會(CCF)推薦 A 類國際會議串列;今年阿里云函式計算不斷突破:發布基于函式畫像的調度演算法論文并被國際云計算的首要會議 ACM SoCC 錄用,真正做到能夠保證提升函式資源利用率的同時,達到性能高穩定性,
ACM Symposium on Cloud Computing(以下簡稱 SoCC)是由美國計算機協會主辦、聚焦云計算技術的一項學識訓議,是云計算的首要會議,它匯集了對云計算感興趣的研究人員、開發人員、用戶和實踐者,是唯一由 SIGMOD(資料管理特別興趣組)和 SIGOPS(作業系統特別興趣組)聯合主辦的會議, 這個會議在近些年蓬勃發展,旨在聚集資料庫和計算機系統兩大領域的學者,共同推進云計算技術在工業界的研究與發展,
此次被錄用的論文為《Owl: Performance-Aware Scheduling for Resource-Efficient Function-as-a-Service Cloud》,
此論文靈感誕生于阿里云 Serverless 產品函式計算,函式計算是阿里云的函式即服務(Function-As-A-Service)產品,阿里云函式計算是事件驅動的全托管計算服務,通過函式計算,您無需管理服務器等基礎設施,只需撰寫代碼并上傳,函式計算會為您準備好計算資源,以彈性、可靠的方式運行您的代碼,并提供日志查詢、性能監控、報警等功能,現階段已經覆寫了**事件驅動、音視頻處理、游戲、物聯網、新零售、AI **等實際業務場景,并服務于阿里云、高德、支付寶、淘寶、CBU 等多個業務或專案中,

上圖是一個經典的 FaaS 調度系統的架構,調度器負載將不同的函式實體調度到集群中的節點上運行,由于 FaaS 產品函式數量多、函式粒度小、執行時間短的特點,節點的資源利用率較低,簡單地將更多的實體調度到同一個節點上雖然能夠一定程度地提升資源利用率,但是也帶來了資源爭搶和性能下降,
論文針對這個問題創新地提出了基于函式畫像的調度演算法,在提高資源利用率的同時達到了較好的性能穩定性:
-
對于高頻呼叫的函式,調度器會識別不同函式實體在同一個節點共置時的性能表現,以此指導函式實體的調度;
-
對于低頻呼叫的函式,調度器會統計其執行程序中的實際資源消耗,以此來指導函式實體的調度,同時調度器會監控函式的執行延時,當出現延時上升時通過隔離的手段進行緩解;
-
調度器還針對閑置的實體進行遷移,將它們從利用率低的節點遷移到利用率高的節點以釋放閑置節點,

為了評估演算法的效果,論文根據生產環境典型的函式負載,抽象了 10 個函式,它們覆寫了不同的編程語言、資源消耗、執行時長、外部依賴,串列如下:

實驗結果表明,在 100 個節點規模下,OWL 調度演算法能夠節省 43.8% 的資源,同時函式執行延時沒有明顯的增加:

調度延時也沒有明顯增加:

目前 OWL 的函式畫像能力也已經應用在函式計算線上環境,并取得了不錯的效果,此次論文入選 ACM SoCC,是阿里云在 Serverless 調度領域的又一次創新,
附論文資訊
錄用論文題目:
Owl: Performance-Aware Scheduling for Resource-Efficient Function-as-a-Service Cloud
作者:田黃石,李蘇毅,王驁,王威,吳天龍,楊皓然
論文概述:在云計算中,FaaS 是一種非常流行的產品形態,主流的云產商都提供了對應的平臺,作為平臺構建者我們觀察到大部分的函式實體的 CPU 和記憶體利用率都不高,造成集群節點的利用率也不高,一個簡單的做法是在節點上超額放置更多的函式實體,但是這可能會帶來資源爭搶和性能下降,另外,函式的外部依賴也可能導致函式的性能下降,在本文中,我們設計了 OWL 調度系統來解決這些問題,達到高資源利用率和性能穩定性,對于低頻呼叫的函式,調度器會統計其執行程序中的實際資源消耗,以此來指導函式實體的調度,同時調度器會監控函式的執行延時,當出現延時上升時通過隔離的手段進行緩解;對于高頻呼叫的函式,調度器會識別不同函式實體在同一個節點共置時的性能表現,以此指導函式實體的調度,同時調度器還針對閑置的實體進行遷移,將它們從利用率低的節點遷移到利用率高的節點以釋放閑置節點,我們實作了 OWL 原型系統并根據生產環境的負載構造了一組測驗集,實驗結果表明,OWL 調度系統能夠減少 43.8% 的資源消耗并有效緩解性能下降,
更多內容關注 Serverless 微信公眾號(ID:serverlessdevs),匯集 Serverless 技術最全內容,定期舉辦 Serverless 活動、直播,用戶最佳實踐,
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/538847.html
標籤:其他
上一篇:K3S +Helm+NFS最小化測驗安裝部署只需十分鐘
下一篇:AI繪畫提示詞創作指南:DALL·E 2、Midjourney和 Stable Diffusion最全大比拼 ?
