摘要：本文介紹華為云函式作業流（FunctionGraph）的靈活、速度，如何讓開發人員提升工程效率，縮短TTM等
本文分享自華為云社區《華為云FunctionGraph函式作業流—— Serverless“遇見”AI，釋放AI生產力》，作者： 華為云PaaS服務小智 ，
華為云Serverless研發工程師朱安東在2023年A2M峰會上帶來了主題為“Serverless“遇見”AI，釋放AI生產力”的分享，重點介紹了業界領先的基于函式計算的Serverless AI 推理解決方案，并展示了華為云函式作業流（FunctionGraph）的靈活、速度，如何讓開發人員提升工程效率，縮短TTM等，
華為云 serverless研發工程師 朱安東
朱安東表示：“AIGC正逐漸在千行百業生根發芽，并且快速成為了行業中重要的生產力工具，伴隨著AIGC大模型以及領域專家型別的中小模型的快速演進，引發了海量AI推理、大模型托管以及底層強大算力的訴求， 然而，要想實作AI扎根千行百業、實作“AI everywhere”的最終目標，我們仍然有很長的路要走，”
Serverless—— AI everywhere的下一塊拼圖
從業內工程師的角度來看，AI應用迭代發展的核心痛點主要包含2個方面：
- 演算法工程師作為AI應用的核心開發者通常只會和模型、資料以及代碼打交道，主要作業圍繞資料清洗、資料工程、特征工程還有模型設計、開發、訓練等，偏研究和理論方向，但是一旦涉及到演算法模型和AI應用的最終落地，推廣給大量用戶使用就會涉及到模型發布、上線等動作，為了完成這些流程，開發者通常需要去花時間和經歷學習托管類知識，尤其是云原生時代下的docker 還有k8s等；
- 對于引數量很大的模型上線后很難找到足量、優質的算力資源快速獲得推理結果，推理性能差，從基礎架構工程師的視角來看，GPU硬體設備成本高，研究階段的需求量尚且能夠滿足，但是上線后面對海量用戶和請求的資源量過于龐大，需要大量的投入；
另外，業務通常都是有浮動趨勢的，就像旅游業的淡季和旺季，為了滿足業務峰值準備的資源在業務量低的時候資源利用率也隨之降低，資源嚴重浪費，
綜上，AI應用如果想深入到人們的生活仍有很多問題需要克服，那么如何加速AI應用快速落地、敏捷迭代呢？Serverless是以應用為中心的新型云原生計算形態，這是業界的共識，而“用戶無感、按需使用、以應用為中心，無需關注基礎設施”這幾個特性正好可以解決AI應用的幾個痛點問題：
- 以應用為中心：AI工程師可以專注業務邏輯和模型performance，節約下大量的時間和精力，
- 無需關注基礎設施：企業和架構工程師無需提前準備海量計算資源、自建機房，只需按需使用，按量計費，
華為云FunctionGraph解決AI用戶上云4大問題
華為云FunctionGraph函式作業流是一項基于事件驅動的函式托管計算服務，通過函式作業流，只需撰寫業務函式代碼并設定運行的條件，無需配置和管理服務器等基礎設施，函式便可以彈性、免運維、高可靠的方式運行，對于現階段人們對業務、彈性以及降本增效等訴求提升，華為云FunctionGraph無疑是AI推理Serverless化的優質選項，
在Serverless的開發模式下，開發人員和交付流程實際上是有明顯界限的，開發人員只需要上傳代碼包或者一個鏡像檔案即可讓整個業務跑起來，不需要面對繁瑣的交付流程，
為了讓用戶能夠在Serverless平臺上更加絲滑、流暢的開發和運行AI，華為云FunctionGraph推出了針對AI場景的解決方案，主要解決AI用戶上云的四大問題：
①工程效率
- 模型開發、編排：專注業務代碼，NoOps，低碼編排
- 支持代碼包，容器鏡像
②性能、彈性：
- 長時負載，支持異步函式呼叫，最長函式執行時間72小時
- 冷啟動問題：池化預熱、彈性調度
③運行時、異構計算：
- 支持GPU/NPU，加速推理性能
- 支持GPU共享，提升資源利用率
④模型加載加速：
- 大檔案加載：OBS+SFS結合，解決ML模型庫&模型自身大檔案加載問題；
- 鏈路加速：高性能解壓縮轉換，降網路開銷、CPU解壓耗時；共享記憶體加速技術，降解壓IO開銷；依賴包預加載，降低公共依賴的下載、解壓耗時
同時華為云FunctionGraph基于函式計算的 Serverless AI 推理解決方案具有5大優勢：
1.更低的學習成本，更卓越的工程效率，更短的TTM
華為云FunctionGraph可以極大提升開發效率，精通Python的演算法科學家無需學習如何安裝、配置和操作復雜的計算和資料存盤基礎設施, 通過可視化拖拽式函 數流便能編排復雜業務場景，此外，函式還支持容器鏡像，簡化了AI推理Serverless化，
2.豐富的函式開發生態，
華為云FunctionGraph支持GPU/NPU能力，具備GPU虛擬化技術，從而提高GPU硬體資源的利用率并降低使用成本，
3.更低的資源成本，按需付費，提供作業負載感知智能推薦能力，
函式計算以1ms粒度按量計費，函式編排基于節點執行次數計費
4.極致的冷啟動、彈性及更智能的調度能力，
資源池化預熱、分層預加載與彈性水位控制：通過單實體多并發、分層預熱提升性能、降低成本，函式實體百毫秒冷啟動時延，毫秒級彈性，
5.多維度結合的大檔案加載加速能力，
高性能解壓縮轉換，降網路開銷、CPU解壓耗時，
共享記憶體加速技術，降解壓IO開銷，
依賴包預加載，降低公共依賴的下載、解壓耗時
Serverless代表現代化架構的演進方向，與微服務將長期并存，在5-10年內將成為云的首要交付模式，根據IDC今天發布的《全球半年度公有云服務跟蹤報告》顯示，2020年全球云計算市場同比增長24.1%，收入總額達3120億美元，同時Serverless對客戶端還具有成本優化、效率提升的商業價值，面對Serverless的發展大勢，華為云將打造全堆疊全場景的Serverless能力，并在音視頻、資料處理、物聯網、端測應用等場景優先推廣落地，圍繞這些場景進行打穿，推動相關高階服務進行Serverless化改造，今年，華為云在能力打造上將優先推出函式計算2.0、Serverless應用托管 CAE、事件網格服務EventGrid、ADM等；同時，也將在Serverless開發工具及可觀測性上構建端到端的能力，并重點在前端Trigger、后端BaaS上進行豐富，全面打造Serverless應用生態，華為云FunctionGraph期待與更多的開發者見面，
華為云持續將最先進的技術提供給全球的客戶、伙伴和開發者，助力千行百業的客戶商業成功，
產品官網鏈接：https://www.huaweicloud.com/product/functiongraph.html?utm_source=&utm_medium=&utm_campaign=roma&utm_content=developer-iot
點擊關注，第一時間了解華為云新鮮技術~
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/554567.html
標籤：其他
下一篇：返回列表