摘要:AI技術發展,正由應用落地階段向效率化生產階段演進,AI工程化能力將會不斷深入業務,釋放企業生產力,
本文分享自華為云社區《【云享·人物】華為云AI高級專家白小龍:AI如何釋放應用生產力,向AI工程化前行?》,作者: 華為云社區精選,
在新科技革命和產業變革的大環境中,人工智能技術迭代和商業化行程不斷提速,正在加快與千行百業深度融合,
如果說,簡單的AI能力呼叫是新手入門,AI開發是登堂入室,深入行業應用就是真正的大師了,然而,AI開發程序中如果沒有使用開發平臺,開發程序就會比較繁瑣,對于開發者和企業來說更是耗時耗力,所以找到一個合適的AI開發平臺十分關鍵,
作為華為云機器學習和深度學習技術專家、ModelArts產品架構師,白小龍在10余年AI領域的作業中,也見證了近幾年業界AI發展的歷程,本期的《云享人物·大咖面對面》,華為云開發者社區將和這位AI行業的深耕者聊一聊AI技術開發的世界,
AI開發平臺讓開發者走出代碼泥沼,低門檻高效率完成AI開發
隨著技術發展和應用,AI開發的組件數量和模型演算法的復雜度都在增加,AI開發流程太多,前期準備作業復雜,最典型的就是在做機器學習專案的程序中,通常需要花費大量的時間去做資料收集和資料預處理,這些前期準備的作業非常耗費人力和時間,AI開發涉及的因素眾多,作為AI演算法人員,為了將專案落地需要則需要做非常多的工程化作業,以云平臺為依托進行AI開發,則可以大幅提升開發效率,
“對于開發者來說,好的AI開發平臺能夠很好的承載完整的AI開發程序,如具備資料采集、資料預處理、演算法開發、模型訓練、模型打包和部署等功能,幫助開發者把所有苦活累活都干完,讓開發者聚焦在最核心的問題建模,” 白小龍談到,
為此,華為云推出了AI開發生產線ModelArts,自2018年ModelArts發布以來,從1.0版本迭代到5.0版本,一直圍繞著開發者的需求與痛點,在AI全生命周期各環節不斷豐富產品功能,打造 AI開發運維的DevOps全流程,作為國內率先支持MLOps的AI開發平臺,ModelArts在資料處理、演算法開發、訓練、推理和全流程MLOps上不斷創新,在AI開發方面提供平臺能力、開發流程、開發工具等,幫助開發者提升AI生產效率,
華為云AI開發生產線ModelArts流程示意圖
資料處理作為AI開發的第一步,通常需要大量人力對各種原始資料進行標注,業內甚至有說法是“有多少人工,就有多少智能”,為了緩解這種情況,ModelArts采用基于主動學習的智能標注技術,讓人工標注資料量降到最小,ModelArts的智能標注功能,可節省70%以上的標注時間,
- “基于‘AI for AI’的思想,ModelArts把很多AI演算法應用于人工智能平臺中,”白小龍進一步解釋道,機器學習演算法是有很多的冗余性,這些更多的是來自于資料的冗余,冗余的資料又進一步導致了資料準備時間的增加,為此,ModelArts提供一些資料處理的內置演算法,能夠自動的去獲取到資料里邊的冗余,從而把它提取出來,讓資料的準備程序變得更加高效,
- 在演算法層面,ModelArts已經在影像分類、目標檢測、視覺分類、姿態預估等多個領域提供預置演算法,目前已提供了60+官方演算法,比如說ResNet50、YOLOV5等等,基于預置演算法降低AI開發難度,ModelArts可以很好的幫助初級開發者快速地找到合適且具備實際應用的演算法,從而低門檻完成多種場景的AI演算法開發與應用,以“ResNet50”演算法、花卉識別資料集為例,開發者只需下載資料集和訂閱演算法(免費),然后使用演算法創建訓練模型,將所得的模型部署為在線服務即可完成,
- 在開發環境和工具方面,ModelArts針對資料分析提供了云原生Notebook,可支持互動式編程和可視化體驗以及分享、重現,同時,ModelArts還提供VSCode等IDE插件,支持用戶遠程開發除錯,針對已經運行中的作業,也可以通過webshell方式進入容器內部做除錯,
在此基礎上,華為云將傳統軟體工程的CI/CD技術引入到AI開發程序中,將ModelArts的一些能力串聯在一起,以開發流水線的方式進行AI開發,“升級之后的ModelArts可從從跨專案和跨時間兩個維度來提升開發效率,” 白小龍講到,
Workflow流程示意圖
白小龍進一步解釋到,對于相似的專案需求而言,可以僅做簡單的資料準備,就可以復用已有的WorkFlow,從華為內部做專案的經驗來看,復用模型和開發程序能將整個專案的效率提升一倍以上,此外,在時間維度方面,一個已經上線的AI模型在推理服務期間會不斷地接受新的推理資料,基于這些新資料可以觸發WorkFlow的持續迭代,加速模型更新的效率,
面向多樣化的云邊端場景,行業開發者平均需要花費1~2個月來完成AI應用對多種運行設備和系統的開發適配,耗時耗力,為此,ModelArts升級服務,推出了可用于端邊云場景的AI應用開發框架ModelBox,通過屏蔽掉AI開發程序中常遇到的底層軟硬體的差異難題,實作AI應用一次開發、全場景部署,將跨平臺開發適配周期縮短80%,將推理性能提升2~10倍,白小龍表示,目前ModelBox希望能適配市面上的更多型別的硬體設施,華為為此將其開源,希望吸納更多開發者和企業的力量,讓AI開發更加的簡單便捷,
ModelArts“AI工程化”能力,打通AI落地千行百業最后一公里
當下,AI技術應用的增長速度非常快,非常多的細分行業已經開始應用AI技術,企業在不同的場景,都存在AI應用的需求,從技術上看,AI開發正呈現工程化趨勢加速AI應用落地,
一站式高效AI開發生產線ModelArts
AI工程化意味著AI技術的成熟和良好的使用體驗,對希望借助人工智能實作智能化的企業而言,能顯著降低技術投入和快捷組建開發團隊,華為云將AI工程化能力深入到企業業務中,用AI釋放生產力,ModelArts通過端到端的鏈接,把核心演算法包裝成流水線,用戶在遇到類似場景可以直接復用,通過預置演算法、預訓練模型、Workflow,打通AI落地最后一公里,“基于已經完成的某個業務場景的經驗,使用WorkFlow SDK或者圖形化界面將資料處理、模型訓練、模型部署等能力編排起來,然后把流水線發布給業務應用人員,對于應用者來說不一定需要了解整個開發實作細節,他們只需要了解流水線的機制,以及需要存在變化的內容即可,”白小龍進一步解釋到,
- 在加速AI的行業落地方面,AI Gallery沉淀了9大行業場景Usecase供開發者呼叫,包括出行調度、銷量預測、生產排程、貨架識別、工業質檢等,覆寫生產、銷售、服務、運營等企業運作全場景,開發者和伙伴,可以在AI Gallery上學習AI、開發AI、分享AI資產,基于AI Usecase進行商業實踐,
例如零售領域,華為云聯合伙伴打造貨架識別Usecase,發揮AI智能巡店的價值,這套行業Usecase可以實作巡店翻拍檢測、查重識別、競品識別、貨架占比等,在實際應用中,客戶貨架管理效率綜合提升30%以上,預計每年可減少巡店成本超過100萬,
ModelArts打造9大行業場景Usecase
- 在AI資產重用方面,AI開發助手ModelArts Pilot可以實作AI行業應用零代碼開發,隨著AI資產庫越來越豐富,甚至面向整個業務問題的解決方案都可以通過AI資產庫獲得,基于此背景,一種基于AI資產重用的AI開發新范式:ModelArts AI開發助手ModelArts Pilot發布了,
ModelArts Pilot通過引導客戶直接輸入需求,通過語意理解將行業或業務問題轉換為AI問題,并基于已有模型庫進行查搜、推薦和調優,實作AI應用自動生成和解決方案的遷移復用,ModelArts Pilot具備“零代碼開發”“豐富的模型資源”“自動化”和“持續進化”四項優勢,
AI開發助手ModelArts Pilot
華為云AI全鏈路賦能開發者和伙伴,實作生態共發展
不得不說,當同時集齊便捷的開發平臺、大模型架構,以及開發框架,華為云為用戶構建出了一個較為完整的軟硬體生態系統,能夠為開發和企業帶來開發效率和開發體驗的多維度提升,
在企業服務方面,為了深度打通企業AI開發需求,實作定制化AI能力的準確對接,華為云發布了D-PLAN生態伙伴計劃,D-PlAN AI 生態伙伴計劃是圍繞華為云一站式AI開發平臺ModelArts推出的一項合作伙伴計劃,旨在與合作伙伴一起構建合作共贏的AI生態體系,加速AI應用落地,華為云向伙伴提供培訓、技術、營銷和銷售的全面支持,白小龍表示,這一計劃通過與合作伙伴共建AI生態體系的方式,全方位打通AI開發中的堵點、難點,以并肩協作的方式加速AI應用落地,面向企業AI開發體量大、需求復雜,定制化程度高的客觀情況,華為云D-PLAN以更合理、直接的方式進行賦能,幫助企業快速從AI能力中獲取價值回報,
為了更好的幫助到AI開發愛好者,華為云還推出了“知識”+“實訓”的AI開發社區——AI Gallery,這里有:演算法、模型、資料、Notebook案例、課程、論文、實踐等10余種、50000余個AI資產,AI Gallery通過聯接AI市場的供、需、學三方,既能解決開發者需求,同時也滿足AI生態中各角色的共享、交易需求,加速AI資產的開發與落地,保障AI開發生態鏈上各參與方高效地實作各自的商業價值,
白小龍講到,除了外部提供的支持和幫助,開發者自身也需要從行業應用出發,能夠做好將行業問題到AI技術問題的轉換,增強自己的在AI工程化方面的能力,結合工程化能力的優勢,將其與行業結合,這樣能為行業帶來非常大的價值,
從這一刻,寫下AI未來
人工智能正在從高深莫測的黑科技,變身為輔助作業、生活不可或缺的重要組成部分,持續提供創造力和生產力,
隨著AI由技術落地應用階段向效率化生產階段轉變,AI的后半場以場景驅動,AI工程化能力突顯價值,將AI開發趨向于生產線模式的ModelArts,會繼續在MLOps方面深耕,
ModelArts接下來會有一些更好的新特性上線,如靈活的資源管理和資源調度能力,更易用的除錯環境,讓企業和開發者能夠用到更便捷、更順暢的AI開發平臺,這也是白小龍眼中ModelArts未來的樣子:“讓AI開發變得更簡單,更順暢!”
華為云EI開發者支持團隊將為合作伙伴提供AI、大資料相關的技術支持,幫助伙伴上手華為云EI的開發平臺或集成原子化AI服務,并將提供商業化落地的支持,誠邀伙伴參與共建AI開發者生態,如有AI合作需求請聯系[email protected],(我們將在1個作業日之內為您反饋)
點擊關注,第一時間了解華為云新鮮技術~
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/538959.html
標籤:其他
