內容來源：華為開發者大會2021 HMS Core 6 AI技術論壇，主題演講《端云協同，HUAWEI HiAI Foundation打造更易用的AI計算平臺》，
演講嘉賓：華為海思AI技術專家
大家好！HHUAWEI HiAI Foundation作為芯片使能的基礎平臺，基于“芯、端、云”三層開放架構，構筑全面開放的智慧生態，幫助開發者快速利用AI處理能力，為用戶提供更好地智慧應用體驗，充分利用華為麒麟芯片能力，HUAWEI HiAI Foundation在實時性上，避免網路延遲和擁塞；在隱私性上，保護本地圖片、視頻、語音資訊以及操作習慣等；在成本方面，開發者可最大化利用芯片算力，節省計算成本和帶寬成本，自2018年發布以來，HUAWEI HiAI Foundation第三方應用的呼叫量逐年遞增，目前日呼叫量已破百億，獲得了開發者的價值認可，
HUAWEI HiAI Foundation開放框架
HUAWEI HiAI Foundation之所以受到歡迎的原因是其支撐更多主流推理框架，在引領端側AI行業標準構筑的同時通過開源，讓更多開發者靈活高效地優化模型，
2021年上半年，我們已經完成了與KwaiNN、Bytenn、MNN、TNN等框架的對接，在此基礎上，HUAWEI HiAI Foundation可以支撐華為手機以及各產品線非常多的業務和應用，比如視頻剪輯、錄像直播、線上支付、地圖、輸入法等，
通過以上框架圖，我們可以看到HUAWEI HiAI Foundation作為基礎平臺，主要由推理加速平臺和異構計算平臺兩個部分組成，推理加速平臺的作用是跟更多的上層推理框架完成對接，幫助開發者聚焦模型優化；異構計算平臺則更好地使能NPU、CPU、GPU、DSP等計算IP，充分利用芯片算力，之后，HUAWEI HiAI Foundation可以實作多平臺統一的賦能手機、平板、智慧屏、音箱等基于麒麟芯片的華為產品，并與HarmonyOS深度融合，在鴻蒙生態中起到端側AI能力的積極作用，
HUAWEI HiAI Foundation端云協同方案優勢
HUAWEI HiAI Foundation上線后，我們還遇到了很多問題，比如在一個應用新特性發布后，業務算子性能需要不斷優化并跟隨手機等ROM系統版本更新推送，使得整體上線周期較長，部分機型停止支持服務（EOS）后，則無法享受最新的性能優化，由此，開發者的訴求也很明晰，就是跟隨互聯網節奏，幫助業務快速發布上線以及覆寫更多機型，囊括EOS的機型，
為解決上述典型問題及開發者對接時提出的若干其它問題，HUAWEI HiAI Foundation今年在兩個方面進行了重大升級，一是基于端云協同的計算庫獨立升級能力，支持計算庫動態升級，保證性能優化的算子庫更快推送至端側，同時通過插件進行模型編譯，保持更優的異構策略和高性能的融合模板，目前，這個能力已經在HarmonyOS 2.0版本上線，滿足合作伙伴的快速業務上線需求，
二是易用性的升級，我們會提供更豐富的介面呼叫，更易懂的用戶手冊、Demo演示和工具包，具體來說主要包括以下四點：
- Model Zoo助力開發者快速使能NPU加速，Model Zoo綜合了硬體優化模型庫、模型優化指導以及技術交流社區的能力，通過它開發者可以快速知道哪一類模型在硬體上跑得速度更快，如何優化模型結構獲取更好的能效收益等，技術交流社區除了便于開發者參與討論交流外，也為后續高校科研合作專案、AI技術競賽等提供基礎，
- 推出高性能、低功耗、高精度、小模型的模型調優工具，包括模型量化工具包和模型結構搜索工具包，前者推出了16bit、8bit、4bit、2bit和自適應混合量化，模型小巧而靈動，可以保障不丟失模型計算進度，后者則更多是通過自動搜索方式，幫助開發者結合硬體資訊調整模型結構，使之更加敏捷快速，
- 異構計算——CPU、GPU、NPU等IP的高效協同，下圖列舉了一個典型的資料流，從視頻解碼器到影像預處理，再到影像處理、渲染優化、送顯等，經過了非常多的IP計算，那么這些IP怎樣在較長的資料流中高效協同呢？這就需要多IP自動異構，它可以自動融合優化各計算節點，共享計算記憶體，做到多IP間資料零拷貝，另外，多IP的調度任務可以自動編排，支持優先級控制和節點間記憶體自動分配，
- 模型可視化——用戶模型資訊可見，提升調優效率，在模型結構可視化工具（Netron）上，開發者可以直接看到HUAWEI HiAI Foundation的模型結構，更加便利，
如今，HUAWEI HiAI Foundation已加入AI標準化組織AITISA（人工智能產業技術創新戰略聯盟），并參與端側AI標準草案撰寫，共同構筑AI行業標準，為了讓開發者更好地使用端側AI能力，HUAWEI HiAI Foundation會保持初心，做更好、更易用的端側AI計算平臺，服務、賦能開發者，提升應用體驗，謝謝 !
了解更多詳情>>
訪問華為開發者聯盟官網
獲取開發指導檔案
華為移動服務開源倉庫地址：GitHub、Gitee
關注我們，第一時間了解 HMS Core 最新技術資訊~
轉載請註明出處，本文鏈接：https://www.uj5u.com/yidong/390334.html
標籤：Android
下一篇：ViewModel的創建