移動互聯網的發展給人們的社交和娛樂方式帶來了很大的改變，以vlog、短視頻等為代表的新興文化樣態正受到越來越多人的青睞，同時，隨著AI智能、美顏修圖等功能在影像視頻編輯App中的應用，促使視頻編輯效率和視頻效果得到了很大的提升，也讓視頻應用場景更加豐富，
當前剪輯產品功能多樣、素材豐富，但是開發周期較長、門檻較高，為了讓剪輯軟體更加智能、簡單易用，提升開發者的效率，HMS Core 6為開發者提供視頻編輯服務（Video Editor Kit），提供視頻匯入、編輯、渲染、匯出、媒資管理等一站式視頻處理能力，除了支持完整的傳統視頻編輯功能，視頻編輯服務還提供了諸如專屬濾鏡、人物追蹤、一鍵染發等豐富的AI處理能力輔助視頻創作，為用戶帶來更加暢快的創作靈感，打造更加智能的剪輯體驗，
圖1. 基于AI能力的專屬濾鏡、人物追蹤、一鍵染發效果展示
多樣化的智能視頻處理能力是由一個個神經網路模型實作的，由于訓練好的模型檔案較大（單個模型大小一般為十幾甚至幾十兆），而手機等設備ROM和RAM空間大小有限，如何以更少的終端設備空間占用為開發者提供更豐富的智能化視頻處理能力，成為移動應用視頻編輯面臨的一大挑戰，
為解決以上挑戰，HMS Core視頻編輯服務選擇使用華為自研AI框架MindSpore Lite進行神經網路模型推理，MindSpore Lite是一款全場景AI推理引擎，通過統一API介面支持在端、邊、云的不同環境快速部署，支持HarmonyOS、Android、iOS、Windows等多種作業系統，支持Ascend、GPU、CPU（x86、arm……）等多種硬體執行，除支持MindSpore訓練出的模型格式，MindSpore Lite還支持TensorFlow，TensorFlow Lite、Caffe、ONNX等第三方模型格式的轉換及推理，
圖2. MindSpore Lite架構圖
MindSpore Lite為AI模型推理提供高性能和超輕量的解決方案：通過高效的內核演算法和匯編級優化，以及CPU、GPU、NPU的異構調度，可以充分發揮硬體算力，實作最小化推理時延和功耗；提供模型量化壓縮技術，采用訓練后量化（Post-Training Quantization, PTQ），無需資料集即可直接將權重資料從浮點型映射到低位元的定點資料，有效降低模型大小，助力AI模型在資源受限環境下的部署執行，
圖3. 量化技術原理介紹
針對權重資料的量化支持固定位元量化和混合位元量化兩種形式，固定位元量化采用Bit-Packing的方式，支持1-16任意位元的權重量化，滿足用戶在不同壓縮場景下的要求，同時針對模型量化后的資料分布情況，自動選擇合適的編碼策略進行壓縮編碼，從而達到最優的壓縮效果，
圖4. 固定位元量化壓縮
混合位元量化根據神經網路不同層對量化損失的敏感度不同的特點，采用均方誤差作為優化目標，自動搜索出最適合當前層的位元位，在保證精度的同時實作更大的壓縮率，同時針對量化后的模型，采用有限狀態熵(Finite State Entropy, FSE)對量化后的權重資料進行熵編碼進一步壓縮，實作對模型的高效壓縮，提升模型傳輸速率和減少模型存盤空間，
圖5. 混合位元量化壓縮
除此之外，量化時還會采用Bias Correction的方式，最小化其量化誤差，Bias Correction會根據權重資料固有的統計學特性，反量化時對其進行校準，使權重值量化前后具有相同的期望和方差，能夠大幅度提高模型精度，
視頻編輯服務中的AI模型采用MindSpore Lite提供的混合位元量化方式，最終在保證精度的同時達到了平均5x+的模型壓縮效果，例如一鍵染發的模型從原來的20.86M壓縮到3.76M，有效解決了模型過多、檔案過大導致的部署困難問題，
圖6. 視頻編輯模型量化效果（來源于MindSpore Lite實測資料）
通過對AI模型的量化壓縮，在ROM空間占用不變的前提下，保障剪輯產品可以部署更多的AI模型，充分發揮AI能力來提供更多的特效應用場景，使得剪輯功能更加強大、更加智能，華為官方剪輯軟體花瓣剪輯在接入視頻編輯服務能力后，用戶可通過使用專屬濾鏡、人物追蹤等AI視頻剪輯功能（部分特性隨花瓣剪輯App升級陸續開放），讓視頻剪輯更便捷和更富有趣味性，
MindSpore Lite致力于打造高性能、超輕量級的全場景 AI引擎，除高性能內核演算法及硬體異構調度、量化壓縮之外，還提供端云協同的一站式訓練和推理能力，HMS Core視頻編輯服務基于MindSpore Lite，助力開發者打造更加易用且智能的剪輯工具，
欲了解更多資訊，歡迎訪問官網
華為開發者聯盟HMS Core官網
MindSpore官網
MindSpore開源社區
轉載請註明出處，本文鏈接：https://www.uj5u.com/yidong/468103.html
標籤：其他