?? 作者：韓信子@ShowMeAI
?? 深度學習?技能提升系列：https://www.showmeai.tech/tutorials/35
?? 深度學習實戰系列：https://www.showmeai.tech/tutorials/42
?? 本文地址：https://www.showmeai.tech/article-detail/306
?? 宣告：著作權所有，轉載請聯系平臺與作者并注明出處
?? 收藏ShowMeAI查看更多精彩內容

大家在新聞當中見到越來越多的令人振奮的人工智能相關的應用新聞，

• 『人工智能在圍棋中擊敗了人類！』
• 『基于神經網路的精準天氣預報』
• 『會寫作創作的AI』
• 『會說話的蒙娜麗莎繪畫』
• 『繪畫藝術創作以假亂真的AI』

盡管新聞很炫酷甚至令人驚嘆不已，但 AI 的應用與現實世界還有一些差距，核心的原因之一是它們的規模，為了取得更好的效果，現代AI神經網路模型會使用更大資料集、更多的模型引數，但這樣一方面訓練它們變得讓普通人遙不可及（需要特定的昂貴物理資源和大量的電力資源等），另外一方面使得實際推理應用也變得復雜（無法在小型設備上部署，且推理時間很長），

如果要讓 AI 能覆寫現實生活中的場景問題，我們希望可以在資源有限的設備上運行的更小的模型，另外一方面，隨著廣受關注的安全和隱私問題，我們也希望模型可以部署安裝在本地設備上，而不是向服務器傳輸任何資料進行請求，

接下來 ShowMeAI 給大家介紹和總結使 AI 模型能適用于小型本地設備上的方法技術，實作思路包括：壓縮模型引數量、設計更小的模型結構、知識蒸餾、調整資料格式、資料復用等，我們還會介紹到移動小處理設備的型別，適用移動設備的模型框架等，

?? 模型壓縮&加速方法

深度學習模型需要記憶體和計算資源，移動設備上這些都是緊缺的，最直接的處理方式是，通過降低深度學習模型的空間復雜性（引數數量）來適配移動設備，從而在保持精度不太變的同時減少計算量，模型空間復雜度降低大體有5類方法：

• 減少模型引數數量（例如剪枝和引數共享）
• 通過量化減小模型大小
• 知識蒸餾
• 設計更小結構的模型
• 輸入資料轉換

?? 剪枝

剪枝的基本思想是篩選并洗掉一些對模型精度影響不大的冗余引數，然后重新訓練模型以維持模型性能，基于神經網路的結構，我們可以修剪單個權重引數、模型層或模型層塊：

• 非結構化修剪：無論神經元出現在哪，只要它不是顯著權重，就進行刪減剔除，通過模型的精度效果可以維持得很好，但這種方法導致稀疏矩陣運算，實際運算很難加速，
• 結構化剪枝：利用模型在不同尺度上的結構稀疏性（包括濾波器稀疏性、核稀疏性和特征映射稀疏性），直接移除一組引數（例如，整個卷積濾波器），這樣結構依舊是完整的，GPU等密集矩陣運算很方便，它的挑戰是在修剪的同時維持模型精度效果，

神經網路的剪枝裁剪壓縮，通常是迭代進行的，在每次迭代中，會修剪相對不重要的filter并重新訓練修剪后的模型（以恢復精度效果），直至修剪后的模型不能達到所需的最小精度時，剪枝迭代結束，

更詳細的內容介紹，大家可以在論文 ??Pruning and Quantization for Deep Neural Network Acceleration: ASurvey 中查看，

?? 引數共享

另外一種處理思路是引數共享：我們不一定要裁剪和丟棄權重，而是當邊權重基本相似時，我們可以在多個邊上共享它們，

例如，對于都具有 N 個節點的兩個全連接層，我們需要存盤 N2 個權重， 但是，如果權重基本相似，先對其進行聚類，聚類到不同的簇，然后我們只存盤簇質心，

?? 網路量化

神經網路中使用的默認型別是 32 位浮點數，高精度浮點數使得模型在訓練階段可以準確地梯度傳播，得到更好的效果，但是在推理程序中就沒有這個必要了，

網路量化的關鍵思想是減少每個權重引數的存盤位數，例如從 32 位浮點壓縮到 16 位浮點、16 位定點、位定點等，

量化方面的大部分研究都集中在從較大范圍的數字映射到小得多的數字的舍入技術（rounding techniques）上——均勻/非均勻、對稱/不對稱量化，

有兩種主要的方法來實作量化：

• 訓練后量化：這是最直接的方法——訓練后的模型權重被直接映射到較低的精度，之后無需額外的微調，但這種方法會降低模型的效果，
• 量化感知訓練： 需要使用量化重新訓練模型以匹配原始模型的準確性，量化網路通常在與原始模型相同的資料集上重新訓練，為了保留梯度傳播的精準度，梯度不會被量化，

開箱即用的量化不太容易做，因為不同的網路部分可能需要不同的精度，因此，量化/去量化塊通常被插入中間以遍靈活轉化與使用，

關于網路量化的詳細的講解大家可以參考 ??論文 A Survey of Quantization Methods for EfficientNeural Network Inference，

?? 知識蒸餾

在深度模型的學習權重存在顯著冗余的假設下運行，我們可以通過訓練一個較小的模型（學生網路）來模擬教師輸出的分布，從而提取大型模型（教師網路）學習到的知識，

模型蒸餾的關鍵思想是不僅僅使用訓練資料集中給出的『硬』標簽（比如分類問題中的類別標簽），而是充分使用更大模型提取的精細化知識（例如分類問題中，大模型輸出的類別概率向量），

通過網路量化和剪枝，可以在壓縮達到 4 倍的情況下保持精度，而知識蒸餾通過另外一種角度，在不壓縮精度的情況下，直接在小模型上學習和保持效果；實際我們可以對所有方法組合使用，

關于知識蒸餾的更多詳細資訊，可以查看 ??論文 Knowledge Distillation: A Survey，

?? 結構優化&小型模型

深度學習演算法早期蓬勃發展，大部分的研究作業都集中在構建更大的模型，保證更強的學習能力，實作更先進的準確性，這一趨勢后來被一系列研究「效率-效果」權衡的論文所取代，很多論文中直接提出和設計了小結構的模型，

典型的論文有： ??MobileNetV1、??MobileNetV2、??MnasNet、??MobileNetV3

關于小型神經網路的詳細知識，大家可以查看 ShowMeAI 這篇文章： ??深度學習與CV教程(10) | 輕量化CNN架構 (SqueezeNet,ShuffleNet,MobileNet等)

?? 資料處理&轉換

另外一個處理思路是資料端，我們可以減少輸入資料的維度和數量來加速計算，

一個例子是將影像分解為兩個低解析度的子影像，其中一個承載高頻資訊，另一個包含低頻資訊，結合起來，實際我們保留了和原始影像相同的資訊，但具有更低的維度，即更小的輸入資料，網路也小一些，

更多詳細資訊，可以查看 ??論文Learning a Wavelet-like Auto-Encoder to Accelerate Deep Neural Networks，

?? 重用中間結果

另外一種加速思路是減少運算，比如有一些場景下我們可以避免冗余的計算，

?? 多任務之間資料重用

對于具有相同輸入的不同但相關任務，如果并行運行多個模型就會有冗余的計算，很典型的一種思路是，在多個模型中重復使用來自淺層的特征，而是用不同的深層結構來應對特定的任務，

?? 影像幀之間資料重用

有些場景，雖然輸入資料可能不完全相同，但可能足夠（例如連續視覺模型處理的相鄰幀），那此時可以部分重復使用資料，

有關更多詳細資訊，請查看 ??論文DeepCache: Principled Cache for Mobile Deep Vision，

?? 移動設備上的深度學習框架

傳統深度學習庫 ??PyTorch和 ??Tensorflow并不特別適合移動應用，它們相對來說比較繁重并且有第三方依賴，在移動設備上比較麻煩，最初這兩個框架都面向在服務器端，強大的 GPU 上進行高效訓練，部署部分也通常是在服務器上的，

不過隨著AI生態的演進和發展，它們專門為移動深度學習設計了框架：??TensorFlow Lite和 ??PytorchLite，可以很有效地進行移動設備上的訓練和部署，

開發移動深度學習應用程式的另一個挑戰是每個移動生產商的標準不同，有些人會在 Tensorflow 中運行他們的模型，有些人會在 Pytorch 中運行他們的模型，有些人甚至會使用自有框架，為了打破這種界線，我們可以使用 ??開放式神經網路交換ONNX 框架來完成從一個庫到到另一個庫的轉換，

大家還可以使用 ??OpenVINO，它通過專注于部署硬體來幫助優化深度學習應用程式，以便在云和邊緣設備上進行推理，

對于常用手機移動端開發的更多詳細資訊，大家可以查看不同手機商的 API 檔案：

• ??Huawei
• ??Apple
• ??Samsung

除了上述提到的常見移動設備部署優化方法，這些生廠商還包含針對性的模型在特定設備上更高效的特定技巧，

?? 總結

深度模型需要在資源有限的移動設備上部署應用，需要克服計算速度和記憶體資源等限制，我們提到了一些方法來減小模型大小和加快計算速度，包括網路端、資料端不同的思路，大家在進行移動端AI應用時可以參考和優化，

參考資料

• ?? Pruning and Quantization for Deep Neural Network Acceleration: ASurvey：https://arxiv.org/pdf/2101.09671.pdf
• ?? A Survey of Quantization Methods for EfficientNeural Network Inference：https://arxiv.org/pdf/2103.13630.pdf
• ?? Knowledge Distillation: A Survey：https://arxiv.org/pdf/2006.05525.pdf
• ?? MobileNetV1：https://arxiv.org/pdf/1704.04861.pdf
• ?? MobileNetV2：https://arxiv.org/pdf/1801.04381.pdf
• ?? MnasNet：https://arxiv.org/pdf/1807.11626.pdf
• ?? MobileNetV3：https://arxiv.org/pdf/1704.04861.pdf
• ?? 深度學習與CV教程(10) | 輕量化CNN架構 (SqueezeNet,ShuffleNet,MobileNet等)：https://www.showmeai.tech/article-detail/269
• ?? Learning a Wavelet-like Auto-Encoder to Accelerate Deep Neural Networks：https://arxiv.org/pdf/1712.07493.pdf
• ?? DeepCache: Principled Cache for Mobile Deep Vision：https://arxiv.org/pdf/1712.01670.pdf
• ?? PyTorch：https://pytorch.org
• ?? Tensorflow：https://www.tensorflow.org
• ?? TensorFlow Lite：https://www.tensorflow.org/lite
• ?? PytorchLite：https://pytorch.org/mobile/home/
• ?? 開放式神經網路交換ONNX：https://onnx.ai
• ?? OpenVINO：https://docs.openvino.ai/latest/index.html
• ?? Huawei：https://developer.huawei.com/consumer/en/hms/huawei-mlkit/
• ?? Apple：https://developer.apple.com/machine-learning/
• ?? Samsung：https://developer.samsung.com/neural/overview.html

標籤：其他

上一篇：AI 音辨世界：藝術小白的我，靠這個AI模型，速識音樂流派選擇音樂 ?

下一篇：線性回歸實作