本系列文章介紹一種最近比較火的設計網路的思想，即利用網路的重引數化（意義在于訓練時間模型有一組引數，而推理時間模型有另一組引數），把多層合成一層，進行網路加速，
RepNAS: Searching for Efficient Re-parameterizing Blocks中將引數重組的思想應用于網路結構搜索技術，
該方法的核心思想是在訓練程序中將不同塊之間的一些分支修剪掉，如下圖所示：
它有兩個基本步驟：
- 給定CNN架構，在原始卷積運算中插入一些線性運算作為其分支，如下圖所示，對于每個分支，設定一個表示重要性的可學習引數，在訓練程序中進行優化，
- 在推理中，將其余分支直接融合到原來的卷積運算中，
其實這篇論文的思路挺簡單的，作者設計的塊結構就是把ACNet和DDB模塊的分支加起來，在網路結構搜索的時候對每個模塊的分支數量進行修剪，只留下重要的分支，剪枝的時候塊與塊之間相互獨立，因此可以是不同的，這樣相比于使用固定的塊結構可以得到更優的性能，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/333548.html
標籤：其他
上一篇：專案實戰：Qt檔案改名工具 v1.2.0（支持遞回檢索，搜索：模糊匹配，前綴匹配，后綴匹配；重命名：模糊替換，前綴追加，后綴追加）
下一篇：影像分割的方法