1 焦點
如何通過卷積方式的選擇改進已有網路架構
關于convolution
2 傳統網路為什么用小卷積替代大卷積？（VGG Net）
| kernel_size | Adv | exp | dis_Adv |
|---|---|---|---|
| large_kernel_size | 感受域范圍大 | AlexNet、LeNet等網路都使用了比較大的卷積核，如5×5,11×11 | 引數量多；計算量大 |
| small_kernel_size | 引數量少；計算量小；整合三個非線性激活層代替單一非線性激活層，增加模型判別能力 | VGG之后 | 感受域不足；深度堆疊卷積容易出現不可控的因素 |
3 能否讓固定大小的卷積核看到更大范圍的區域？(空洞卷積)
標準的3×3卷積核只能看到對應區域3×3的大小，但是為了能讓卷積核看到更大的范圍，dilated conv使其成為了可能，pooling下采樣操作導致的資訊丟失是不可逆的，這不利于像素級任務，用空洞卷積代替pooling的作用（成倍的增加感受野）更適用于語意分割，
4 卷積核一定是正方形嗎？（非對稱卷積）
將標準3×3卷積拆分成一個1×3卷積和3×1卷積，在不改變感受野大小的情況下可減少計算量，
5 卷積只能在同一組進行嗎？(組卷積&深度可分離卷積)
組卷積是對輸入特征圖進行分組，每組分別進行卷積，假設輸入特征圖的尺寸為CHW(12×5×5)，輸出特征圖的數量為N(6)個，如果設定要分成G(3)個groups，則每組的輸入特征圖數量為C / G ( 4 )，每組的輸出特征圖數量為N/G(2)，每個卷積核的尺寸為(C/G)KK(4×5×5)，卷積核的總數仍為N(6)個，每組的卷積核數量為N/G(2)，每個卷積核只與其同組的輸入特征圖進行卷積，卷積核的總引數量為N*(C/G)KK，可見，總引數量減少為原來的1/G，
6 分組卷積能否對通道進行隨機分組？(ShffleNet)
為達到特征之間的相互通信，除了采用dense point wise convolution，還可以使用channel shuffle，對group convolution之后的特征圖進行“重組”，這樣可以保證下面的卷積其輸入來自不同的組，因此資訊可以在不同組之間流轉，圖c進一步的展示了這一程序，相當于“均勻地打亂”，
7 每層卷積只能用一種尺寸的卷積核嗎 ？(Inception)
傳統的層疊式網路，基本上都是一個個卷積層的堆疊，每層只用一個尺寸的卷積核，例如V G G結構中使用了大量的3×3卷積層，事實上，同一層feature map可以分別使用多個不同尺寸的卷積核，以獲得不同尺度的特征，再把這些特征結合起來，得到的特征往往比使用單一卷積核的要好，為了盡可能的減少引數，一般先用1 * 1的卷積將特征圖映射到隱空間，再在隱空間做卷積，
8 通道間的特征都是平等的嗎？(SENet)
無論是在Inception、DenseNet或者ShuffleNet里面，我們對所有通道產生的特征都是不分權重直接結合的，那為什么要認為所有通道的特征對模型的作用都是相等的呢？一個卷積層中往往有數以千計的卷積核，每個卷積核都對應了特征，于是那么多特征要怎么區分？這個方法就是通過學習的方式來自動獲取到每個特征通道的重要程度，然后依照計算出來的重要程度去提升有用的特征并抑制對當前任務用處不大的特征，
9 卷積核形狀一定是矩形嗎？(可變形卷積)
規則形狀的卷積核（比如一般用的正方形3*3卷積）可能會限制特征的提取，如果賦予卷積核形變的特性，讓網路根據label反傳下來的誤差自動的調整卷積核的形狀，適應網路重點關注的感興趣的區域，就可以提取更好的特征，例如，網路會根據原位置（a），學習一個offset偏移量，得到新的卷積核（b）（c）（d），那么一些特殊情況就會成為這個更泛化的模型的特例，例如圖（c）表示從不同尺度物體的識別，圖（d）表示旋轉物體的識別
10 網路改寫思路
（1）kernel：
首先，大卷積核用多個小卷積核替代
其次，單一尺寸卷積核用多尺寸卷積核替代
再者，用可變形卷積替代固定形狀卷積核
或是，在網路中添加1X1卷積
（2）channels：
首先，引入深度可分離卷積
其次，引入分組卷積
再者，引入channel shuffle
或是，feature map 加權
（3）connection
首先，引入skip
其次，引入 dense，使每層都融合其他層（DenseNet）
11 總結
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/337986.html
標籤：AI
上一篇：【滲透測驗筆記】之【內網滲透——應用層隧道（DNS隧道：dnscat2的使用（域名連接、直連、powershell連接））】