一點就分享系列（理解篇）——淺析CV中的1*1卷積的“前世今生”
大家好，我是啥都會一點的搬磚工小程，今天第一篇分享下自己平時積累的東西，初來乍到，先來篇入門，白話敘述，加深理解，歡迎大佬指正、交流，純屬分享，后面有慷訓更新自己的工程篇哈.
文章目錄
- 一點就分享系列（理解篇）——淺析CV中的1*1卷積的“前世今生”
- 前言
- 一、卷積理解的“白話”
- 二、1x1卷積“來了”
- 總結
前言
DL在CV領域各種成熟應用之余，SOTA級的模型在視覺任務中部署已逐漸成熟，五花八門的部署我想博客上已經有很多了，當然自己后續也會更新 自己的實踐篇，為了不讓萌新提到CV只會煉丹，特別是現在工程部署和優化大熱之余，對于入門者是否應該冷靜下回歸原點，好好研究其中每一個基礎點呢？這也是理論能唯一令我興奮的地方，針對于1*1卷積操作，因水平有限，出于自身理解從頭“解剖”,程序中會盡量解釋到涉及的點，篇幅和個人精力有限！主要從卷積在CV的用處和對1x1的操作上來理解，便于大家閱讀理解（即使萌新也可以看懂），不當之處接受批評指正，
一、卷積理解的“白話”
談到1*1卷積，我想不少人都會直觀想到它在CNN中的作用:featuremap的特征升維或者降維，那么先理解下CNN中的卷積操作（這里拋開信號處理上的解釋，容我水一下）：
因為數學公式是絕對嚴謹的，所以先說明白基礎的卷積操作！區域連接和引數共享是卷積操作在CNN中的特點，但是我們需要明白影像的"卷積"其實和我們在數學中接觸的“卷積”并不完全一樣；曾有人在討論中多次提及為什么Tensorflow等DL庫中并沒有嚴格按照書上的公式進行卷積操作？差距就是那個180度翻轉？
如下手寫圖所示，首先，在泛函分析中，通過兩個函式f和g生成第三個函式的數學算子，表征函式f與經過翻轉和平移的g的重疊部分的累積，實際上，現在大部分的深度學習教程中都把卷積定義為影像矩陣和卷積核的按位點乘“加權求和”，嚴格說應該是互相關，而真正“卷積”需要把卷積核順時針旋轉180度然后再做點乘，簡單來說，數學中的卷積，需要將“卷積核”進行旋轉；而卷積神經網路中的卷積核由于引數是需要訓練學習的，并不需要反轉這個操作，也就是說我們在CNN中的卷積操作其實就是互相關函式，為什么不需要翻轉操作了呢？狠簡單，因為CNN核是通過訓練學習引數，是未知（在代碼中初始引數是我們自定義的初始化）；而數學公式的引數是已知求未知！也就是關注于提取特征而迭代得到引數，這也是深度學習的訓練目的，
通過公式分析，那么這個直線其實恰巧說明了卷積是怎么“卷”的！！！！一個復雜的函式沿著這個直線卷，最終實作了降維，也是符合數學的"化繁為簡"的轉化思想，（對于機器學習來說我個人感悟就是怎么樣更好地解決非線性問題，如何更巧妙的轉換線性操作）嘿嘿，卷完了呢？當然是為計算啊哈哈，為嘛呢？如果說以上概念不管是特征提取還是“加權求和”都不夠讓你明白為什么要做卷積和怎樣做卷積??真的沒關系，殺手锏我都寫紙上了！！！！！那么我就來一個不夠嚴謹但助于理解的解釋！參考下圖~：
嘿嘿，沒錯，你可以統稱為大餅夾一切！！這就是眼下你要解決的問題，如圖所示（熟悉的四個字…），大餅上有各種豐富的吃的嘿嘿，那么問題來了，怎么吃呢？是卷著吃？為什么你要卷著吃呢？好處是什么呢？不卷著吃是什么樣子呢？這就讓你聯想成你對影像為什么要做卷積，只有你卷起來吃，你才能更好地以一個便捷的方式提取味道細節，這就是你要把大餅卷起來吃，并且你開始卷大餅的位置就是那個直線啊（X+Y=Z）！！！！方便且你可以嘗到更豐富的加權味道（特征提取），哈哈！！！！！不，不需要總結了，懂得自然懂，不懂去買一套吃！
怎么做呢？CNN是在提取影像的每個區域函式f（感受野）范圍和卷積核函式g的互相關函式！自然用于影像處理中的濾波（影像區域區域內的中心像素與區域臨近做平均）和邊緣提取（影像區域區域內的中心像素復制后，減去區域臨近像素，這樣差距較大的邊緣位置像素值不會為0，邊緣就得到了），兩者就是矩陣中的值不一樣，計算結果不同，
二、1x1卷積“來了”
到此，開始1x1卷積的分析，開篇提到的升維和降維都是直觀理解，我第一次知道這個是在谷歌的Inception模塊中了解到的，那時候只知道減少引數量…在CNN之前都是全連接的神經網路（卷積就是限定范圍的全連接，比如3x3的卷積就是取9個像素的所有通道進行全連接，輸出的神經元數量就等于輸出的通道數，1x1卷積就是對應像素通道之間的全連接，不加入周圍的像素的通道，能提升通道的特征抽象能力，）
首先說改變維度這點，池化負責特征圖寬和高；而1x1卷積是對通道改變維度；恰好和剛說的1x1卷積就是對通道的方向做一次全連接對上了！在做通道降維的時候，其實資訊也得到了融合（線性計算），這是池化做不到的，
其次，配合非線性激活函式Relu以及變體等，保持feature map 尺寸不變的前提下增加非線性特性，把網路深度擴展！這也是和BN層的優化很有關系（這里不展開討論，不想水了），好奇小白會問為啥不用全連接？（全連接層的輸入尺寸是固定的，因為全連接層的引數個數取決于影像大小，而卷積層的輸入尺寸是任意的，因為卷積核的引數個數與影像大小無關，）同理，升維也是同樣的通道線性組合，我舉個例子唄，以Resnet殘差計算來說明：
N層輸入為X，那么輸出為F(X). 下一層N+1自然是X+F(X).如下所示，輸出維度無變化，這時候輸入X和輸出F(X),可以直接相加！
如下（示例）：
這時候N+1輸入和輸出維度不同，則就要用到維度上增加，（55x55x64）經過1x1卷積核得到55x55x128，再池化為27x27x128,就可以直接相加！
總結
沒，沒有總結了！看到這里的你我不需要總結，你肯定明白，隨筆一篇，為分享而分享，也記錄下希望能加深理解，第一次寫，進行簡單直白的解讀，希望對讀者們有點幫助，看到這里的朋友感謝閱讀，后續（啥都會一點的小程）有慷訓更新自己的一點就分享系列的工程篇以及理解篇！thanks~
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/223924.html
標籤：AI
上一篇：AI種番茄！騰訊xWUR智慧溫室大賽預賽揭曉，農科院和三星等五隊挺進決賽
下一篇：自動化測驗之穩定性測驗的設計