目錄

• 寫在前面
• 網路結構
• multi-scale training and testing
• 其他有意思的點
• 參考

博客：blog.shinelee.me | 博客園 | CSDN

寫在前面

VGG(2014)網路出自paper《Very Deep Convolutional Networks for Large-Scale Image Recognition》，為ILSVRC2014 localization冠軍和classification亞軍方法（冠軍為GoogLeNet），首次提交arXiv時間為2014年9月，后發表在ICLR2015，截止20191011參考量達27612，因為出自牛津大學Visual Geometry Group，所以網路被命名為VGG，根據層數不同，又分為VGG16、VGG19等，

論文的主要貢獻：

• 探究了網路深度對性能的影響，通過疊加卷積層來增加深度，性能變好——“Our results yet again confirm the importance of depth in visual representations”，
• 只使用\(3\times 3\)的卷積核，通過多個\(3 \times 3\)卷積層疊加來獲得與大卷積核相同的感受野，同時引入更多的非線性，減少了引數，若有\(C\)個channel，3個\(3\times 3\)的卷積層引數量為\(3(3^2C^2)=27C^2\)，1個\(7\times 7\)卷積層的引數量為\(7^2C^2=49C^2\)，兩者的感受野相同，

網路結構

文中列舉了配置不同的5個網路，分別命名為A、A-LRN、B、C、D、E，網路結構及引數量如下圖所示，

這些網路配置的特點是：

• A-LRN與A相比，僅在第一個卷積層后加入LRN層，A和A-LRN含可學習引數的層數均為11層
• B比A多了2個\(3 \times 3\)卷積層，為13層
• C比B多了3個\(1\times 1\)卷積層，為16層
• D將C的3個\(1\times 1\)卷積層替換為\(3\times 3\)卷積層，仍為16層
• E在D的基礎上又增加了3個\(3\times 3\)卷積層，為19層
• 每次maxpool后，feature map尺寸減半，緊隨其后的卷積層會將feature map的數量加倍，64→128→256→512

B網路有個特點，每2個\(3\times 3\)卷積層一組，再接maxpool，實際上，在實驗中還配置了另一個網路——將B的“each pair of \(3\times 3\) conv”替換為1個\(5\times 5\)卷積層，其性能要比B差7%，所以paper認為小卷積核深網路要比大卷積核淺網路好，

paper中的實驗均在上述網路中進行，下面具體看一下，

multi-scale training and testing

在訓練階段，VGG的輸入固定為\(224\times 224\)，對尺寸不同的影像需要先scale再crop到\(224\times 224\)，理論上只需要將影像最短的邊scale到大于等于224即可進行crop，paper中設定了2種scale方式，第一種scale到256或384，第二種隨機scale到\([256, 512]\)之間——384恰好位于256和512的中間，做了對比實驗，

測驗階段，不再進行crop操作，而是采用了Overfeat中的一個技巧，將網路最后的3個全連接層在實作上轉化成卷積層，以適應不同尺寸的輸入，這個技巧在paper中稱之為dense，全連接層的運算方式是輸入向量與權重矩陣相乘，當權重矩陣的尺寸確定了，輸入向量的長度就不可改變了，而卷積的運算方式是權重在輸入上滑動內積，所以只需要輸入的尺寸大于kernel的視窗即可，具體地，如果輸入恰好為\(224\times 224\)，經歷過5次maxpool后，feature map尺寸變為\(7 \times 7\)，當輸入尺寸大于224時，這個feature map將大于等于\(7\times 7\)，將3個全連接層依次轉化為\(7\times 7\)卷積和2個\(1\times 1\)卷積，這種轉化并不改變權重，只是實作方式上的變化，此時整個網路為全卷積網路，如果輸入影像大于\(224\times 224\)，網路最后輸出的class score map將大于\(1000 \times 1\)，為了得到固定長度為1000的class score vetor，只需將其進行spatially average(sum-pooled)，然后再softmax，更多可以參見Converting Fully-Connected Layers to Convolutional Layers的解釋，

預測階段的multi scale，即將輸入影像做不同scale，分別輸入網路，對預測結果取平均，

下圖分別為single scale和mutiple scale測驗的結果，測驗庫為ILSVRC-2012 dataset，

上面的對比實驗，可得出以下結論：

• 隨著深度增加，性能變好
• 與A相比，A-LRN性能沒有改善，LRN用途不大
• 無論是training還是testing，multiple scale均能改善性能，兩者結合使用效果更佳
• 在當前資料集和網路結構配置上，VGG16（D）和VGG19（E）性能基本一樣，接近飽和

對于multi scale對性能的改善，想來也是合理的，因為影像中目標的尺寸并不確定，有大有小，在訓練階段通過scale jittering來增廣資料，可讓網路在一定程度上cover這種變化，而在預測階段，multi scale可以看成在輸入資料上做的集成學習，亦是提升性能的常規操作，

其他有意思的點

論文中還有一些其他有意思的點，簡單總結如下，

• 為了網路能正常收斂，權重的初始化很重要，原來是先訓練淺層網路A，然后用A的權重初始化后面深層網路前4個卷積層和最后3個全連接層，其他層從高斯分布中隨機初始化，在paper submission后發現，直接采用Understanding the difficulty of training deep feedforward neural networks中的初始化方法就可以，即Xavier方法，
• paper中評論，因為A-LRN中的Local Response Normalisation(LRN)沒有效果，還增加了記憶體使用和計算量，所以后面的BCDE網路就不用了（微笑），
• 在ILSVRC-2014 challenge中，VGG提交的是7模型融合結果，提交后他們測驗2模型的融合結果要更好，top1 val好1%，top5 val好0.5%，不過是在multi-scale traing、multi-crop和dense一起加成下取得的結果，
• VGG (1 net, multi-crop & dense eval) 單網路比GoogLeNet單網路的性能要好約1%，
• 2014年，ImageNet競賽Top5錯誤率首次進入0~10%區間，

以上，

參考

• arXiv: Very Deep Convolutional Networks for Large-Scale Image Recognition
• Large Scale Visual Recognition Challenge 2014 (ILSVRC2014)
• Review: VGGNet — 1st Runner-Up (Image Classification), Winner (Localization) in ILSVRC 2014

標籤：其他

上一篇：selenium瀏覽器打開報錯

下一篇：有無大佬救命啊