目錄

• 寫在前面
• Dense Block與Transition Layer
• DenseNet網路架構與性能
• 理解DenseNet
• Plain Net、ResNet與DenseNet
• 參考

博客：博客園 | CSDN | blog

寫在前面

在博客《ResNet詳解與分析》中，我們談到ResNet不同層之間的資訊流通隱含在“和”中，所以從資訊流通的角度看并不徹底，相比ResNet，DenseNet最大的不同之處在于，并不對feature map求element-wise addition，而是通過concatenation將feature map拼接在一起，所以DenseNet中的卷積層知道前面每一步卷積發生了什么，

Crucially, in contrast to ResNets, we never combine features summation before they are passed into a layer; instead, we combine features by concatenating them.

同ResNet結構類似，DenseNet也是由多個Dense Block串聯而成，如下圖所示

Dense Block與Transition Layer

在每個Dense Block內部，每個卷積層可以知道前面所有卷積層輸出的feature map是什么，因為它的輸入為前面所有卷積層輸出的feature map拼接而成，換個角度說，每個卷積層得到的feature map要輸出給它后面所有的卷積層，這里說“每個卷積層”并不準確，更準確的說法應該是“每組卷積”，后面將看到，一組卷積是由1個\(1\times 1\)卷積層和 1個\(3\times 3\)卷積層堆疊而成，即bottleneck結構，

to ensure maximum information flow between layers in the network, we connect all layers (with matching feature-map sizes) directly with each other. To preserve the feed-forward nature, each layer obtains additional inputs from all preceding layers and passes on its own feature-maps to all subsequent layers.

下面看一個Dense Block的示例，

圖中的\(x\)為feature map，特別地，\(x_0\)為網路輸入，\(H\)為一組卷積，同Identity Mappings in Deep Residual Networks采用了pre activation方式，即BN-ReLU-\(1\times 1\)Conv-BN-ReLU-\(3\times 3\)Conv的bottleneck結構，\(x_i\)為\(H_i\)輸出的feature map，\(H_i\)的輸入為concatenation of \([x_0, x_1, \dots, x_{i-1}]\)，定義每個\(H\)輸出的 channel數為growth rate \(k =4\)，則\(H_i\)的輸入feature map有 \(k_0 + k\times (i-1)\)個channel，特別地，\(k_0\)為\(x_0\)的channel數，所以，對于越靠后的\(H\)，其輸入feature map的channel越多，為了控制計算復雜度，將bottleneck中\(1\times 1\)卷積的輸出channel數固定為\(4k\)，對于DenseNet的所有 Dense Block，growth rate均相同，

相鄰Dense Block 之間通過Transition Layer銜接，Transition Layer由1個\(1\times 1\)卷積和\(2\times 2\)的average pooling構成，前者將輸入feature map的channel數壓縮一半，后者將feature map的長寬尺寸縮小一半，

可見，bottleneck和Transition Layer的作用都是為了提高計算效率以及壓縮引數量，

DenseNet網路架構與性能

DenseNet用于ImageNet的網路架構如下，通過上面的介紹，這里的架構不難理解，

DenseNet的Parameter Efficiency很高，可以用少得多的引數和計算復雜度，取得與ResNet相當的性能，如下圖所示，

理解DenseNet

DenseNet最終的輸出為前面各層輸出的拼接，在反向傳播時，這種連接方式可以將最終損失直接回傳到前面的各個隱藏層，相當于某種Implicit Deep Supervision，強迫各個隱藏層學習到更有區分里的特征，

DenseNet對feature map的使用方式可以看成是某種多尺度特征融合，文中稱之為feature reuse，也可以看成是某種“延遲決定”，綜合前面各環節得到的資訊再決定當前層的行為，文中可視化了同block內每層對前面層的依賴程度，

For each convolutional layer ‘ within a block, we compute the average (absolute) weight assigned to connections with layers. Figure 5 shows a heat-map for all three dense blocks. The average absolute
weight serves as a surrogate for the dependency of a convolutional layer on its preceding layers.

圖中可見每個Dense Block中每層對前面層的依賴程度，約接近紅色表示依賴程度越高，可以看到，

• Dense Block內，每個層對其前面的feature map利用方式（依賴程度）是不一樣的，相當于某種“注意力”
• Transition Layer 以及最后的Classification Layer對其前面相對宏觀的特征依賴較高，這種趨勢越深越明顯

Plain Net、ResNet與DenseNet

這里做一個可能并不恰當的比喻，對比一下Plain Net、ResNet 與 DenseNet，

如果將網路的行為比喻成作畫，已知最終希望畫成的樣子，但要經過N個人之手，每個人繪畫能力有限，前面一個人畫完交給后面的人，

• Plain Net：前面一個人畫完，后面一個人只能參照前一個人畫的自己重新繪制一張，盡管他能力有限，但他必須得畫，

• ResNet：前面一個人畫完，后面一個人在其基礎上作畫，他更多地關注當前畫與最侄訓的差異部分，同時他還有不畫的權利，

• DenseNet：當前作畫的人可以看到前面所有人的畫，同時他還知道大家繪畫的順序以及誰的畫工相對更好更可靠，他參照前面所有的畫自己重新繪制一張，然后連同前面所有的畫一同交給后面的人，

不難看出，ResNet和DenseNet的側重點不太一樣，但大概率應該都比Plain Net畫的更好，

所以，要是綜合ResNet和DenseNet的能力是不是會畫得更好呢？

以上，

參考

• paper: Densely Connected Convolutional Networks
• code: pytorch-densenet.py
• Densely Connected Networks (DenseNet)

標籤：其他

上一篇：zabbix監控服務部署腳本

下一篇：從5個經典作業開始看語意SLAM