卷積單元

本文給出了四維張量卷積的運算式，卷積輸出大小的運算式，以及Matlab和PyTorch下卷積實體，

直觀地理解卷積

經典卷積運算

經典二維卷積

設有 N i N_i Ni? 個二維卷積輸入 I ∈ R N i × C i × H i × W i {\bm I} \in {\mathbb R}^{N_i × C_i \times H_i \times W_i} I∈RNi?×Ci?×Hi?×Wi?, C k × C i C_k \times C_i Ck?×Ci? 個二維卷積核 K ∈ R C k × C i × H k × W k {\bm K} \in {\mathbb R}^{C_k \times C_i \times H_k \times W_k} K∈RCk?×Ci?×Hk?×Wk?, N o N_o No? 個卷積輸出記為 O ∈ R N o × C o × H o × W o {\bm O} \in {\mathbb R}^{N_o × C_o \times H_o \times W_o} O∈RNo?×Co?×Ho?×Wo?, 在經典卷積神經網路中, 有 C k = C o , N o = N i C_k = C_o, N_o = N_i Ck?=Co?,No?=Ni?, K {\bm K} K 與 I \bm I I 間的二維卷積運算可以表示為

O n o , c o , : , : = ∑ c i = 0 C i ? 1 I n o , c i , : , : ? K c o , c i , : , : = ∑ c i = 0 C i ? 1 Z n o , c o , c i , : , : \begin{aligned} {\bm O}_{n_o, c_o, :, :} &= \sum_{c_i=0}^{C_i-1} {\bm I}_{n_o, c_i, :,:} * {\bm K}_{c_o, c_i, :,:} \\ &= \sum_{c_i=0}^{C_i-1}{\bm Z}_{n_o, c_o, c_i, :, :} \end{aligned} Ono?,co?,:,:??=ci?=0∑Ci??1?Ino?,ci?,:,:??Kco?,ci?,:,:?=ci?=0∑Ci??1?Zno?,co?,ci?,:,:??
其中, ? * ? 表示經典二維卷積運算, 卷積核 K c o , c i , : , : {\bm K}_{c_o, c_i, :,:} Kco?,ci?,:,:? 與輸入 I n o , c i , : , : {\bm I}_{n_o, c_i, :,:} Ino?,ci?,:,:? 的卷積結果記為 Z n o , c o , c i , : , : ∈ R H o × W o {\bm Z}_{n_o, c_o, c_i, :, :}\in {\mathbb R}^{H_o \times W_o} Zno?,co?,ci?,:,:?∈RHo?×Wo?, 則

Z n o , c o , c i , h o , w o = ∑ h = 0 H k ? 1 ∑ w = 0 W k ? 1 I n o , c i , h o + h ? 1 , w o + w ? 1 ? K c o , c i , h , w . {\bm Z}_{n_o, c_o, c_i, h_o, w_o} = \sum_{h=0}^{H_k-1}\sum_{w=0}^{W_k-1} {\bm I}_{n_o, c_i, h_o + h - 1, w_o + w - 1} \cdot {\bm K}_{c_o, c_i, h, w}. Zno?,co?,ci?,ho?,wo??=h=0∑Hk??1?w=0∑Wk??1?Ino?,ci?,ho?+h?1,wo?+w?1??Kco?,ci?,h,w?.

記卷積程序中, 高度與寬度維上填補(padding)大小為 H p × W p H_p \times W_p Hp?×Wp?, 卷積步長為 H s × W s H_s \times W_s Hs?×Ws?, 則卷積輸出大小滿足

H o = ? H i + 2 × H p ? H k H s + 1 ? W o = ? W i + 2 × W p ? W k W s + 1 ? \begin{array}{ll} H_{o} &= \left\lfloor\frac{H_{i} + 2 \times H_p - H_k}{H_s} + 1\right\rfloor \\ W_{o} &= \left\lfloor\frac{W_{i} + 2 \times W_p - W_k}{W_s} + 1\right\rfloor \end{array} Ho?Wo??=?Hs?Hi?+2×Hp??Hk??+1?=?Ws?Wi?+2×Wp??Wk??+1??

卷積神經網路中的卷積操作, 實際上是相關操作, 因為在運算程序中, 未對卷積核進行翻轉操作

下圖所示為二維卷積操作示意圖.

卷積示意圖

經典膨脹二維卷積運算

設有 N i N_i Ni? 個二維卷積輸入 I ∈ R N i × C i × H i × W i {\bm I} \in {\mathbb R}^{N_i × C_i \times H_i \times W_i} I∈RNi?×Ci?×Hi?×Wi?, C k × C i C_k \times C_i Ck?×Ci? 個二維卷積核 K ∈ R C k × C i × H k × W k {\bm K} \in {\mathbb R}^{C_k \times C_i \times H_k \times W_k} K∈RCk?×Ci?×Hk?×Wk?, 高度與寬度維上填補(padding)大小為 H p × W p H_p×W_p Hp?×Wp?, 膨脹(dilation)大小為 H d × W d H_d×W_d Hd?×Wd?, 卷積步長為 H s × W s H_s×W_s Hs?×Ws?, 在經典膨脹二維卷積神經網路中, 有 C k = C o , N o = N i C_k = C_o, N_o = N_i Ck?=Co?,No?=Ni?, 則卷積后的輸出為 O ∈ R N o × C o × H o × W o {\bm O} \in {\mathbb R}^{N_o × C_{o}\times H_{o} \times W_{o}} O∈RNo?×Co?×Ho?×Wo?, 其中

H o = ? H i + 2 × H p ? H d × ( H k ? 1 ) ? 1 H s + 1 ? W o = ? W i + 2 × W p ? W d × ( W k ? 1 ) ? 1 W s + 1 ? \begin{array}{ll} H_{o} &= \left\lfloor\frac{H_{i} + 2 \times H_p - H_d \times (H_k - 1) - 1}{H_s} + 1\right\rfloor \\ W_{o} &= \left\lfloor\frac{W_{i} + 2 \times W_p - W_d \times (W_k - 1) - 1}{W_s} + 1\right\rfloor \end{array} Ho?Wo??=?Hs?Hi?+2×Hp??Hd?×(Hk??1)?1?+1?=?Ws?Wi?+2×Wp??Wd?×(Wk??1)?1?+1??

可以發現當膨脹大小為 H d × W d = 1 × 1 H_d×W_d = 1×1 Hd?×Wd?=1×1 時, 膨脹卷積退化為經典卷積.

更多二維卷積示意圖參見 A technical report on convolution arithmetic in the context of deep learning.

經典二維轉置卷積運算

二維轉置卷積是一種解卷積方法, 設有二維卷積核 K ∈ R C o × H k × W k {\bm K} \in {\mathbb R}^{C_o\times H_k \times W_k} K∈RCo?×Hk?×Wk?, 二維卷積輸入 I ∈ R N i × C i × H i × W i {\bm I} \in {\mathbb R}^{N_i × C_{i}\times H_{i} \times W_{i}} I∈RNi?×Ci?×Hi?×Wi?, 高度與寬度維上填補(padding)大小為 H p × W p H_p×W_p Hp?×Wp?, 膨脹(dilation)大小為 H d × W d H_d×W_d Hd?×Wd?, 卷積步長為 H s × W s H_s×W_s Hs?×Ws?, 則卷積后填補(output-padding)大小為 H o p × W o p H_{op}×W_{op} Hop?×Wop?, 則卷積后的輸出為 Y ∈ R N × C o × H o × W o {\bm Y} \in {\mathbb R}^{N × C_{o}\times H_{o} \times W_{o}} Y∈RN×Co?×Ho?×Wo?, 其中

H o = ( H i ? 1 ) × H s ? 2 × H p + H d × ( H k ? 1 ) + H o p + 1 W o = ( W i ? 1 ) × W s ? 2 × W p + W d × ( W k ? 1 ) + W o p + 1 \begin{array}{ll} H_{o} &= (H_{i} - 1) \times H_s - 2 \times H_p + H_d \times (H_k - 1) + H_{op} + 1 \\ W_{o} &= (W_{i} - 1) \times W_s - 2 \times W_p + W_d \times (W_k - 1) + W_{op} + 1 \end{array} Ho?Wo??=(Hi??1)×Hs??2×Hp?+Hd?×(Hk??1)+Hop?+1=(Wi??1)×Ws??2×Wp?+Wd?×(Wk??1)+Wop?+1?

實驗分析

實驗說明

以二維卷積為例, 設有矩陣 a , b {\bm a}, {\bm b} a,b

a = [ 1 2 3 4 5 6 7 8 9 ] {\bm a} = \left[ {\begin{array}{ccc} 1&2&3\\ 4&5&6\\ 7&8&9 \end{array}} \right] a=???147?258?369????

b = [ 1 2 3 4 ] {\bm b} = \left[ {\begin{array}{ccc} 1&2\\ 3&4 \end{array}} \right] b=[13?24?]

則有卷積 a ? b {\bm a}*{\bm b} a?b

a ? b = [ 1 4 7 6 7 23 33 24 19 53 63 42 21 52 59 36 ] {\bm a}*{\bm b} = \left[ {\begin{array}{cccc} 1&4&7&6\\ 7&{23}&{33}&{24}\\ {19}&{53}&{63}&{42}\\ {21}&{52}&{59}&{36} \end{array}} \right] a?b=?????171921?4235352?7336359?6244236??????

互相關 a ? b {\bm a}\star{\bm b} a?b

a ? b = [ 4 11 18 9 18 37 47 21 36 67 77 33 14 23 26 9 ] {\bm a}\star{\bm b} = \left[ {\begin{array}{cccc} 4&{11}&{18}&9\\ {18}&{37}&{47}&{21}\\ {36}&{67}&{77}&{33}\\ {14}&{23}&{26}&9 \end{array}} \right] a?b=?????4183614?11376723?18477726?921339??????

實驗結果

在 Matlab 環境中, 輸入如下代碼, 求解卷積 a ? b {\bm a} * {\bm b} a?b 與相關 a ? b {\bm a}\star{\bm b} a?b

   a = [1 2 3;4 5 6;7 8 9];
   b = [1 2;3 4];

   disp(a)
   disp(b)

   % convolution
   disp(conv2(a, b))

   % cross-correlation
   disp(xcorr2(a, b))

MATLAB中的2D卷積和相關結果為

     1     2     3
     4     5     6
     7     8     9

     1     2
     3     4

     1     4     7     6
     7    23    33    24
    19    53    63    42
    21    52    59    36

     4    11    18     9
    18    37    47    21
    36    67    77    33
    14    23    26     9

在 Python 環境中, 輸入如下代碼, 求解卷積 a ? b {\bm a} * {\bm b} a?b

   import torch as th

   a = th.tensor([[1., 2, 3], [4, 5, 6], [7, 8, 9]])
   b = th.tensor([[1., 2], [3, 4]])

   a = a.unsqueeze(0)  # 1x3x3
   a = a.unsqueeze(0)  # 1x1x3x3
   b = b.unsqueeze(0)  # 1x2x2
   b = b.unsqueeze(0)  # 1x1x2x2

   print(a, a.size())
   print(b, b.size())

   c = th.conv2d(a, b, stride=1, padding=1)

   print(c)

PyTorch中的2D卷積結果為

   tensor([[[[1., 2., 3.],
             [4., 5., 6.],
             [7., 8., 9.]]]]) torch.Size([1, 1, 3, 3])
   tensor([[[[1., 2.],
             [3., 4.]]]]) torch.Size([1, 1, 2, 2])
   tensor([[[[ 4., 11., 18.,  9.],
             [18., 37., 47., 21.],
             [36., 67., 77., 33.],
             [14., 23., 26.,  9.]]]])

對比結果可以發現, PyTorch中的2D卷積實際上是2D相關操作, 與此類似, Tensorflow等深度神經網路框架中的卷積均為相關操作. 但這并不影響網路的性能, 這是因為卷積核是通過網路學習的, 通過學習得到的卷積核可以看作是翻轉后卷積核.

參考文獻

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/293302.html

標籤：AI

上一篇：深度學習中Transformer的原理和方法（李宏毅視頻課筆記）

下一篇：【Pytorch學習筆記】3.深度學習基礎

深度神經網路中的卷積

文章目錄