深度學習其本質是優化所有權重的值，使其達到一個最優解的狀態，這其中，需要更新權重的層包括卷積層、BN層和FC層等，在最優化中，權重的初始化是得到最優解的重要步驟，如果權重初始化不恰當，則可能會導致模型陷入區域最優解，導致模型預測效果不理想，甚至使損失函式震蕩，模型不收斂，而且，使用不同的權重初始化方式，模型最終達到的效果也是很不一樣的，因此，掌握權重的初始化方式是煉丹師必備的煉丹術之一，在這里，我介紹一下深度學習中，我們常用的幾種權重初始化的方式，

Xavier初始化

Xavier初始化方法提出于2010年的《Understanding the difficulty of training deep feedforward neural networks》中，Xavier初始化的方式其基本思想是“方差一致性”，即保持激活值的方差一致或者梯度的方差一致，這樣有利于優化，基于該基本思想，作者假設每層的輸入位于激活函式的線性區域，且具備零點對稱的分布，

• 保持激活值的方差一致

首先，對于每個卷積層，其回應結果為：

$$Y_l=W_lX_l+b_l \tag{1}$$

其中，$X_l$是每層的輸入引數，其shape為$(k\times k\times c)$，$k$為特征圖的尺寸，$c$是通道數；$W_l$是該層的卷積核引數，其shape為$(d\times k\times k\times c)$，$d$表示卷積核的數量；$b_l$是偏差，我們通常讓其為0，從公式(1)中，可以得知，$X_l=f(Y_{l-1})$和$c_l=d_{l-1}$，其中$f()$表示激活函式，

假設每層的$W_l$是相互獨立的，且同分布；每層的$X_l$是相互獨立的，且同分布；$W_l$和$X_l$是相互獨立的，因此，令$b_l=0$，可以得到：

$$Var[y_l]=n_lVar[w_lx_l] \tag{2}$$

其中，$y_l$，$w_l$和$x_l$表示$Y_l$，$W_l$和$X_l$的每個隨機變數，$n_l=k^2c$表示神經元個數，令$w_l$具有零均值，且關于零點對稱分布；$x_l$也具有零均值，且位于激活函式的線性區域，$x_l=f(y_{l-1})=y_{l-1}$，所以：

\begin{align*}
Var[y_l]&=n_lVar[w_lx_l] \\
&=n_lVar[w_l]Var[x_l] \\
&=n_lVar[w_l]Var[y_{l-1}] \tag{3}
\end{align*}

因此，對于L層的輸出，有：

$Var[y_L]=Var[y_1]\left ( \prod _{l=2}^L n_lVar[w_l] \right ) \tag{4}$

所以，公式(4)是初始化設計的關鍵，如果每層的$n_lVar[w_l]$過大或者過小，都會導致最后輸出的值會指數型的增加或減少，因此，對于所有層，都需要滿足：

$$n_lVar[w_l]=1 \tag{5}$$

所以，每層權重的初始化服從零均值，方差為$\frac{1}{n_l}$的分布，

• 保持梯度的方差一致

對于后向梯度傳播而言，每個卷積層的的梯度為：

$$\triangle X_l=\hat{W_l}\triangle Y_l \tag{6}$$

其中，$\triangle X_l$和$\triangle Y_l$分別表示梯度；$\triangle Y$的shape為$(k\times k\times d)$；$\hat{W}$的shape為$(c\times k\times k\times d)$，這里的$\hat{W}$和$W$可以變換形狀進行轉換，同樣，這里假設$w_l$和$\triangle y_l$相互獨立，$\triangle x_l$具有零均值，$w_l$關于零點對稱分布，在公式(6)中，可以得到:

$$\triangle y_l=f'(y_l)\triangle x_{l+1} \tag{7}$$

由于假設位于線性激活區域，$f'(y_l)=1$，所以：

\begin{align*}
Var[\triangle x_l]&=\hat{n_l}Var[\hat{w_l}\triangle y_l] \\
&=\hat{n_l}Var[\hat{w_l}]Var[\triangle y_l] \\
&=\hat{n_l}Var[\hat{w_l}]Var[\triangle x_{l+1}] \tag{8}
\end{align*}

其中，$\hat{n_l}=k^2d$，與上述的$n_l=k^2c$不一樣，但都表示神經元個數，

將L層結果堆積起來，得到

$$Var[\triangle x_2]=Var[\triangle x_{L+1}](\prod _{l=2}^L\hat{n_l}Var[w_l]) \tag{9}$$

同樣，為了使公式(8)不會過大或者過小（過大或者過小會導致梯度爆炸或者梯度彌散），讓每層梯度均滿足：

$$\hat{n_l}Var[w_l]=1 \tag{10}$$

所以，每層權重的初始化服從零均值，方差為$\frac{1}{\hat{n_l}}$的分布，

上面從激活值的方差和梯度的方差進行了推導，對比公式(5)和公式(10)，發現兩者存在差異，但使用哪種方式進行權重初始化，都是可以接受的，假設我們使用使用公式(10)進行權重初始化，那么公式(9)中$\prod _{l=2}^L\hat{n_l}Var[w_l]=1$，代入公式(4)中，有$\prod _{l=2}^Ln_lVar[w_l]=\prod _{l=2}^L\frac{n_l}{\hat{n_l}}=\frac{c_2}{d_L}$，這樣同樣不會使輸出的值過大或者過小，

作者為了同時滿足公式(5)和公式(10)，對兩者進行取均值，因此，對所有層，權重初始化需要滿足：

$$Var(w_l)=\frac{2}{n_l+\hat{n_l}} \tag{11}$$

其中，對于第$l$層而言，$n_l=k^2c$和$\hat{n_l}=k^2d$表示第$l$層與第$l-1$層的神經元數量關系，差異是輸入通道$c$和輸出通道$d$的區別，

因此，Xavier初始化方式需要服從零均值，方差為$\frac{2}{n_l+\hat{n_l}}$，在論文中，使用的是均勻分布，零點對稱的均勻分布的方差為$\frac{a^2}{3}$，因此，Xavier初始化方式服從$W\sim U\left [-\sqrt{\frac{6}{n_l+\hat{n_l}}},\sqrt{\frac{6}{n_l+\hat{n_l}}}  \right ]$的均勻分布，

He初始化

He初始化是由何凱明大神與2015年在《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》中提出的，其基本思想和Xavier一致，保持方差的一致性，且推導也是在Xavier初始化方式類似，

Xavier初始化方式中，其假設激活函式是線性的，但隨著深度學習的發展，ReLU已經是常見的激活函式了，其不是線性的，所以Xavier初始化會對ReLU系列的激活函式失效，因此，何凱明在基于激活函式是ReLU的基礎上，推匯出He初始化方式，

• 保持激活值的方差一致

假設$w_l$具有零均值，$w_l$與$x_l$相互獨立，所以$Var[w_l]=E[w_l^2]-E^2[w_l]=E[w_l^2]$，而激活函式是ReLU，有$x_l=max(0,y_{l-1})$，所以$x_l$不具備零均值，且$E[x_l^2]=\frac{1}{2}Var[y_{l-1}]$，因此，公式(2)可以得到

\begin{align*}
Var[y_l]&=n_lVar[w_lx_l] \\
&=n_l(E[(w_lx_l)^2]-E^2[w_lx_l]) \\
&=n_l(E[w_l^2]E[x_l^2]-E^2[w_l]E^2[x_l]) \\
&=n_lE[w_l^2]E[x_l^2] \\
&=n_lVar[w_l]E(x_l^2) \\
&=\frac{1}{2}n_lVar[w_l]Var[y_{l-1}] \tag{12}
\end{align*}

對比公式(3)和公式(12)，可以發現，兩者相差了$\frac{1}{2}$的系數，這個系數是由ReLU引起的，因此，將L層輸出堆積在一起，可以得到

$$Var[y_L]=Var[y_1]\left ( \prod _{l=2}^L \frac{1}{2} n_lVar[w_l] \right ) \tag{13}$$

因此，對于每一層都需要滿足：

$$\frac{1}{2}n_lVar[w_l]=1 \tag{14}$$

所以，每層權重的初始化服從零均值，方差為$\frac{2}{n_l}$的分布，

• 保持梯度的方差一致

由公式(7)可以得知，對于ReLU而言，$f'(y_l)$等于$0$或者$1$，兩者的概率是相同的，而又假設$\triangle x_l$具有零均值，$f'(y_l)$與$\triangle x_{l+1}$是相互獨立的，可以得到$E[\triangle y]=\frac{E[\triangle x_{l+1}]}{2}=0$和$E[(\triangle y)^2]=Var[\triangle y]=\frac{1}{2}Var[\triangle x_{l+1}]$，結合這些條件，可以從公式(7)匯出：

\begin{align*}
Var[\triangle x_l]&=\hat{n_l}Var[w_l]Var[\triangle y_l] \\
&=\hat{n_l}Var[w_l](E[\triangle ^2y_l]-E^2[\triangle y_l]) \\
&=\frac{1}{2}\hat{n_l}Var[w_l]Var[\triangle x_{l+1}]  \tag{15}
\end{align*}

公式(10)和公式(15)主要的差別也是$\frac{1}{2}$的系數，同樣是由于ReLU引起的，因此將L層堆積起來，可以得到

$$Var[\triangle x_2]=Var[\triangle x_{L+1}](\prod _{l=2}^L\frac{1}{2}\hat{n_l}Var[w_l])  \tag{16}$$

因此，對于每一層都需要滿足：

$$\frac{1}{2}\hat{n_l}Var[w_l]=1 \tag{17}$$

所以，每層權重的初始化服從零均值，方差為$\frac{2}{\hat{n_l}}$的分布，

同樣，使用公式(14)或者公式(17)對網路權重進行初始化都可以，服從零均值、方差為$\frac{2}{n_l}$或者$\frac{2}{\hat{n_l}}$的分布，在論文中，作者選擇使用了高斯分布，即服從$W\sim G\left [0,\sqrt{\frac{2}{n}}  \right ]$的高斯分布，

預訓練初始化

在實際中，我們大部分是在已有的網路上進行修改，得到預期結果后，再對網路進行裁剪等操作，而預訓練模型是別人已經在特定的資料集（如ImageNet）上進行大量迭代訓練的，可以認為是比較好的權重初始化，加載預訓練模型進行初始化，能使我們進行更高頻率的工程迭代，更快得到結果，而且，通常加載預訓練模型會得到較好的結果，

但是要注意幾個問題：

1. 許多文章指出，當源場景與目標場景差異過大時，加載預訓練模型可能不是一種很好的方式，會導致領域失配；
2. 何凱明在2019年的《Rethinking ImageNet Pre-training》中指出，加載預訓練模型并不能使準確率提高，只要迭代步數夠多，隨機初始化也能產生相同的效果，但實際中，我們無法得知得迭代多少次，模型才飽和；而且迭代步數越多，時間成本也就越大，

總體來說，如果初始版本的模型存在預訓練模型的話，我們可以通過加載預訓練模型來進行初始化，快速得到結果；然后再根據需求，對初始版本的網路進行修改，

綜上所示，如果模型存在預訓練模型，盡可能使用預訓練進行初始化；而對于沒有預訓練模型或者新加了部分層，可以使用He初始化方式來進行初始化，

參考材料：

1. https://blog.csdn.net/weixin_35479108/article/details/90694800
2. https://www.zhihu.com/question/291032522/answer/605843215

標籤：其他

上一篇：tensorflow feature_column踩坑合集

下一篇：淺析決策樹及其剪枝、集成方法