目錄
- 前向傳播與反向傳播回顧
- 梯度消失與梯度爆炸
- 激活函式的影響
- 權重矩陣的影響
- 不良初始化
- 參考
博客：blog.shinelee.me | 博客園 | CSDN
前向傳播與反向傳播回顧
神經網路的訓練程序可以簡化成以下步驟，
- 輸入預處理（feature scaling等）
- 初始化網路weight和bias
- 前向傳播，得到網路輸出
- 計算損失函式，得到當前損失
- 反向傳播，根據鏈式法則，逐層回傳得到損失函式對當前引數的偏導，根據梯度下降演算法對當前引數進行更新
- 重復步驟3 4 5，直到損失不再減小，即收斂
一個簡單的前向傳播和反向傳播的示意圖如下，線性組合和非線性激活交替進行，線性組合層可以為全連接層或卷積層等，圖片來自鏈接，
梯度下降演算法的引數更新公式為，
\[W(t+1)=W(t)-\eta \frac{d C}{d W} \]
其中\(C=J(W)\)為損失函式，即通過引數的偏導對引數進行更新，反向傳播時，由鏈式法則，偏導反向回傳，逐層計算損失函式對當前引數的偏導，對某個引數的偏導為一串因子的乘積，因子依次為損失函式對網路輸出的偏導、激活函式的偏導、線性組合的偏導、激活函式的偏導、線性組合的偏導……如下面所示（來自鏈接），這里，損失為二分之LMS，用\(C\)表示，\(z\)為線性組合的輸出（激活層的輸入），\(a\)為激活層的輸出（線性組合的輸入），
仔細觀察上式，偏導為一串因子的乘積，因子中的每一項對乘積結果都有影響，有幾點需要注意，回傳時，
- 每個權重的偏導中含有一個共同的因子項，為損失函式對網路輸出的偏導
- 每經過一個激活層，就有一個激活函式偏導作為因子項，如\(\sigma'(z^L)=\frac{\partial a^L}{\partial z^L}\)
- 對當前線性組合層的權重求偏導，含且只含一個當前層的輸入（前一層的輸出）作為因子項，如\(a^{L-1}\)
- 每經過一個線性組合層（全連接層or卷積層），就有一個權重矩陣作為因子項，如\(w^L\)
所以，激活函式的偏導、權重矩陣、當前層的輸入（前一層的輸出），這些項的取值均會對偏導數產生影響，偏導數為這些因子項共同作用的結果，特別地，
- 若激活函式偏導為0，則權重偏導為0；
- 若前一層的輸出（當前層輸入）為0，則當前層權重的偏導為0；
- 若后一層的權重\(w^L\)為0，則當前層權重的偏導\(\frac{\partial C}{\partial {w^{L-1}}}\)為0；
直覺上，因子項連乘可能隱含潛在的問題：\(0.25^{10} = 0.00000095367431640625\)，\(2^{10}=1024\)，對于現在動輒幾十、成百、上千層的網路，這些因子項的取值范圍極大地影響著權重偏導的結果：小了，經過連續相乘，結果可能接近于0，大了，結果可能超過資料型別的上界，同時，網路的深度讓這個問題指數級地放大了，
梯度消失與梯度爆炸
梯度為偏導數構成的向量，
損失函式收斂至極小值時，梯度為0（接近0），損失函式不再下降，我們不希望在抵達極小值前，梯度就為0了，也不希望下降程序過于震蕩，甚至不收斂，梯度消失與梯度爆炸分別對應這2種現象，
梯度消失(vanishing gradients)：指的是在訓練程序中，梯度（偏導）過早接近于0的現象，導致（部分）引數一直不再更新，整體上表現得像損失函式收斂了，實際上網路尚未得到充分的訓練，
梯度爆炸（exploding gradients）：指的是在訓練程序中，梯度（偏導）過大甚至為NAN（not a number）的現象，導致損失劇烈震蕩，甚至發散(divergence)，
由上一節的分析可知，在梯度（偏導）計算中，主要的影響因素來自激活函式的偏導、當前層的輸入（前一層的輸出）、以及權重的數值等，這些因子連續相乘，帶來的影響是指數級的，訓練階段，權重在不斷調整，每一層的輸入輸出也在不斷變化，梯度消失和梯度爆炸可能發生在訓練的一開始、也可能發生在訓練的程序中，
因子項中當前層的輸入僅出現一次，下面著重看一下激活函式和權重的影響，
激活函式的影響
以Sigmoid和Tanh為例，其函式與導數如下（來自鏈接），
兩者的導數均在原點處取得最大值，前者為0.25后者為1，在遠離原點的正負方向上，兩者導數均趨近于0，即存在飽和區，
- 原點附近：從因子項連乘結果看，Tanh比Sigmoid稍好，其在原點附近的導數在1附近，如果激活函式的輸入均在0左右，偏導連續相乘不會很小也不會很大，而sigmoid就會比較糟糕，其導數最大值為0.25，連續相乘會使梯度指數級減小，在反向傳播時，對層數越多的網路，淺層的梯度消失現象越明顯，
- 飽和區：一旦陷入飽和區，兩者的偏導都接近于0，導致權重的更新量很小，比如某些權重很大，導致相關的神經元一直陷在飽和區，更新量又接近于0，以致很難跳出或者要花費很長時間才能跳出飽和區，
所以，一個改善方向是選擇更好的非線性激活函式，比如ReLU，相關激活函式如下圖所示，
ReLU只在負方向上存在飽和區，正方向上的導數均為1，因此相對更少地遭遇梯度消失，但梯度爆炸現象仍然存在，
權重矩陣的影響
假設激活函式為線性，就像ReLU的正向部分，導數全為1，則一個簡化版本的全連接神經網路如下圖所示，
假設權重矩陣均為\(W\)，前向傳播和反向傳播程序均涉及\(W\)（轉置）的反復相乘，\(t\)步相當于\(W^t\)，若\(W\)有特征值分解$W=V \ diag(\lambda) \ V^{-1} $，簡單地，
\[W^t = (V \ diag(\lambda) \ V^{-1})^t = V \ diag(\lambda)^t \ V^{-1} \]
其中\(diag(\lambda)\)為特征值對角矩陣，如果特征值\(\lambda_i\)不在1附近，大于1經過\(t\)次冪后會“爆炸”，小于1經過\(t\)次冪后會“消失”，
如果網路初始化時，權重矩陣過小或過大，則在網路訓練的初始階段就可能遭遇梯度消失或梯度爆炸，表現為損失函式不下降或者過于震蕩，
不良初始化
至此，一些權重不良初始化導致的問題就不難解釋了，
-
過小，導致梯度消失
-
過大，導致梯度爆炸
-
全常數初始化，即所有權重\(W\)都相同，則\(z^{(2)}=W^1 x\)相同，導致后面每一層的輸入和輸出均相同，即\(a\)和\(z\)相同，回到反向傳播的公式，每層的偏導相同，進一步導致每層的權重會向相同的方向同步更新，如果學習率只有一個，則每層更新后的權重仍然相同，每層的效果等價于一個神經元，這無疑極大限制了網路的能力，
-
特別地，全0初始化，根據上式，如果激活函式\(g(0) = 0\)，如ReLU，則初始狀態所有激活函式的輸入\(z\)和輸出\(a\)都為0，反向傳播時所有的梯度為0，權重不會更新，一直保持為0；如果激活函式\(g(0) \neq 0\)，則初始狀態激活層的輸入為0，但輸出\(a\neq 0\)，則權重會從最后一層開始逐層向前更新，改變全0的狀態，但是每層權重的更新方向仍相同，同上，
這幾種權重初始化方法對網路訓練程序的影響，可在Initializing neural networks進行可視化實驗，可觀察權重、梯度和損失的變化，美中不足的是隱藏層的激活函式只有ReLU，不能更換為Sigmoid、Tanh等，如下所示，
話說回來，所以我們需要好的網路初始化方法，以對反向傳播程序中的梯度有所控制，對反向傳播中梯度加以控制的方法，不止這里提到的激活函式和權重初始化，還有梯度截斷（gradient clipping）、網路模型設計方面等方法，因為本文的重點在于權重初始化，對此按下不表，
那么，合適的網路初始化方法是什么呢？我們下回分解，
參考
- Initializing neural networks
- Deep Learning Best Practices (1) — Weight Initialization
- Complete Guide of Activation Functions
- Vanishing gradient problem
- deep learning book - optimization
- Danger of setting all initial weights to zero in Backpropagation
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/63782.html
標籤：其他