??【獨家】挑戰全網最通俗易懂的神經網路的表達能力解釋

如上圖所示，是初學者對于神經網路非線性表達能力最直觀的印象圖，輸入為：x和1，激活函式為： y = 1 1 + e ? ( w x + b ) \mathbf{y}=\frac{1}{1+\mathbf{e}^{-\left( \mathbf{wx}+\mathbf{b} \right)}} y=1+e?(wx+b)1?，然后輸出為：y；而右圖則是sigmoid函式的函式影像，

參見上圖，讓我們一步步來分析權重w對于輸出函式y的影響：

• 如果我們令b=0，并且我們的權重w取值為0.3，則我們的輸出 y = 1 1 + e ? 0.3 x \mathbf{y}=\frac{1}{1+\mathbf{e}^{-0.3\mathbf{x}}} y=1+e?0.3x1?，此時的輸出函式y明顯坡度變得更加“平緩”，
• 如果我們令b=0，并且我們的權重w取值為3，則我們的輸出 y = 1 1 + e ? 0.3 x \mathbf{y}=\frac{1}{1+\mathbf{e}^{-0.3\mathbf{x}}} y=1+e?0.3x1?，此時的輸出函式y明顯坡度變得更加“陡峭”，
• 但是，x=0，y=0.5的分界位置卻未發生任何改變，由此，我們得到一個結論：在b=0的情況下，我們通過改變權重引數w能夠改變輸出函式y的“陡峭”或者“平緩”的速度，

此時，我們會疑惑，那么如果權重w不變，僅改變偏置項b，會發生什么呢？參見上圖，分析偏置項b對于輸出函式y的影響：

• 如果我們令w=1，并且我們的偏置項b取值為-5，則我們的輸出 y = 1 1 + e ? ( x ? 5 ) \mathbf{y}=\frac{1}{1+\mathbf{e}^{-\left( \mathbf{x}-5 \right)}} y=1+e?(x?5)1?，此時的輸出函式y=0.5的分界位置向右發生了移動，
• 如果我們令w=1，并且我們的偏置項b取值為5，則我們的輸出 y = 1 1 + e ? ( x + 5 ) \mathbf{y}=\frac{1}{1+\mathbf{e}^{-\left( \mathbf{x}+5 \right)}} y=1+e?(x+5)1?，此時的輸出函式y=0.5的分界位置向左發生了移動，
• 但是，輸出函式y的坡度卻未發生任何變化，由此，我們得到一個結論：在w=1的情況下，我們通過改變偏置項b能夠改變輸出函式y=0.5的分界位置，

綜上所述，我們得到了w和b對輸出函式y影響關系的終極奧義o(▼皿▼メ;)o！

• 改變權重引數w，即改變輸出函式y的坡度（“平緩”/“陡峭”）；改變偏置項b，即改變輸出函式y=0.5的分界位置，
• 如果通過改變權重引數w和偏置項b，那么我們的輸出函式y就在x-y函式空間內“移動”了起來！

上面分析的是一個最初級神經網路的非線性擬合變化情況，那么如果兩個及多個這樣的初級神經元結構會是什么樣子呢？

這里，我們給出了兩個初級神經網路輸入層結構的圖示以及它們的輸出函式影像：

那么問題來了，它們復合成多層更加復雜的神經網路結構會是什么樣子呢？

此時，我們能夠看到上面黑色的曲線，已經復合成了一個比較復雜的函式影像，那么它對應的表達能力來說，也是更強的，當我們的網路結構足夠復雜的時候，我們的函式影像將會迎來它的表達能力的“巔峰”，如下圖所示，

• 假如我們采用閾值分類的方法，則輸入x，我們會得到以下情況：

  -1<y=φ(x)<=-0.3，則x的分類結果為c=1，

  -0.3<y=φ(x)<=0.1，則x的分類結果為c=2，

  y=φ(x)>0.1，則x的分類結果為c=3，

• 或者sigmoid這種分類方法的話，根據設定閾值分類即可，

• 如果采用softmax也是同理，只需要針對其中某一個類別對應神經元的輸出，計算出 y j = φ ( x j ) ∑ j = 1 φ ( x j ) \mathbf{y}_{\mathbf{j}}=\frac{\mathbf{\varphi }\left( \mathbf{x}_{\mathbf{j}} \right)}{\sum_{\mathbf{j}=1}{\mathbf{\varphi }\left( \mathbf{x}_{\mathbf{j}} \right)}} yj?=∑j=1?φ(xj?)φ(xj?)?，然后根據排序或者設定閾值分類即可，