BP 演算法
這是第一次嘗試在csdn上寫blog，主要是因為我也是剛剛接觸人工智能，各方面都在摸索中，所以想通過這種方式以講代學，這篇blog內有很多不足之處，希望各路大佬能夠海涵
預備知識
在開始之前，首先需要補充一點預備知識，
1. 激活函式sigmoid函式：
sigmoid 函式是人工智能神經網路中最常使用的一類激活函式，其數學運算式為：
sigmoid函式有一個重要的性質：f’(x) = f(x)[1-f(x)],這個性質在我們求導的程序中起了很大的作用，
2. 梯度下降策略
其中，學習率一塔我們設定為0.5
接下來我們進入正題，BP演算法總共分為兩個部分，第一個部分是FP（前饋計算計算誤差）程序，我們用來計算誤差；第二個部分是BP（反饋計算更新權重），我們用來更新權重W；
一、 FP程序
想必大家都已經了解到神經網路的結構，這里我就不做過多的解釋了，其中l1, l2是這個神經網路的輸入層，h1,h2,h3是這里的隱藏層，O1,O2是我這個神經網路的輸出層，其中w表示權重，b表示偏置項（b可以理解為一次函式中的y = kx + b 中的常數項，在這里我們取b1 = 0.35, b2 = 0.65,其實 b1, b2 我們可以取任意值，在此不影響結論），
為了方便更直觀的解釋，我們來設定一下權重值和偏置項的值：
下面我們就來進行前饋計算：
首先我們以h1為例：
在此，我要補充一個知識：
一個神經元節點，它分為兩個部分，如圖所示：
左邊一部分是我們的輸入值，我們稱之為net(h1),net(h1)經過sigmoid函式激活之后，我們可以得到Out(h1)這就是我們隱藏層的一個輸出結果，
下面我們來進行計算h1的誤差：
net(h1) = w1 * l1 + w2 * l2 + b1=2.35
(你可以發現, h1是由w1和w2 連接而成的)
然后,經過sigmoid函式激活之后我們可以得到,
Out(h1) = sigmoid(net(h1))=0.912934
同理，可得：
Out(h2) = 0.979164
Out(h3) = 0.995275
有了這三個數值，我們可以算出輸出層O1,O2的誤差：
net(O1)= W7 * Outh1 + W9 * Outh1 + W11 * Outh3 + b2 = 2.1019206
經過sigmoid函式激活之后，我們可以得到：
Outh1 = sigmoid(neth1) = 0.891090
同理，可得：
Out h2 = 0.904330
然后，我們可以得到總誤差，這里我們記作Etotal(這里我們將Out h1, Out h2 簡稱為 O1， O2):
這里的1/2是為了后面反饋計算方便而添加的，
到此為止，我們已經完成了前饋計算，并且算出了總誤差值，
二、 BP程序
(1).更新（hidden layer ----- Output layer）
這里的BP程序，我們是用來更新W的值，使預測結果更加精確，在此，我們以W7為例，
這里我們需要用到高等數學里的鏈式法則，W7與下列因素相關：
根據鏈式法則，我們可得：
其中，等式右邊第一項等于：
第二項等于：
第三項等于：
所以，我們可以得到總式：
最后，我們求得w7的更新結果：
同理，我們可得：
(w1-w6 求解方法見下)
(2).更新（Input layer ----hidden layer）
這里我們以w1 為例：
這里還是應用高等數學里的鏈式法則，w1與下列因素有關：
所以，我們得到求導公式：
這里以Eo1對Outh1的求導為例：
同理可得Eo2對h1的求導公式：
所以我們求得更新后的w1的值：
同理可得（w1 - w6）：
至此，w的權重值已完成一次迭代周期，事實上，要想預估的更準確，我們需要上百次甚至上千次的迭代，直至我們權重最終的更新值影像對于實際值收斂，
代碼實作：
總結：
bp演算法在我們現實中有很多應用，比如，根據某一商店的去年的銷量，我們可以來預測今年的銷量······我這里只做了簡單的演算法的數學推算，有許多不足之處，希望大家指正，
**最后：我要鳴謝b站
東方耀888
大佬，感謝大佬，有很多知識都是走他那邊學習的！！
最后的最后： 感謝各位讀者能耐心看完鄙人的文章！！萬分感謝！！🙏**
轉載請註明出處，本文鏈接：https://www.uj5u.com/qianduan/13085.html
標籤：其他
上一篇：Python之 sklearn：sklearn中的RobustScaler 函式的簡介及使用方法之詳細攻略
下一篇：使用2D卷積技術進行時間序列預測