**
梯度下降法公式推導
**
梯度下降法簡單的來說就是一種尋找最小值的點的方法，是機器學習和深度學習中常用的優化器，具體又可分為批量梯度下降（BGD）、隨機梯度下降（SGD）和小批量梯度下降（MBGD），本文不對這些問題做討論只是從數學角度來推導神經網路中的數學武器：梯度下降演算法，本文是在學習涌井良幸先生的”深度學習的數學”一書后的筆記，僅用作個人學習和復習，由于筆者也是初學，所以難免會有各種錯誤，望各位大佬批評指正，
首先以二維函式舉例：
對這個函式使用梯度下降法的實質就是求如何沿最快路徑下降到最小值，
第一步研究當x和y變化是的z的變化情況：
式2的近似公式為：
將式3用向量公式表示：
由向量內積公式有：
由于向量A和向量B方向相反所以必定存在一個正的微小常數η滿足下式：
式9即為二維函式的梯度下降法公式
將式9從二維推廣到多維：
引入哈密頓算子和位移向量：
這樣式10就變為了：
式13即為梯度下降法的通用公式，式中的η可以看作步長，在神經網路中即為學習率，
至此，簡單的梯度下降法公式推導完成，當然，本文還有許多其他東西未涉及到，只是簡單的數學推導，本文是我的第一篇博文，是一個分享，也是對自己學習的記錄，方便以后復習，后續也會繼續分享一些自己之前做的筆記和新學習的內容，同時我也計劃做一個專題，專門用來記錄在學習李航老師的“統計學習方法“一書程序中的體會和心得，歡迎大家持續關注和批評指正，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/99642.html
標籤：其他
上一篇：ROS機器人作業系統開源社區報告（2020年08月）
下一篇：【機器學習15】決策樹模型詳解