梯度

一個多元函式的梯度方向是該函式值增大最陡的方向，具體化到1元函式中時，梯度方向首先是沿著曲線的切線的，然后取切線向上增長的方向為梯度方向，

比如說如果損失函式是一個二次函式那么最低點就是箭頭指向部分

也就是f’(x)=0的地方，無論從哪開始都能找到函式最低點，而真實的損失函式更像一個崎嶇的山坡

圖片來源于 https://www.youtube.com/watch?v=GkB4vW16QHI

2元或者多元函式中，梯度向量為函式值f對每個變數的導數，該向量的方向就是梯度的方向，當然向量的大小也就是梯度的大小，
已知Z=F(X,Y)，假設它的影像是這樣：

分別固定住x跟y求偏導

這時候我們需要對某一個點對x，y求偏導然后相加得到一個關于z的向量這個向量就是梯度，

梯度相反方向總是能帶著你找到山下也就是損失函式最小點

梯度下降

一個函式可微分，這個函式就代表著一座山，我們的目標就是找到這個函式的最小值，也就是山底，根據之前的場景假設，最快的下山的方式就是找到當前位置最陡峭的方向，然后沿著此方向向下走，對應到函式中，就是找到給定點的梯度 ，然后朝著梯度相反的方向，就能讓函式值下降的最快！因為梯度的方向就是函式之變化最快的方向，所以，我們重復利用這個方法，反復求取梯度，最后就能到達區域的最小值，這就類似于我們下山的程序，
梯度下降就是沿著梯度所指出的反方向一步一步找到損失函式最小值的地方

圖片來源于 https://zhuanlan.zhihu.com/p/36564434

那么問題就是如何找到下一個點 ,并保證 f(xt+1)<f(xt)呢？假設我們當前的函式f(x)形式是上圖的形狀，現在我們隨機找了一個初始的點 x1，對于一元函式來說，函式值只會隨著x 的變化而變化，那么我們就設計下一個 xt+1是從上一個 xt 沿著某一方向走一小步得到的，此處的關鍵問題就是：這一小步的方向是朝向哪里？
對于一元函式來說， x是會存在兩個方向：要么是正方向，要么是負方向這時候就需要用到我們的泰勒展開式
左邊就是當前的x移動一小步 之后的下一個點位，它近似等于右邊，前面我們說了關鍵問題是找到一個方向，使得
，那么根據上面的泰勒展式，顯然我們需要保證：

可選擇令：

其中步長a是一個較小的正數，從而：

由于任何不為0的數的平方均大于0因此保證了

從而，設定：

則可保證：

那么更新x 的計算方式就很簡單了，可按如下公式更新

這就是所謂的沿負梯度方向走一小步，到此為止，這就是梯度下降的全部原理，

隨機梯度下降

首先我們知道在我們平常使用的時候是不用標準的梯度下降演算法的，因為標準梯度下降演算法太難用了，他需要把所有的資料全都計算一遍非常浪費時間，計算量也是相當大的，我們現在計算機是做不到的，我們需要對這些演算法進行優化，比如我們要統計全國男性平均身高我們可以進行抽取一部分資料來進行統計，其實就是找出部分資料可以擺脫開樣本具體資料然后又可以代表整個樣本的整個數值，
那么隨機梯度下降法的精度如何呢，數學家已經證明在凸問題情況下不會快于

舉個例子對于下面這個式子

梯度下降法：

當n很大時，每次迭代計算所有的會非常耗時，隨機梯度下降的想法就是每次在中random選取一個計算代替如上的，以這個隨機選取的方向作為下降的方向，
由于 當選取step size =時演算法在期望的意義下收斂，注意wt在靠近w*的時候這也就導致演算法精準度比較低由于方差的存在，要使得演算法收斂，就需要隨著t逐漸減小因此導致函式即使在強凸且光滑的條件下，收斂速度也只有，
一個經典的例子就是假設你現在在山上，為了以最快的速度下山，且視線良好，你可以看清自己的位置以及所處位置的坡度，那么沿著坡向下走，最終你會走到山底，但是如果你被蒙上雙眼，那么你則只能憑借腳踩石頭的感覺判斷當前位置的坡度，精確性就大大下降，有時候你認為的坡，實際上可能并不是坡，走一段時間后發現沒有下山，或者曲曲折折走了好多路才能下山，而隨機梯度下降法就好比蒙著眼睛下山，

隨機梯度下降法由于不能保證隨機選擇的方向是損失函式減小的方向，更不能保證一定是減小速度最快的方向，所以搜索路徑就會呈現下圖的態勢，即隨機梯度下降有著不可預知性，

隨機梯度法缺點

每次迭代只是考慮讓該樣本點趨向最小，而不管其他的樣本點，這樣演算法會很快，但是收斂的程序會比較曲折，整體效果上，大多數時候它只能接近區域最優解，而無法真正達到區域最優解，選擇合適的learning rate比較困難，若設定過大，學習曲線將會劇烈震蕩，代價函式值通常會明顯增加；太小則學習程序會很緩慢，如果初始學習率太低，那么學習可能會卡在一個相當高的代價值，所以適合用于較大訓練集的case，

動量法

引數迭代，于是會產生問題，學習引數過小，模型很難到達最優點，而引數過大，某個引數會發散
動量法的提出就是為了應對這個問題 ，把歷史的資料也考慮進來，對引數的修改進行一些修正，
我們梯度下降法做一個修改如下：

相當于每次在進行引數更新的時候，都會將之前的速度考慮進來，每個引數在各方向上的移動幅度不僅取決于當前的梯度，還取決于過去各個梯度在各個方向上是否一致，如果一個梯度一直沿著當前方向進行更新，那么每次更新的幅度就越來越大，如果一個梯度在一個方向上不斷變化，那么其更新幅度就會被衰減，這樣我們就可以使用一個較大的學習率，使得收斂更快，同時梯度比較大的方向就會因為動量的關系每次更新的幅度減少，如下圖
比如我們的梯度每次都等于 g，而且方向都相同，那么動量法在該方向上使引數加速移動，有下面的公式：

如果我們把 γ \gammaγ 定為 0.9，那么更新幅度的峰值就是原本梯度乘學習率的 10 倍，

ADAM

融合一階動量和二階動量，因為當V_t和S_t一開始被初始化為 0 時，最初的幾步通常會偏向0，表示引數更新太慢，

他們使用偏差糾正系數，來修正一階矩和二階矩的偏差

ADAM優點

.對方向一致的引數能夠加速學習，對梯度改變方向的引數能夠減少其更新，因此就是momentum能夠在相關方向上加速學習，抑制振蕩，從而加速收斂，這樣在訓練初期，分母較小，學習率較大，學習比較快，后期時，學習會逐漸減慢，而且它適合于處理稀疏梯度，具有損失最大偏導的引數相應地有一個快速下降的學習率，而具有小偏導的引數在學習率上有相對較小的下降，.改進了Adagrad在深度學習中過早結束的問題，適用于處理非平穩，

這里是參考
https://www.bilibili.com/video/BV1r64y1s7fU?from=search&seid=16187041594558647991&spm_id_from=333.337.0.0
https://blog.csdn.net/zhouhong0284/article/details/80232412?utm_medium=distribute.pc_relevant.none-task-blog-2_defaultbaidujs_utm_term~default-1.no_search_link&spm=1001.2101.3001.4242.2&utm_relevant_index=3
https://www.youtube.com/watch?v=GkB4vW16QHI
https://zhuanlan.zhihu.com/p/36564434
https://blog.csdn.net/qq_44614524/article/details/114241259

總結

以上就是今天要講的內容，本文僅僅簡單介紹了梯度，梯度下降，隨機梯度下降(SGD)，動量法，ADAM的概念歡迎大家一起學習一塊交流！