根據亞當的偽代碼：
我寫了一些代碼：
from matplotlib import pyplot as plt
import numpy as np
# np.random.seed(42)
num = 100
x = np.arange(num).tolist()
# The following 3 sets of g_list stand for 3 types of gradient changes:
# g_list = np.random.normal(0,1,num) # gradient direction changes frequently in positive and negtive
# g_list = x # gradient direction always positive and gradient value becomes larger gradually
g_list = [10 for _ in range(num)] # gradient direction always positive and gradient value always the same
m = 0
v = 0
beta_m = 0.9
beta_v = 0.999
m_list = []
v_list = []
for i in range(1,num 1):
g = g_list[i-1]
m = beta_m*m (1 - beta_m)*g
m = m/(1-beta_m**i)
v = beta_v*v (1 - beta_v)*(g**2)
v = v/(1-beta_v**i)
m_list.append(m)
v_list.append(np.sqrt(v))
mv = np.array(m_list)/(np.array(v_list) 0.001)
print("==>> mv: ", mv)
plt.plot(x, g_list, x, mv)
運行代碼，我得到以下情節：
對我來說，我認為是反直覺的，因為我認為當梯度方向始終為正，梯度值恒定時，學習率的系數（即 mv）應該接近 1，但mv我得到的第 100是 3.40488818e-70，幾乎接近于零。
如果我更改一些代碼：
# m = m/(1-beta_m**i)
if i == 1:
m = m/(1-beta_m**i)
# v = v/(1-beta_v**i)
if i == 1:
v = v/(1-beta_v**i)
我得到的結果是這樣的：
這更符合我的直覺。
有人可以告訴我上面的代碼是否正確，如果正確，是否符合您的直覺來獲得類似上面的內容？
uj5u.com熱心網友回復：
您的代碼實作幾乎就在那里，但您應該注意您的實作和演算法之間的一個區別是您錯誤地m/(1-beta_m**i)使用變數累積偏差校正項m。您應該為偏差校正分配一個單獨的變數m_hat。
這同樣適用于v：將偏差校正值分配給另一個變數，例如v_hat。
這樣做將避免在m和的累積中包含偏差校正v。
您的代碼可以保持不變，但更改偏差校正值的計算以及附加串列。如果你這樣做，你會得到你想要的結果。
for i in range(1,num 1):
g = g_list[i-1]
# calculate m and v
m = beta_m*m (1 - beta_m)*g
v = beta_v*v (1 - beta_v)*(g**2)
# assign bias corrected values to m_hat and v_hat respectively
m_hat = m/(1-beta_m**i)
v_hat = v/(1-beta_v**i)
# append to lists
m_list.append(m_hat)
v_list.append(np.sqrt(v_hat))
轉載請註明出處，本文鏈接：https://www.uj5u.com/caozuo/430104.html
上一篇：Pytorch代碼的Tensorflow實作：添加卷積層
下一篇：使用ImageDataGenerator,flow_from_dataframe時出錯，其中y_col是一個串列