作者|Emrick Sinitambirivoutin
編譯|VK
來源|Towards Data Science
訓練學習系統的一個主要假設是在整個訓練程序中輸入的分布保持不變，對于簡單地將輸入資料映射到某些適當輸出的線性模型，這種條件總是滿足的，但在處理由多層疊加而成的神經網路時，情況就不一樣了，
在這樣的體系結構中，每一層的輸入都受到前面所有層的引數的影響(隨著網路變得更深，對網路引數的小變化會被放大)，因此，在一層內的反向傳播步驟中所做的一個小的變化可以產生另一層的輸入的一個巨大的變化，并在最后改變特征映射分布，在訓練程序中，每一層都需要不斷地適應前一層得到的新分布，這就減慢了收斂速度，
批標準化克服了這一問題，同時通過減少訓練程序中內層的協方差移位(由于訓練程序中網路引數的變化而導致的網路激活分布的變化)
本文將討論以下內容
- 批標準化如何減少內部協方差移位，如何改進神經網路的訓練，
- 如何在PyTorch中實作批標準化層，
- 一些簡單的實驗顯示了使用批標準化的優點，
減少內部協方差移位
減少消除神經網路內部協方差移位的不良影響的一種方法是對層輸入進行歸一化，這個操作不僅使輸入具有相同的分布，而且還使每個輸入都白化(白化是對原始資料x實作一種變換，變換成x_Whitened，使x_Whitened的協方差矩陣的為單位陣，)，該方法是由一些研究提出的，這些研究表明，如果對網路的輸入進行白化，則網路訓練收斂得更快，因此，增強各層輸入的白化是網路的一個理想特性，
然而，每一層輸入的完全白化是昂貴的，并且不是完全可微的，批標準化通過考慮兩個假設克服了這個問題:
- 我們將獨立地對每個標量特征進行歸一化(通過設定均值為0和方差為1)，而不是對層的輸入和輸出的特征進行白化，
- 我們不使用整個資料集來進行標準化，而是使用mini-batch，每個mini-batch生成每個激活層的平均值和方差的估計值，
對于具有d維輸入的層x = (x1, x2, ..xd)我們得到了以下公式的歸一化(對batch B的期望和方差進行計算):
然而，簡單地標準化一個層的每個輸入可能會改變層所能表示的內容，例如，對一個sigmoid的輸入進行歸一化會將其約束到非線性的線性狀態，這樣的行為對網路來說是不可取的，因為它會降低其非線性的能力(它將成為相當于一個單層網路)，
為了解決這個問題，批標準化還確保插入到網路中的轉換可以表示單位轉換（模型仍然在每個層學習一些引數，這些引數在沒有線性映射的情況下調整從上一層接收到的激活），這是通過引入一對可學習引數gamma_k和beta_k來實作的，這兩個引數根據模型學習的內容縮放和移動標準化值，
最后，得到的層的輸入(基于前一層的輸出x)為:
批標準化演算法
訓練時
全連接層
全連接層的實作非常簡單，我們只需要得到每個批次的均值和方差，然后用之前給出的alpha和beata引數來縮放和移動，
在反向傳播期間，我們將使用反向傳播來更新這兩個引數，
mean = torch.mean(X, axis=0)
variance = torch.mean((X-mean)**2, axis=0)
X_hat = (X-mean) * 1.0 /torch.sqrt(variance + eps)
out = gamma * X_hat + beta
卷積層
卷積層的實作幾乎與以前一樣，我們只需要執行一些改造，以適應我們從上一層獲得的輸入結構，
N, C, H, W = X.shape
mean = torch.mean(X, axis = (0, 2, 3))
variance = torch.mean((X - mean.reshape((1, C, 1, 1))) ** 2, axis=(0, 2, 3))
X_hat = (X - mean.reshape((1, C, 1, 1))) * 1.0 / torch.sqrt(variance.reshape((1, C, 1, 1)) + eps)
out = gamma.reshape((1, C, 1, 1)) * X_hat + beta.reshape((1, C, 1, 1))
在PyTorch中，反向傳播非常容易處理，這里的一件重要事情是指定alpha和beta是在反向傳播階段更新它們的引數，
為此，我們將在層中將它們宣告為nn.Parameter()，并使用隨機值初始化它們，
推理時
在推理程序中，我們希望網路的輸出只依賴于輸入，因此我們不能考慮之前考慮的批的統計資料(它們與批相關，因此它們根據資料而變化)，為了確保我們有一個固定的期望和方差，我們需要使用整個資料集來計算這些值，而不是只考慮批，然而，就時間和計算而言，為所有資料集計算這些統計資訊是相當昂貴的，
論文中提出的方法是使用我們在訓練期間計算的滑動統計，我們使用引數beta(動量)調整當前批次計算的期望的重要性:
該滑動平均線存盤在一個全域變數中，該全域變數在訓練階段更新，
為了在訓練期間將這個滑動平均線存盤在我們的層中，我們可以使用緩沖區，當我們使用PyTorch的register_buffer()方法實體化我們的層時，我們將初始化這些緩沖區，
最后一個模塊
然后，最后一個模塊由前面描述的所有塊組成，我們在輸入資料的形狀上添加一個條件，以了解我們處理的是全連接層還是卷積層，
這里需要注意的一件重要事情是，我們只需要實作forward()方法，因為我們的類繼承自nn.Module,我們就可以自動得到backward()函式，
class CustomBatchNorm(nn.Module):
def __init__(self, in_size, momentum=0.9, eps = 1e-5):
super(CustomBatchNorm, self).__init__()
self.momentum = momentum
self.insize = in_size
self.eps = eps
U = uniform.Uniform(torch.tensor([0.0]), torch.tensor([1.0]))
self.gamma = nn.Parameter(U.sample(torch.Size([self.insize])).view(self.insize))
self.beta = nn.Parameter(torch.zeros(self.insize))
self.register_buffer('running_mean', torch.zeros(self.insize))
self.register_buffer('running_var', torch.ones(self.insize))
self.running_mean.zero_()
self.running_var.fill_(1)
def forward(self, input):
X = input
if len(X.shape) not in (2, 4):
raise ValueError("only support dense or 2dconv")
#全連接層
elif len(X.shape) == 2:
if self.training:
mean = torch.mean(X, axis=0)
variance = torch.mean((X-mean)**2, axis=0)
self.running_mean = (self.momentum * self.running_mean) + (1.0-self.momentum) * mean
self.running_var = (self.momentum * self.running_var) + (1.0-self.momentum) * (input.shape[0]/(input.shape[0]-1)*variance)
else:
mean = self.running_mean
variance = self.running_var
X_hat = (X-mean) * 1.0 /torch.sqrt(variance + self.eps)
out = self.gamma * X_hat + self.beta
# 卷積層
elif len(X.shape) == 4:
if self.training:
N, C, H, W = X.shape
mean = torch.mean(X, axis = (0, 2, 3))
variance = torch.mean((X - mean.reshape((1, C, 1, 1))) ** 2, axis=(0, 2, 3))
self.running_mean = (self.momentum * self.running_mean) + (1.0-self.momentum) * mean
self.running_var = (self.momentum * self.running_var) + (1.0-self.momentum) * (input.shape[0]/(input.shape[0]-1)*variance)
else:
mean = self.running_mean
var = self.running_var
X_hat = (X - mean.reshape((1, C, 1, 1))) * 1.0 / torch.sqrt(variance.reshape((1, C, 1, 1)) + self.eps)
out = self.gamma.reshape((1, C, 1, 1)) * X_hat + self.beta.reshape((1, C, 1, 1))
return out
實驗MNIST
為了觀察批處理歸一化對訓練的影響，我們可以比較沒有批處理歸一化的簡單神經網路和有批處理歸一化的神經網路的收斂速度，
為了簡單起見，我們在MNIST資料集上訓練這兩個簡單的全連接網路，不進行預處理(只應用資料標準化)，
沒有批標準化的網路架構
class SimpleNet(nn.Module):
def __init__(self):
super(SimpleNet, self).__init__()
self.classifier = nn.Sequential(
nn.Linear(28 * 28, 64),
nn.ReLU(),
nn.Linear(64, 128),
nn.ReLU(),
nn.Linear(128, 10)
)
def forward(self, x):
x = x.view(x.size(0), -1)
x = self.classifier(x)
return x
有批標準化的網路架構
class SimpleNetBN(nn.Module):
def __init__(self):
super(SimpleNetBN, self).__init__()
self.classifier = nn.Sequential(
nn.Linear(28 * 28, 64),
CustomBatchNorm(64),
nn.ReLU(),
nn.Linear(64, 128),
CustomBatchNorm(128),
nn.ReLU(),
nn.Linear(128, 10)
)
def forward(self, x):
x = x.view(x.size(0), -1)
x = self.classifier(x)
return x
結果
下圖顯示了在我們的SimpleNet的第一層之后獲得的激活的分布，我們可以看到，即使經過20個epoch，分布仍然是高斯分布(在訓練程序中學習到的小尺度和移位)，
我們也可以看到收斂速度方面的巨大進步，綠色曲線(帶有批標準化)表明，我們可以更快地收斂到具有批標準化的最優解，
實驗結果詳見(https://github.com/sinitame/neuralnetworks-ents/blob/master/batch_normalization/batch_normaliz.ipynb)
結論
使用批標準化進行訓練的優點
- 一個mini-batch處理的損失梯度是對訓練集的梯度的估計，訓練的質量隨著批處理大小的增加而提高，
- 由于gpu提供的并行性，批處理大小上的計算要比單個示例的多次計算效率高得多，
- 在每一層使用批處理歸一化來減少內部方差的移位，大大提高了網路的學習效率，
原文鏈接：https://towardsdatascience.com/understanding-batch-normalization-for-neural-networks-1cd269786fa6
歡迎關注磐創AI博客站：
http://panchuang.net/
sklearn機器學習中文官方檔案：
http://sklearn123.com/
歡迎關注磐創博客資源匯總站：
http://docs.panchuang.net/
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/21514.html
標籤：其他