目錄
導語
聚焦GANs
訓練GANs：雙人游戲
GANs的卷積神經網路架構
一些有趣的例子
生成模型的分類
總結
導語
除卻變分自編碼器VAE（Variational Auto-Encoder）, 生成對抗網路GAN(Generative Adversarial Networks)同樣也是一種生成模型（Generative Model），
VAE中比較惡心的是隱變數z的求解，我們通常使用以下公式生成隱變數z的概率分布，通常假設p(z)服從標準正態分布（引數和
可調整），
VAE的問題就在于我們無法對其進行直接優化， 而是根據可能性推導和優化下限（相關博文后面會更新，詳細推導VAE的整個程序），
在VAE中，我們是通過假設隱變數z的概率密度，這是一種顯式的概率密度建模方法，那我們為什么不直接強化采樣能力呢？
于是乎，天降正義，GAN出現了！它不需要任何顯式的概率密度函式！相反，它采用了一種類似博弈論的手段，即通過雙人游戲來生成資料，
聚焦GANs
我們暫時先不解釋這個雙人游戲的定義，我們先來看GAN它解決了什么問題，
問題：在實戰或者工程領域，機器學習工程師們往往需要從非常復雜，維度非常高的訓練分布中做資料采樣，但是這是一個非常困難的事情，
解決方案：我們可以首先從一個簡單的分布（比如高斯噪聲）中進行采樣（類似于Importance Sampling中引入的Proposal Distribution），然后我們通過訓練，訓練出一個可以將簡單分布轉換為復雜分布的轉換器（生成器網路），
訓練GANs：雙人游戲
這個雙人游戲有兩位玩家構成：
- 生成器網路（Generative Network）：生成逼真的假圖片去試圖欺騙判別器
- 判別器網路（Discriminator Network）：試圖判別真圖片和假圖片，把真圖片判為真，假圖片判為假，
具體流程可見下圖：
如上圖所示，生成器網路在接受隨機噪聲z后生成了相應的仿真偽圖片（Fake Image），假圖片與訓練集中的真圖片一道作為判別器網路的輸入，最后判別器會輸出圖片的真偽資訊，
那么，使用數學公式來表達上述程序即為：
上圖公式即，
需要找到判別器引數，使得中括號中的公式取得極大值；
同時，需要找到生成器引數，使得中括號中的公式取得極小值，
判別器（Discriminator）對真實圖片的判別的輸出介于（0，1）之間
因此，對于判別器Discriminator()，我們希望使得
接近1（將真實的圖片判為真），同時希望
接近0（將假圖片判為假），
對于生成器Generator()，我們希望
接近1（將假圖片判為真），
那么，我們可以將上圖公式替換成兩個子任務，即：
1. 判別器目標函式（梯度上升）（如下圖）
2. 生成器目標函式（梯度下降）（如下圖）
但在具體實踐程序中，我們發現這種梯度下降生成器目標函式優化效果并不是很好，原因在于，當生成器能力并不是很強也就是生成的樣本還非常假的時候，我們非常想要去優化它，但此時這一區域的梯度太過平整，也就意味著優化速度非常非常慢，但是當生成器已經具備很好的生成以假亂真的圖片時，梯度倒好起來了，
為解決這個問題，我們將生成器目標函式等價地修改為
等價于最大化判別器將假圖片判為真的概率，
比較修改前后的生成器目標函式，很明顯，紅線的更好，
那么我們可以將以上程序再轉換為偽代碼的形式：
后續博客中會給大家帶來Wasserstein GAN的介紹，
GANs的卷積神經網路架構
- 生成器是具有分數步（可以是非整數步）的卷積的上采樣網路
- 鑒別器是一個卷積網路
- 對于判別器而言，將所有池化層替換為strided卷積；對于生成器而言，將所有池化層替換為fractional-strided（分數步）卷積
- 在生成器和判別器中都使用batchnorm
- 移除所有深層結構中的隱層全連接層
- 除去輸出層使用Tanh以外，生成器的其他層全都使用ReLU作為激活函式
- 判別器的所有函式都是用LeakyReLU作為激活函式
GANs生成器的卷積神經網路架構如下圖所示
一些有趣的例子
生成模型的分類
總結
最后，再總結一下三種常見的生成模型
- PixelRNN 和 PixelCNN： 顯式概率密度模型，有較好的優化性能和采樣能力，但是順序生成效率低下，
- 變分自編碼器（VAE）：顯式概率密度模型，優化likelihood的變分下限， 有用的latent representation以及inference queries， 但是采樣的質量并不是最好的，
- 生成對抗網路（GANs）：博弈論方法，最好的樣本！但是訓練起來可能很棘手且不穩定，沒有inference queries，
轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/282606.html
標籤：其他