文章目錄
- 文字風格轉換cycle GAN做法
- 文字與語音和影像有所不同，不能合并做梯度下降和梯度上升了（不能微分）
- 無法微分問題的解決方法：
- ScratchGAN：把各式各樣用RL訓練生成器的tips都試了一遍
- 更多的轉換舉例：
- 文字的starGAN：style transformer
語音風格轉換：男聲變女聲
文字風格轉換cycle GAN做法
- 通常正負面的句子不成對出現，所以使用無監督學習的方法
- 要做這個任務：Cycle GAN
- 訓練一個discriminator識別器看很多正面的句子，學到識別正面的句子
- 用生成器把負面句子變正面，用識別器來識別是否變成了正面>
- 還需要一個reconstructor能把正面轉回負面句子，并最小化這個誤差
文字與語音和影像有所不同，不能合并做梯度下降和梯度上升了（不能微分）
- 文字的生成器通常是s2s
-
無法微分問題的解決方法：
- Gumbel-softmax（不常用，就是不可微變成可微）
-
Continuous input for discriminator（不常用，跳過無法微分的simple部分，有問題：學不到東西，只判斷是否獨熱編碼就確定結果了）
- Reinforcement learning（不能微分的東西就用reinforcement硬train，很難訓練，RL+GAN訓練難度非常大簡直就是災難）
ScratchGAN：把各式各樣用RL訓練生成器的tips都試了一遍
-
FED值越小越好
-
非常重要的一個SeqGAN-step，不用就訓練不起來
-
RL放在GAN里面為什么訓練這么困難：識別器要看生成器的完整輸出才能開始識別，對整體給出分數，就不知道是哪一部分有問題，所以要求生成器給每個生成步驟一個分數（三個方法MC search√，discriminator for partially decoded sequence，step-wise evaluation可以嘗試），就可以快速的修正引數，訓練出一個好結果
更多的轉換舉例：
Lample，et al.,ICLR 19 文字轉換可以做各式各樣有趣的應用
文字的starGAN：style transformer
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/291392.html
標籤：其他
上一篇：LabVIEW目標測量方法
下一篇：樹莓派寶塔部署hexo博客