雖然最近在少鏡頭影像風格化方面取得了進展，但這些方法未能捕捉到人類顯而易見的風格細節， 眼睛的形狀、線條的粗細等細節對于模型來說尤其難以學習，尤其是在有限的資料設定下，
在本文中，我們的目標是執行一次性影像風格化，以獲得正確的細節， 給定參考樣式影像，我們使用 GAN 反演近似配對真實資料，并使用該近似配對資料對預訓練的 StyleGAN 進行微調， 然后我們鼓勵 StyleGAN 進行泛化，以便將學習到的風格應用于所有其他影像，
論文：https://arxiv.org/pdf/2112.11641v1.pdf
代碼：https://colab.research.google.com/github/mchong6/JoJoGAN/blob/main/stylize.ipynb
方法
JoJoGAN 通過使用單個參考樣式影像對預訓練的 StyleGAN2 進行微調來作業，步驟如下：
- 我們通過 GAN 反轉參考風格影像 y 來準備近似配對訓練資料，給我們樣式代碼 w，它生成一個合理的對應真實人臉影像 x，
- 然后我們找到一個 W 族，它生成一個應該匹配的真實人臉影像 X 族參考風格影像 y，
形成對 (wi, y) 作為我們的配對訓練集， - 根據那些成對的訓練資料對 StyleGAN 進行微調，
- 使用微調的 StyleGAN 生成新樣本，
總結
雖然 JoJoGAN 允許簡單的一次性人臉風格化，但執行視頻推理是不切實際的，由于 GAN 反轉步驟，執行推理的一種直接方法是首先微調我們的JoJoGAN 并使用它為真實和風格化的人臉生成新的訓練資料集， 然后我們可以訓練一個以受監督的方式構建簡單的編碼器解碼器網路，并對其進行有效的推理，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/400413.html
標籤：其他
上一篇：【跨年博客/輕松向】Pytorch卷積神經網路影像識別
下一篇：【語意分割】初識U-Net