作者|dhwani mehta
編譯|Flin
來源|medium
影像風格化是近幾十年來研究的一種影像處理技術，本文旨在展示一種高效新穎的風格注意力網路（SANet）方法，在平衡全域和區域風格模式的同時，保留內容結構，合成高質量的風格化影像，
風格遷移機制概述
有沒有想象過如果由杰出的藝術家來制作照片，照片看起來會怎樣？任意風格遷移通過將內容影像（目標影像）與風格影像（其紋理即畫筆描邊，角度幾何形狀，圖案，顏色過渡等需要繪制到內容影像的影像）混合，從而將其變為現實，以生成第三幅從未見過的影像，
新穎的SANet風格遷移方法
任意風格遷移的最終目標是實作概括性，并保持質量和效率，
在平衡全域和區域風格模式以及由于以下原因而保留內容結構：
-
使用學習的相似性內核而不是固定的內核
-
使用基于軟注意力的網路代替硬注意力進行風格裝飾
-
在訓練程序中避免失去特征，以保持內容結構而又不損失風格的豐富性
使用SANet進行任意風格遷移的構建塊
整個風格遷移機制可以總結如下：
讓我們逐步了解整個體系結構，最后獲得全方位的概覽，
全面的SANet架構
讓我們嘗試解開整個架構，以更好地了解：
-
編碼器解碼器模塊
-
風格注意力模塊
-
損失函式的計算
編碼器-解碼器模塊
解決風格遷移問題的最重要步驟是編碼器-解碼器機制，預訓練的VGG-19網路對一個影像進行編碼，形成一個表示形式，然后傳遞給解碼器，該解碼器嘗試將原始輸入影像重新構造回去，
風格注意力模塊
SANet體系結構將來自VGG-19編碼器的內容和風格影像的輸入作為特征圖，并對其進行規范化后，轉換為特征空間，以計算內容和風格特征圖之間的關注度，
損失函式的計算
預訓練的VGG-19用于計算損失函式，以便按以下方式訓練解碼器：
完整的損失計算公式
關于內容和風格損失計算的一個構想：
SANet中內容和風格損失組件的計算概述
特征損失的計算
由于具有新穎的特征損失功能，SANet體系結構能夠保留內容結構并豐富樣式模式，
SANet中特征損失計算的概述
計算相同輸入影像在沒有任何風格空白的情況下的損失，使得特征損失同時實作內容結構和風格特征的維護，
結論與結果
實驗顯然表明，使用SANet進行風格遷移所獲得的結果將決議各種風格，
例如全域顏色分布，紋理和區域風格，同時保持內容的結構，同樣，SANet在區分內容結構和與每個語意內容相對應的遷移風格方面也很有用，因此可以推斷出，SANet不僅在保持內容結構方面很有效，而且在保留風格結構特征方面也很有效，并且可以輕松地融合風格特征，從而豐富了全域風格和區域風格統計資訊，
參考文獻
[1]樸大英和李光熙，“通過關注風格的網路進行任意風格的遷移，” IEEE計算機視覺與模式識別會議論文集，2019，
- https://openaccess.thecvf.com/content_CVPR_2019/papers/Park_Arbitrary_Style_Transfer_With_Style-Attentional_Networks_CVPR_2019_paper.pdf
[2] Gatys，Leon A.，Alexander S. Ecker和Matthias Bethge，“使用卷積神經網路進行影像風格遷移，” IEEE計算機視覺和模式識別會議論文集，2016，
- https://openaccess.thecvf.com/content_cvpr_2016/papers/Gatys_Image_Style_Transfer_CVPR_2016_paper.pdf
[3] Huang，Xun和Serge Belongie，“通過自適應實體標準化實時進行任意風格遷移，” IEEE國際計算機視徑訓議論文集，2017，
- https://openaccess.thecvf.com/content_ICCV_2017/papers/Huang_Arbitrary_Style_Transfer_ICCV_2017_paper.pdf
[4]李一軍，等，“通過特征轉換實作通用風格遷移，” 神經資訊處理系統的研究進展，2017，
- http://papers.nips.cc/paper/6642-universal-style-transfer-via-feature-transforms.pdf
[5]盛路，等，“頭像網：通過特征裝飾進行多尺度零鏡頭風格轉移，” IEEE計算機視覺與模式識別會議論文集，2018，
- https://openaccess.thecvf.com/content_cvpr_2018/papers/Sheng_Avatar-Net_Multi-Scale_Zero-Shot_CVPR_2018_paper.pdf
原文鏈接：https://medium.com/visionwizard/insight-on-style-attentional-networks-for-arbitrary-style-transfer-ade42e551dce
歡迎關注磐創AI博客站：
http://panchuang.net/
sklearn機器學習中文官方檔案：
http://sklearn123.com/
歡迎關注磐創博客資源匯總站：
http://docs.panchuang.net/
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/206082.html
標籤：其他