***前言：***2017年GANs正如火如荼地發展，有CGANs、DCGANs等前輩珠玉在前，Pix2Pix GANs橫空出世，在多種多模態任務上有著亮眼的表現，并且首次把U-net結構帶到了深層次生成模型當中，非常有意義，本文用Pix2Pix GANs實作sketch-image這一跨模態任務，
encoder-decoder：多模態基礎
現在很多多模態的任務，都是基于encoder-decoder的結構，或者attention機制，作為多模態生成任務的鼻祖，pix2pix gan的生成器使用了encoder-decoder的機制，并在此基礎上，使用跳接層，改進成了一個Unet的結構，這應該是unet首次出現在生成任務中，
為什么要加入跳接層？輸入和輸出影像的外表面(surface appearance)應該不同而潛在的結構(underlying structure)應該相似，對于image translation的任務來說，輸入和輸出應該共享一些底層的資訊，因此使用Unet這種跳層連接(skip connection)的方法，
從此unet變成了一種很優秀的具有生成能力的神經網路，為后面diffusion models大規
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/435443.html
標籤：AI