基于深度學習的影像重照明實踐學習筆記_2
- 專案摘要
- 專案任務是什么？
- 解決這個任務的基本模型架構是怎樣的？
- 使用什么資料訓練模型？
- 模型如何設計？
- 冠軍模型：Wavelet Decomposed RelightNet (WDRN)
- 經典模型：Norm-Relighting-U-Net (NRUNet)
- Deep Residual Network for Image Relighting (DRNIR)
- Self-Attention AutoEncoder (SA-AE)
- Norm-Relighting-U-Net (NRUNet)
- Deep Residual Network for Image Relighting (DRNIR)
- 模型效果如何評價？
- 就One-to-one問題而言
- 其他一些問題
- 專案代碼如何寫？
- 專案有實際應用場景嗎？
- 更多相關學習資源獲取
專案摘要
專案任務是什么？
One-to-one Relighting：目標是將輸入影像從一組預定義
的照明設定（即北，6500K）轉換為另一組預定義的照明
設定（東，4500K），影像的解析度為1024×1024，包括
輸入和輸出，僅提供輸入影像，
解決這個任務的基本模型架構是怎樣的？
大體上來說，將輸入圖片放入我們的“黑盒”中從而得到輸出圖片，而這個“黑盒”就是我們所使用的模型（Neural Network）,"黑盒"中則有著大量的引數需要我們去通過輸入輸出進行調整（W1，W2等），這也就是我們所常說的模型訓練程序，
至于這里我們所說的“黑盒”內部的具體細節，也將在后面的課程中進行詳細的講述，
使用什么資料訓練模型？
本次專案我們使用的資料為VIDIT（Virtual Image Dataset for Illumination Transfer），是一種專門進行光源變換訓練的資料集，
- 其包含390個不同的場景（這些場景都是來源于虛幻引擎），每個場景采集40張圖片（即40種不同的光照設定），
- 40中不同的關照設定由5種不同的色溫和8個光照方向組合而來（就該任務而言，采用點光源的影像更容易實作一些），
- 該資料集在GitHub上是開源的，
- 其訓練集有300張，驗證集與測驗集都為45張，而專案的最終評測效果也就是看模型在這45張測驗集上的測驗效果（測驗集我們自身是拿不到ground truth的），
模型如何設計？
冠軍模型：Wavelet Decomposed RelightNet (WDRN)
注：IDWT為DWT的逆變換
（網路的具體內部解說會在第四次課程中結合論文詳細說明）
經典模型：Norm-Relighting-U-Net (NRUNet)
梯形可以理解為神經網路的降維或者升維，
Deep Residual Network for Image Relighting (DRNIR)
Self-Attention AutoEncoder (SA-AE)
該網路屬于賽道三的網路，屬于Any-to-any型別
Norm-Relighting-U-Net (NRUNet)
該網路同樣屬于賽道三的網路，屬于Any-to-any型別
Deep Residual Network for Image Relighting (DRNIR)
該網路同樣屬于賽道三的網路，屬于Any-to-any型別
模型效果如何評價？
就One-to-one問題而言
在刷榜期間使用的是PSNR和SSIM指標進行評判，而在評判冠亞軍時所采用的是MPS（Mean Perceptual Score）指標，即主觀評價指標——人為進行打分，再將其標準化SSIM和LPIPS得分的平均，
（上述值都應該越大越好）
相關論文推薦：The Unreasonable Effectiveness of Deep Features as a Perceptual Metric
網路核心為獲取不同層級的特征，相同層級的特征做減法最后計算距離，
其他一些問題
專案代碼如何寫？
對初學者而言，強烈建議先抄寫官方代碼，
專案有實際應用場景嗎？
-
三維人臉建模
-
照片補光
-
將真實建筑物3D化并改變光影效果
更多相關學習資源獲取
第二次課程直播回放鏈接：https://www.bilibili.com/video/BV1Ch4112734
轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/250662.html
標籤：其他
上一篇：三層架構實驗