- 🥇 著作權: 本文由【墨理學AI】原創、在CSDN首發、如需轉載，請聯系博主
- ?? 如果文章對你有幫助、歡迎一鍵三連
- 🍖 該博文旨在大話影像修復，僅對該論文作業展開簡單引入
文章目錄
- 📔 基礎資訊
- 📕 環境搭建
- 📗 原始碼測驗
- 🟧 第一階段：Colorization
- 🟨 第二階段：Reconstruction
- 📘 該論文效果圖
- 🔴 目標移除
- 🔵 不規則 Mask 修復
- 🟣 用戶指導修復
- 🚀🚀 文末專欄推薦部分 🚀🚀
- ?? 人生苦短， 快和墨理一起學AI 💜
📔 基礎資訊
- Image Inpainting with External-internal Learning and Monochromic Bottleneck
- 具有外內學習和單色瓶頸的影像修復
- https://github.com/Tengfei-Wang/external-internal-inpainting
- https://arxiv.org/abs/2104.09068
摘要翻譯
盡管最近的修復方法已經證明了深度神經網路的顯著改進，但在填充缺失區域時，它們仍然存在諸如鈍結構和突然顏色之類的偽影， 為了解決這些問題，我們提出了一種具有單色瓶頸的外部內部修復方案，可幫助影像修復模型消除這些偽影， 在外部學習階段，我們重建單色空間中缺失的結構和細節以減少學習維度， 在內部學習階段，我們提出了一種新穎的內部顏色傳播方法，采用漸進式學習策略來恢復一致的顏色， 大量實驗表明，我們提出的方案有助于影像修復模型產生更多結構保留和視覺上引人注目的結果，
主要貢獻可以總結為：
- 據我們所知，我們是第一個將外部-內部學習方法引入深度影像修復的公司，它通過對大型資料集的訓練從外部學習語意知識，同時充分利用單個測驗影像的內部統計資料，
- 我們設計了一個漸進式內部影像著色網路，在我們的案例中實作了出色的著色性能，
- 我們將我們提出的方法推廣到幾個深度修復模型，并觀察到在多個資料集上的視覺質量和模型泛化能力方面的明顯改進，
- Conclusion
在本文中，我們提出了一種具有單色瓶頸的通用外部-內部學習修復方案，
它首先利用從大型資料集外部學習的語意知識重建單色，然后從單個測驗影像內部恢復顏色， 與以前的方法相比，我們的方法可以產生更連貫的結構和視覺上更協調的顏色，
大量實驗表明，我們的方法可以在幾個主干模型上定性和定量地穩定改進， 我們方法的主要限制是推理速度， 由于著色需要額外的階段，因此我們的方法比最先進的方法慢，
未來，我們計劃進一步加速著色程序，并將提議的方案擴展到其他低級視覺任務，如超解析度，
📕 環境搭建
依賴庫很簡潔
- Python 3.6
- Pytorch 1.6
- Numpy
pytorch 安裝 建議參考 – Linux下cuda10.0 安裝 Pytorch和Torchvision|簡記
conda create -n torch16 python=3.6.6
conda activate torch16
# CUDA 10.1
conda install pytorch==1.6.0 torchvision==0.7.0 cudatoolkit=10.1 -c pytorch
pip install pillow==5.2.0
pip install opencv-python
pip install scikit-image
pip install scipy
pip install thop
📗 原始碼測驗
當前，該代碼十分簡潔，參照 官方 readMe 直接運行即可
🟧 第一階段：Colorization
git clone https://github.com/Tengfei-Wang/external-internal-inpainting.git
cd external-internal-inpainting
conda activate torch16
Colorization 【著色方法測驗命令】
python main.py --img_path images/input2.png --gray_path images/gray2.png --mask_path images/mask2.png --pyramid_height 3
輸出如下
starting colorization. Scale 0
starting colorization. Scale 1
starting colorization. Scale 2
最佳效果如下
該階段原始碼分析如下
🟨 第二階段：Reconstruction
盲猜：這里的意思是，著色修復后的影像，替換其它 backbones【修復網路】的輸入，能夠取得更佳修復效果；官方暫未做進一步銜接說明，這里也就暫不具體展開測驗了；
點滴拙見，望大佬指點
📘 該論文效果圖
對影像修復詳細分類有興趣，可簡單參考如下博文
Image inpainting based on deep learning - A review【影像修復 2021 最新綜述】
🔴 目標移除
🔵 不規則 Mask 修復
這里莫名，提到了 交叉資料集評估 ？？？
直接理解：在 Places2 上訓練得到的模型，在 DTD 資料集 上測驗應用效果
🟣 用戶指導修復
🚀🚀 文末專欄推薦部分 🚀🚀
- 🎄如果感覺文章看完了不過癮，還想更進一步，那么可以來我的其他 專欄 看一下哦~
- ?? 影像風格轉換 —— 代碼環境搭建 實戰教程【關注即可閱】！
- 💜 影像修復-代碼環境搭建-知識總結 實戰教程 【據說還行】
- 💙 超分重建-代碼環境搭建-知識總結 解秘如何讓白月光更清晰【脫單神器】
- 💛 YOLO專欄，只有實戰，不講道理 影像分類【建議收藏】！
- 🎄 個人整理的 Cuda 系列 Linux 安裝教程【適合小白進階】
- 💜 ubuntu18給當前用戶安裝cuda11.2 圖文教程 | 配置cuDNN8.1 |
- 💜 Linux服務器下給當前用戶安裝自己的CUDA10.0
- 💜 Linux下cuda10.0安裝Pytorch和Torchvision
- 💜 Linux 可以安裝多個版本的Cuda 嗎 | 給我一臺新的服務器，我會怎么安排 Cuda
- 💜 查看CUDA和cuDNN的版本號
?? 人生苦短， 快和墨理一起學AI 💜
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/319619.html
標籤：AI
上一篇：Python 計算機視覺（四）—— OpenCV進行影像算數與邏輯運算
下一篇：R語言構建xgboost模型：基于葉子索引衍生出新的特征并進行獨熱編碼（one-hot encoding）之后構建新的模型、比較加入葉子索引特征的模型的分類性能提升