多階段漸進式影像恢復 | 去雨、去噪、去模糊 | 有效教程（附原始碼）|【??CVPR 2021??】

• 🥇 著作權: 本文由【墨理學AI】原創、在CSDN首發、如需轉載，請聯系博主
• ?? 如果文章對你有幫助、歡迎一鍵三連

• 🍖 該博文旨在帶你了解如何使用深度學習進行影像恢復【去雨、去噪、去模糊】，【?? 基準測驗、實戰教程 ??】

📔 基礎資訊

一篇應用于【 去模糊、去雨、去噪 】的多階段漸進式影像恢復論文

• Multi-Stage Progressive Image Restoration (CVPR 2021)
• 多階段漸進式影像恢復
• https://arxiv.org/abs/2102.02808
• https://github.com/swz30/MPRNet

🔴 Abstract

影像恢復任務需要在恢復影像時在空間細節和高級背景關系資訊之間實作復雜的平衡，在本文中，我們提出了一種新穎的協同設計，可以最佳地平衡這些相互競爭的目標，我們的主要提議是一個多階段架構，它逐步學習退化輸入的恢復函式，從而將整個恢復程序分解為更易于管理的步驟，具體來說，我們的模型首先使用編碼器-解碼器架構學習背景關系特征，然后將它們與保留本地資訊的高解析度分支相結合，在每個階段，我們引入了一種新穎的每像素自適應設計，利用原位監督注意力來重新加權區域特征，這種多階段架構的一個關鍵要素是不同階段之間的資訊交換，為此，我們提出了一種雙向方法，其中資訊不僅從早期到后期按順序交換，而且特征處理塊之間也存在橫向連接以避免任何資訊丟失，由此產生的緊密互連的多階段架構稱為 MPRNet，在包括影像去雨、去模糊和去噪在內的一系列任務中，在十個資料集上提供了強大的性能提升，

🔵 The main contributions

• 一種新穎的多階段方法，能夠生成背景關系豐富且空間準確的輸出； 由于其多階段性質，我們的框架將具有挑戰性的影像恢復任務分解為子任務，以逐步恢復退化的影像
• 一個有效的監督注意力模塊，它在進一步傳播之前在每個階段充分利用恢復的影像來細化傳入的特征
• 跨階段聚合多尺度特征的策略
• 我們通過在 10 個合成和真實世界資料集上為各種恢復任務（包括影像去雨、去模糊和去噪）取得的優異效果來證明我們的 MPRNet 的有效性，同時保持低復雜度（見圖 1）， 此外，我們提供詳細的消融、定性結果和泛化測驗，

🟣 論文實驗資料集

Image Deblurring 【去模糊資料集】

• GoPro [53] dataset – 下載主頁
• 主頁詳情如下

Image Deraining 【去雨資料集】

• Rain14000 [23] Rain1800 [81] Rain800 [90] 【訓練】
• Rain100H [81], Rain100L [81], Test100 [90], Test2800 [23], and Test1200 [89] 【測驗】

Image Denoising 【去噪】

• SIDD dataset [1] – 主頁 ：https://www.eecs.yorku.ca/~kamel/sidd/dataset.php
• SIDD 測驗資料集 – 主頁：https://www.eecs.yorku.ca/~kamel/sidd/benchmark.php
• DND benchmark dataset [60] – Darmstadt Noise dataset – 主頁 ：http://noise.visinf.tu-darmstadt.de/benchmark/

🟡 Conclusion

在這項作業中，我們提出了一種多階段的影像恢復體系架構，通過在每個階段注入監督來逐步改善退化的輸入，我們為我們的設計制定指導原則，要求在多個階段進行互補的特征處理，并在它們之間進行靈活的資訊交換，為此，我們提出 contextually-enriched and spatially accurate stages ，對一組不同的特征進行統一編碼，為了確保互動階段之間的協同作用，我們提出了跨階段的特征融合和從早期階段到后期階段的注意力引導輸出交換，我們的模型在眾多基準資料集上取得了顯著的性能提升，此外，我們的模型在模型大小方面重量輕，在運行時方面效率高，這對于資源有限的設備來說非常有意義，

📕 環境搭建

• 服務器：ubuntu1~18.04 Quadro RTX 5000 16G
• CUDA版本 V10.0.130

基礎環境搭建如下

conda create -n torch11 python=3.7.5

conda activate torch11

pip install torch==1.1.0

pip install torchvision==0.3.0

## 或者（建議使用 conda 來安裝）
conda install pytorch==1.1.0 torchvision==0.3.0 cudatoolkit=10.0 -c pytorch

## 或者(根據你的 Cuda 版本來決定安裝命令)
conda install pytorch=1.1 torchvision=0.3 cudatoolkit=9.0 -c pytorch

pip install matplotlib scikit-image opencv-python yacs joblib natsort h5py tqdm

Install warmup scheduler 【必須步驟】

conda activate torch11

git clone https://github.com/swz30/MPRNet.git

cd MPRNet-main

cd pytorch-gradual-warmup-lr/

python setup.py install

輸出如下

running install
running bdist_egg
running egg_info

...
...

Installed /home/zql/anaconda3/envs/torch11/lib/python3.6/site-packages/warmup_scheduler-0.3-py3.6.egg
Processing dependencies for warmup-scheduler==0.3
Finished processing dependencies for warmup-scheduler==0.3

📗 預訓練模型和測驗資料

🟧 預訓練模型

🟨 設定測驗資料

• 去模糊：這里暫時使用 GOPRO_Large\test\GOPR0384_11_00 作為測驗資料，放置在
  samples/ 目錄下
• 去雨：Rain100H/
• 去模糊：高斯噪聲 和 脈沖噪聲 影像各一張 ，放置在 samples/noise/ 目錄下

• 專案，目錄結構如下

• 博文使用的測驗資料集，設定如下

📘 測驗

🔴 去模糊測驗

python demo.py --task Deblurring --input_dir ./samples/GOPR0384_11_00/blur --result_dir ./samples/output/

輸出如下

# GPU 占用 10209MiB

Files saved at ./samples/output/

輸入輸出對比效果

該去模糊影像和資料集中該測驗影像對應的清晰圖片對比【可見去模糊效果還不錯】

🔵 去雨測驗

cmd

python demo.py --task Deraining --input_dir ./samples/Rain100H/input/ --result_dir ./samples/Rain100H/output/

輸出如下

# GPU 占用 1461MiB

Files saved at ./samples/Rain100H/output/

輸入輸出對比效果

🟣 去噪測驗

python demo.py --task Denoising --input_dir ./samples/noise/ --result_dir ./samples/denoise

輸出如下

# GPU 占用 2087MiB

Files saved at ./samples/denoise

去噪聲效果如下

📙 博文運行代碼+模型+測驗資料分享

有序自取，感謝大佬三連

鏈接：https://pan.baidu.com/s/1A_ydYTxKL3qnRi1twxZ-6w 

提取碼：1018

🚀🚀 文末專欄推薦 🚀🚀

• 👋 如果感覺文章看完了不過癮，還想更進一步，那么可以來我的其他 專欄 看一下哦~

• ?? 影像風格轉換 —— 代碼環境搭建 實戰教程【關注即可閱】！
• 💜 影像修復-代碼環境搭建-知識總結 實戰教程 【據說還行】
• 💙 超分重建-代碼環境搭建-知識總結 解秘如何讓白月光更清晰【脫單神器】
• 💛 YOLO專欄，只有實戰，不講道理 目標檢測【建議收藏】！

• 🎻 個人整理的 Cuda 系列 Linux 安裝教程【適合小白進階】

• 💜 ubuntu18給當前用戶安裝cuda11.2 圖文教程 | 配置cuDNN8.1 |
• 💜 Linux服務器下給當前用戶安裝自己的CUDA10.0
• 💜 Linux下cuda10.0安裝Pytorch和Torchvision
• 💜 Linux 可以安裝多個版本的Cuda 嗎 | 給我一臺新的服務器，我會怎么安排 Cuda
• 💜 查看CUDA和cuDNN的版本號

• 🍖 深度學習、調參搬磚、開發利器【大佬必備】

• ?? VSCode遠程連接 Linux 服務器進行開發除錯 | C++遠程除錯 | Python遠程除錯 | VSCode 神器 ，你值得擁有
• ?? windows下 pycharm配置Linux服務器的 conda環境之最強指南 | 深度學習模型遠程除錯 | SFTP 同步傳輸 |

?? 人生苦短， 歡迎和墨理一起學AI 💜

上一秒的我信誓旦旦

夢醒，洗頭