Bringing-Old-Photos-Back-to-Life專案簡介

??最近在公眾號看到有關Bringing-Old-Photos-Back-to-Life的內容，覺得很有意思，可以將模糊的，褶皺的照片相應的還原，
重拾舊時光的回憶，所以自己嘗試一下，

??這個開源的專案在github上可以找到，這里給出專案地址Bringing-Old-Photos-Back-to-Life，這個專案是有關于模糊，褶皺照片的修復的演算法，是基于2020微軟最新的一篇CPVR的文章，原理簡單來說就是用變分自動編碼機（VAE）將影像變換到隱藏空間，并在隱空間進行影像恢復操作
，

Bringing-Old-Photos-Back-to-Life專案資源下載與配置

??該專案包含了測驗訓練集和資源包，所以先下載該專案，專案地址
https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life
專案也依賴于Synchronized-BatchNorm-PyTorch，文章中也給出了我們配置教程，所以按照教程來配置即可，

??第一步，克隆專案，即下載壓縮包并解壓

git clone https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life.git

??第二步，配置環境，進入專案的目錄下

cd Face_Enhancement/models/networks
git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch
cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm .
cd ../../../

cd Global/detection_models
git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch
cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm .
cd ../../

然后下載相應的組件

cd Face_Detection/
wget http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2
bzip2 -d shape_predictor_68_face_landmarks.dat.bz2
cd ../

cd Face_Enhancement/
wget https://facevc.blob.core.windows.net/zhanbo/old_photo/pretrain/Face_Enhancement/checkpoints.zip
unzip checkpoints.zip
cd ../

cd Global/
wget https://facevc.blob.core.windows.net/zhanbo/old_photo/pretrain/Global/checkpoints.zip
unzip checkpoints.zip
cd ../

安裝依賴項

pip install -r requirements.txt

??更詳細的教程可以查看Colab中的內容，

Bringing-Old-Photos-Back-to-Life的使用和相關問題的解決

??對于沒有裂痕的圖片的修復可以是用這個代碼，進入專案檔案的目錄下

python run.py --input_folder [test_image_folder_path] \
              --output_folder [output_path] \
              --GPU 0

其中[test_image_folder_path]是想要修復的圖片的目錄地址，[output_path]是結果存放的地址，同時這些地址路徑要是絕對路徑，

??如果是有裂痕的圖片，代碼有所不同

python run.py --input_folder [test_image_folder_path] \
              --output_folder [output_path] \
              --GPU 0 \
              --with_scratch

??當然文章中給出的代碼我在實際運行的情況中還是會出現問題的，這里我對我遇到的問題和相應簡單的解決辦法進行介紹：

??在對沒有裂痕的圖片進行修復的時候出現
這里我們可以將Face_Enhancement \ test_face.py中的第40行的代碼img_name = img_path[b].split("/")[-1]改為img_name = os.path.split(img_path[b])[-1]問題可以解決，

??該演算法的運行實作對GPU的記憶體很挺高的要求，對于處理高像素的圖片，我出現過Skip當前圖片的提示，還有CUDA out of memory. Tried to allocate 78.00 MiB (GPU 0; 7.43 GiB total capacity; 6.42 GiB already allocated; 88.94 MiB free; 6.75 GiB reserved in total by PyTorch)這樣的報錯，主要問題還是記憶體處理不夠，GPU同時處理不了這些操作，為了簡單方便，所以我就從輸入上，將要處理的圖片的像素都先縮放至我電腦可以處理的像素要求，這樣可以使演算法相應的作業，

??對于處理沒有裂痕的圖片的操作，我們可以將Global \ test.py中的data_transforms函式中的

h = int(round(oh / 4)*4)
w = int(round(ow / 4)*4)

直接修改為我們想要輸入的圖片縮放成能處理的像素大小，比如我這里就修改為

w = 450
h = 450

將原始輸入圖片縮放為450 x 450的像素，即可以正常運行（雖然結果會有點不太好看），

??對于處理有裂痕的圖片，我們可以將Global \ detection.py中ata_transforms函式中if full_size == "full_size"中的

h = int(round(oh / 16) * 16)
w = int(round(ow / 16) * 16)

改為

h = 256
w = 256

這樣縮放為256 x 256像素的圖片，


??處理完問題后，我們可以來測驗一下，我們先對專案給出的圖片進行測驗，

??對于沒有裂痕的圖片的處理（這里僅放出部分）

修復前

修復后

修復前

修復后

修復前

修復后

由于調整了像素，所以與原圖有所出入，但是圖片的清晰程度增加了，我們也可以試試自己的圖片，我在網上找了幾張圖：

修復前

修復后

修復前

修復后

??對于有裂痕的圖片的處理

修復前

修復后

修復前

修復后

修復前

修復后

修復前

修復后

同樣，我們可以將自己的圖片的進行修復，比如我找到的一張：

修復前

修復后

總結：
??怎么樣，是不是覺得這個演算法很有意思，那就找出那些照片來修復，重拾那些美好的舊時光，同時，有條件的伙伴可以提高電腦的配置，來修復更高像素的圖片，