Deep Video Super-Resolution using HR Optical Flow Estimation

視覺新人，純小白筆記
訂閱號：墨理三生
宣告：本博文只做代碼測驗教程，感謝支持；

專案基本資訊：

https://arxiv.org/abs/2001.02129

GitHub專案鏈接：

https://github.com/LongguangWang/SOF-VSR/tree/master/TIP

這個專案 200M ，如果有同學下載困難，可以去我的的碼云庫進行下載

https://gitee.com/xiaohuoer1995/SOF-VSR

摘要：

視頻超解析度(SR)旨在從低解析度(LR)的對應物件中生成一系列高解析度(HR)幀，這些幀的細節貌似合理且時間上一致，
視頻SR的關鍵挑戰在于有效利用連續幀之間的時間依賴性，
現有的基于深度學習的方法通常估計LR幀之間的光流，以提供時間依賴性，
但是，LR光流和HR輸出之間的解析度沖突阻礙了細節的恢復，
在本文中，我們提出了一個端到端視頻SR網路來超分辨光流和影像，
來自LR幀的光流SR提供精確的時間依賴性，并最終改善視頻SR性能，
具體來說，我們首先提出了光流重構網路(OFRnet)，以粗到細的方式推斷HR光流，
然后，利用HR光流編碼時間依賴性進行運動補償，
最后，將補償后的LR輸入輸入到超解析度網路(SRnet)，生成SR結果，
大量的實驗已經證明了HR光流對SR性能改善的有效性，
在Vid4和DAVIS-10資料集上的比較結果表明，我們的網路達到了最先進的性能，

總結：

在本文中，我們提出了一個端到端深度網路的視頻SR.我們的SOF-VSR首先超解析度光流提供準確的時間依賴性，
然后根據HR光流進行運動補償，
最后，利用SRnet從補償后的LR幀中推斷出SR結果，
大量的實驗結果表明，我們的SOF-VSR網路可以恢復準確的時間細節，提高了SR的準確性和一致性，
與現有視頻SR方法的比較也證明了我們的SOF-VSR網路的最先進的性能，

視頻超分重建，資料集下載：

測驗資料集，資料和模型下載的專案中都是包含的；下面鏈接可以下載更多相關資料；
1-1

資料下載鏈接備份：

https://davischallenge.org/davis2017/code.html

測驗步驟如下：

排錯程序如下：

運行重建命令：

python demo_Vid4.py --degradation BI --scale 4 --gpu_mode True

可能遇到的小錯誤，統計如下：

報錯一：

FileNotFoundError: [Errno 2] No such file or directory: 'data/test/Vid4/walk/lr_x4_BI'

原因：因為沒有執行 Run data/test/generate_LR_images.m 因此，缺少 LR 資料

報錯二：

FileNotFoundError: [Errno 2] No such file or directory: 'results/Vid4'

原因：代碼默認，需要手動新建目錄 TIP/results/Vid4

生成結果目錄如下：

評測：

生成的重建影像，畫質似乎很扎心啊；
是不是作者沒有把最佳模型放出來呢？

打工人，干飯人

CSDN 相關專欄	站外相關
影像修復-代碼環境搭建	紙糊小白–墨理三生
超分重建-代碼環境搭建

資料集整理	本科個人網站
恰飯這個事情，如果周末您不忙的話，可以隨便看看哈	訂閱號雜文

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/252048.html

標籤：其他

上一篇：用JAVA制作小游戲——飛機大戰（二）

下一篇：C++類的封裝 | 類的封裝

Deep Video Super-Resolution using HR Optical Flow Estimation | 視頻超分重建 | 測驗簡記 |

專案基本資訊：