CVPR2020丨SPSR：基于梯度指導的結構保留超解析度方法

點擊上方“邁微AI研習社”，選擇“星標★”公眾號

重磅干貨，第一時間送達

作者 | Alan

授權轉載自 | https://zhuanlan.zhihu.com/p/121721537

CVPR2020：Structure-Preserving Super Resolution with Gradient Guidance

• 論文：https://arxiv.org/pdf/2003.13081.pdf

• 代碼：https://github.com/Maclory/SPSR

我們知道，結構資訊在超解析度問題中相當重要，目前已經有很多感知驅動的方法(SRGAN、ESRGAN、EnhanceNet)使用 GAN Loss 和 Perceptual Loss 生成較為逼真，且細節豐富的超分影像，然而，在這些恢復的影像中總是存在一些我們并不希望它出現的結構變形，如下圖1所示，

僅僅使用 L1 Loss 的RCAN生成影像的輪廓邊緣雖然相對規則，但是整體較為模糊，SRGAN、ESRGAN、NatSR等生成的影像則存在明顯的結構變形，

因此，論文提出了結構保留超解析度方法 SPSR，以緩解結構變形的同時，保留 GAN 方法生成豐富紋理細節的優點，特別的是，論文使用了影像的梯度資訊去指導影像復原，

如何通過梯度資訊指導影像復原？

主要有兩點：

1.SPSR 采用了一個額外的梯度分支網路，生成高解析度梯度圖，作為額外的結構先驗，

2.SPSR 引入了新的梯度損失，對超解析度影像施加了二次約束，

因此，梯度資訊以及梯度 Loss 能夠進一步幫助生成網路更多的關注影像的幾何結構，除此之外，SPSR 這個方法同樣適用于其它 SR 模型方法，

從圖 1 可以看到， SPSR 不僅能夠生成比 RCAN 更清晰的結果，同時保留更加精細的幾何結構，

網路結構

1.梯度圖 Gradient Map

首先SPSR 從 LR 影像中提取 LR 梯度圖，通過計算相鄰像素之間的差異獲得：

基于公式自己實作的代碼如下(具體實作請參考原始碼)：

import torch
import torch.nn as nn


class Gradient_Map(nn.Module):
    def __init__(self):
        super(Gradient_Map,self).__init__()
        self.pad =  nn.ReplicationPad2d((1,0,1,0))
        
    def get_gray(self,x):
        ''' 
        Convert image to its gray one.
        '''
        gray_coeffs = [65.738, 129.057, 25.064]
        convert = x.new_tensor(gray_coeffs).view(1, 3, 1, 1) / 256
        x_gray = x.mul(convert).sum(dim=1)
        return x_gray.unsqueeze(1)

    def forward(self,x):
        x = self.pad(x)
        x = self.get_gray(x)
        h = x.size()[2]
        w = x.size()[3]
        I_x = torch.pow((x[:,:,1:,1:]-x[:,:,:h-1,1:]),2)
        I_y = torch.pow((x[:,:,1:,1:]-x[:,:,1:,:w-1]),2)
        M_I = torch.pow(I_x+I_y,0.5)
        return M_I

2.梯度分支網路Gradient branch

從圖2中可以看到，梯度分支網路中的模塊首先會合并來自SR分支網路的幾個中間層輸出特征，這是由于SR分支網路中間層包含豐富的結構資訊，這對于梯度圖的恢復有著關鍵的作用，其次，在梯度分支網路末端，梯度圖的特征資訊又會合并到 SR 分支網路，用于指導SR 重建程序，

3.SR分支網路 SR branch

對于SR分支網路一共有兩個部分：

第一部分：采用了與 ESRGAN 相同的網路結構，一共有23個 RRDB 模塊，并且第5，10，15，20個RRDB 模塊的輸出用于合并到梯度分支網路，

第二部分：連接從梯度分支網路獲得的SR梯度特征圖，再使用一個 RRDB 模塊+一個卷積層生成最后的SR 特征，

PS：關于網路模型的實作細節論文中并沒有做過多的介紹，因此具體的實作還需要等待作者公開原始碼，

目標函式和損失

1.傳統 Loss：

首先使用了 L1 Loss 和 Perceptual Loss：

同時還引入 GAN Loss：

2.梯度 Loss：

為了說明梯度 Loss 的作用，論文作者給出了一個1-D 情況下的示例，可以看到，如果僅通過L1損失在影像空間中對模型進行優化，當給定輸入測驗序列后，通常得到的SR序列，如圖3（b）所示，而其GT序列 如圖3（a）所示，

該模型無法恢復鋒利的邊緣，原因在于該模型傾向于從訓練資料中給出所有的HR序列統計的中位數值，于是再這種情況下，如果計算并顯示兩個序列的梯度值，則可以觀察到SR梯度是平坦且峰值較低，而HR的梯度是一個尖峰，兩者梯度分布相差明顯，

因此，引入梯度 Loss ，模型則能夠更好地從梯度空間中學習影像特征，它有助于模型將注意力集中在影像鄰域，以便可以更適當地推斷出影像銳度的區域強度，于是，當影像梯度資訊，如圖3(f)的所示，被模型捕捉到，那么 SR 方法則能夠更好地在這些梯度資訊引導中，避免過度模糊或者過度銳化的復原，從而生成更加逼真的超解析度影像，

梯度 Loss 的具體形式如下：

用于衡量SPSR 網路中生成的SR梯度特征圖與真實梯度特征圖之間的絕對誤差，

SPSR 設計了額外的一個梯度判別網路用于優化以下損失函式，梯度特征圖為 SR 影像的梯度特征圖：

梯度判別網路通過對抗學習也能夠監督SR 影像的生成網路：

值得注意的是：梯度提取運算子 是可微的，因此模型可以直接端到端進行訓練，

整體優化目標函式為：

其中， 是不同 Loss的權重引數，論文中分別設定為 ，

實驗結果和分析

為了說明 SPSR 的有效性，論文從定量和定性的比較進行了說明，

首先從定量的角度，論文選取了 SFTGAN，SRGAN，ESRGAN，NatSR 等基于 GAN 網路的SR 模型與 SPSR 進行對比，評價指標使用了PI 、PSNR、SSIM、LPIPS 4個指標，可以看到 SPSR 在 LPIPS指標和 PI 指標上取得了最佳的性能表現，

然后通過生成影像的可視化對比，可以看到其它方法生成的影像區域區域幾何結構上都存在較為明顯的形變，SPSR 生成的結果則更加自然而且真實，除此之外，SPSR 影像更加純凈沒有明顯的偽影和形變，以上也充分說明了 SPSR 方法的有效性，

總結

論文提出了一個基于梯度指導的結構保留超解析度方法SPSR，緩解了感知驅動方法生成的SR結果中普遍存在的幾何變形問題，不僅設計了梯度分支網路用于生成SR 梯度特征圖，同時引入梯度 Loss 做了進一步的約束，這也給后續超解析度方法的研究提供了一個新的思路，利用不同的影像先驗資訊作為約束，指導 SR 模型訓練，以促使SR模型生成更自然和真實的影像，

推薦閱讀

（點擊標題可跳轉閱讀）

• CVPR2020丨DRN：用于單影像超解析度的對偶回歸網路

• CVPR 2020：華為GhostNet，超越谷歌MobileNet，已開源

• 28 篇論文、6 大主題帶你一覽 CVPR 2020 研究趨勢

• 支付寶奪冠CVPR 細粒度視覺分類挑戰賽：資料增強+知識蒸餾，效果大幅提升

現為 ?邁微AI研習社?

點擊“閱讀原文”查看更多歷史內容，喜歡點個“在看?”吧！