超分辨論文閱讀筆記：NLRN

1.Introduction

影像復原可以分為不同的子問題如影像去噪和影像超分辨，影像恢復的關鍵是基于影像先驗的正則化設計，過去的研究中區域和非區域影像先驗被廣泛的使用，以影像去噪為例，早期大多使用高斯濾波和基于全變差的方法等區域影像先驗，之后，自然影像自相似性引起了廣泛關注，發展出基于非區域的方法如非區域均值，協同濾波，聯合稀疏和低秩建模等方法，這些非區域方法在提取非區域塊之間的關系提高影像恢復質量方面表現出優秀的結果，
盡管非區域自相似性被廣泛研究，但很少有深度學習的方法研究提取此屬性，卷積神經網路的方法雖然達到了令人印象深刻的結果但仍然沒有明確使用影像的自相似屬性，為了改良此弱點，一些研究在影像塊輸入卷積網路之前對塊進行了匹配，然而快匹配的步驟是孤立的，不能與網路進行聯合訓練，
本文首次將CNN中的 非區域操作用于影像恢復，提出了非區域遞回網路NLRN，首先設計了非區域模塊提取退化影像特征關系作為自相似性測量，此模塊能夠靈活的嵌入到現有的神經網路中，且在不影響恢復質量的情況下，為提高引數效率本文采用了遞回神經網路結構，其次，本文研究了深度特征空間中的非區域操作，發現限制區域關系的計算提高了退化影像的魯棒性，受限的鄰域有助于空間中距離相近的相關特征的計算，過濾噪聲特征，最后，本方法能讓非區域操作的資訊在相鄰的遞回狀態之間進行傳遞，這種內部特征相關性的流動有助于更魯棒的相關性估計，通過聯合非區域操作和典型的卷積，本文的NLRN能夠有效的提取和使用影像的區域和非區域屬性來進行影像恢復，
本文的作業與Non-local neural Nerwork有很大的區別，對特征的每個位置來說，本文只在其鄰域采集其特征相關性，并不會在整個影像進行非區域操作，而且在實驗中，證明了依賴于區域區域的深度特征在計算非區域先驗時更可能是有效的，另外對于退化測量結果來看，更大的鄰域甚至整個影像可能導致不精確的相關性估計，最后本文的方法充分利用了RNN結構中相關性資訊可以在相鄰狀態之間傳遞的優點，增加了對不同層次退化特征相關性估計的魯棒性，

Related Work

略，，，，，

3.Non-local Operations for Image Restoration

3.1 A General Framework

非區域操作以多通道的輸入 X ∈ R N × m X\in R^{N\times m} X∈RN×m作為影像特征，生成輸出特征 Z ∈ R N × k Z\in R^{N\times k} Z∈RN×k,這里的N和m表示影像像素的個數和資料的通道數，將其用公式表示為：
Z = d i a g ( δ ( X ) ? 1 ) Φ ( X ) G ( X ) Z=diag( { \delta (X)}^{-1})\Phi(X)G(X) Z=diag(δ(X)?1)Φ(X)G(X), Φ ( X ) ∈ R N × N （ 1 ） \Phi(X)\in R^{N\times N} （1） Φ(X)∈RN×N（1）
是非區域關系矩陣， G ( X ) ∈ R N × k G(X)\in R^{N\times k} G(X)∈RN×k是多通道非區域變換，每個行向量 X i X_{i} Xi?表示i位置的區域特征， Φ ( X ) i j \Phi(X)^{j}_{i} Φ(X)ij?表示 X i 和 X j X_{i}和X_{j} Xi?和Xj?之間的關系，每個 G ( X ) j G(X)_{j} G(X)j?的行向量表示 X j X_{j} Xj?的嵌入變形，對角矩陣 d i a g Φ ( X ) ∈ R N × N diag{\Phi(X)}\in R^{N\times N} diagΦ(X)∈RN×N用歸一化因子 Φ i ( X ) \Phi_{i}(X) Φi?(X)對第i個像素進行歸一化，

3.2 Classic Methods

Blocking matching(BM)塊匹配是傳統方法中利用非區域影像結構的常用方法，一個q*q空間鄰域被設定為每個i位置的中心，且 X i X_{i} Xi?減少至以i為中心的影像塊，BM從鄰域中選 K i K_{i} Ki?個最相似的影像塊，以此來聯合恢復 X i X_{i} Xi?,在本文的非區域框架下，這些操作可以表示為：
Z i = 1 δ i ( X ) ∑ j ∈ C i Φ ( X ) i j G ( X ) j , ? i Z_{i}=\frac{1}{\delta_{i}(X)}\sum_{j\in C_{i}}\Phi(X)_{i}^{j}G(X)_{j},\forall i Zi?=δi?(X)1?∑j∈Ci??Φ(X)ij?G(X)j?,?i (2)
這里 δ i ( X ) = ∑ j ∈ C i Φ ( X ) j i \delta_{i}(X)=\sum_{j\in C_{i}}\Phi(X)_{j}^{i} δi?(X)=∑j∈Ci??Φ(X)ji?和 C i C_{i} Ci?表示第 K i K_{i} Ki?個塊的索引，因此每個行 Φ ( X ) i \Phi(X)_{i} Φ(X)i?只有非零項，在不同模型的非區域方法中嵌入項G(X)和非零相變數是不同的，

3.3 Non-Local Module

基于公式1的框架，本文提出了另一種匹配方法，用高斯核和歐式距離作為距離度量，線性嵌入定義如下:
Φ ( X ) i j = ? ( X i , X j ) = e x p { θ ( X i ) ψ ( X j ) T } , ? i , j \Phi(X)^{j}_{i}=\text{\o}(X_{i},X_{j})=exp \left \{ \theta(X_{i})\psi(X_{j})^{T} \right \},\forall i,j Φ(X)ij?=?(Xi?,Xj?)=exp{θ(Xi?)ψ(Xj?)T},?i,j
θ ( X i ) = X i W θ , ψ ( X i ) = X i W ψ , G ( X ) i = X i W g , ? i \theta(X_{i})=X_{i}W_{\theta},\psi(X_{i})=X_{i}W_{\psi},G(X)_{i}=X_{i}W_{g},\forall i θ(Xi?)=Xi?Wθ?,ψ(Xi?)=Xi?Wψ?,G(X)i?=Xi?Wg?,?i
嵌入變換 W θ , W ? , W g W_{\theta},W_{\text{\o}},W_{g} Wθ?,W??,Wg?都是學習到的，且形狀分別為ml，ml，mm，因此非區域操作可以表示為：
Z i = 1 δ i ( X ) ∑ j ∈ S i e x p { X i W θ W ψ T X j T } X i W g , ? i Z_{i}=\frac{1}{\delta_{i}(X)}\sum_{j\in S_{i}}exp\left\{X_{i}W_{\theta}W_{\psi}^{T}X_{j}^{T} \right\}X_{i}W_{g},\forall i Zi?=δi?(X)1?∑j∈Si??exp{Xi?Wθ?WψT?XjT?}Xi?Wg?,?i
上式的 δ i ( X ) = ∑ j ∈ S i ? ( X i , X j ) \delta_{i}(X)=\sum_{j\in S_{i}}\text{\o}(X_{i},X_{j}) δi?(X)=∑j∈Si???(Xi?,Xj?)表示 X i 和 鄰 域 S i 中 的 X j X_{i}和鄰域S_{i}中的X_{j} Xi?和鄰域Si?中的Xj?之間的關系，
本文提出的非區域操作通過可微分操作實作，因此可以和神經網路聯合學習，本文通過跳躍鏈接將非區域操作包裝成模塊，如下圖所示：

跳躍鏈接能使本模塊插入到任何預訓練模塊當中，且通過將 W g W_{g} Wg?初始化為0來保持其初始的引數，此模塊只引入了引數 θ , ψ , g \theta,\psi,g θ,ψ,g作為11的卷積，其每個位置的輸出只取決與q*q大小的鄰域，可以跟任意大小的輸入相結合，

Relation to Other Methods：

最近的研究將非區域塊匹配操作和神經網路結合用于影像恢復，但傳統的方法直接對退化的輸入影像塊進行操作，對于嚴重退化的影像是不準確的，而本文提出的非區域操作能夠應用于對退化更加魯棒的學習得到的深度特征，更重要的是，本文提出的模塊能夠與神經網路一起進行端到端的訓練，而傳統方法只能作為獨立結果，
本文的方法與Non-local neural Network不同，其在整幅影像上計算特征相關性，相當于本文方法中的鄰域擴大到整幅影像，經驗表明增加鄰域尺寸并不能提高影像恢復的結果，因此必須選擇一個合適大小的鄰域，且其方法只能針對一個固定尺寸的輸入，而本文的方法能夠適應不同尺寸，

4.Non-Local Recurrent Network

本文的RNN框架由一組狀態組成，輸入，輸出，回圈以及轉臺之間的轉換函式，輸入、輸出、回圈分別可表示為：x，y，s，每隔t步，RNN接收到一個輸入 x t x^{t} xt，回圈和輸出如下：
S t = f i n p u t ( x t ) + f r e c u r r e n t ( S t ? 1 ) ， y t = f o u t p u t ( S t ) S^{t}=f_{input}(x^{t})+f_{recurrent}(S^{t-1})，y^{t}=f_{output}(S^{t}) St=finput?(xt)+frecurrent?(St?1)，yt=foutput?(St)每次更新 f i n p u t , f o u t p u t , f r e c u r r e n t f_{input},f_{output},f_{recurrent} finput?,foutput?,frecurrent?
在本文的NLRN結構中：
1. S 0 S^{0} S0輸入影像的映射
2. x t = 0 ， ? t ∈ 1 , . . . . . . , T , a n d f i n p u t ( 0 ) = 0 x^{t}=0，\forall t\in{1,......,T},and f_{input}(0)=0 xt=0，?t∈1,......,T,andfinput?(0)=0
3.輸出狀態 y t y^{t} yt只在最后的T時刻表示輸出
非區域操作中的權重和卷積相同在回圈狀態共享，因此能夠保持較高的引數效率
如下圖所示：

在非區域模塊中，來自之前狀態i位置的特征相關性 s c o r r t ? 1 s^{t-1}_{corr} scorrt?1?，**在標準化之前被添加到了當前的特征相關性中，這使得相鄰狀態之間的相關性估計更加可靠，**細節如下圖所示