閱讀文獻《Spatio-Temporal Representation With Deep Neural Recurrent Network in MIMO CSI Feedback》
? 該文獻的作者是天津大學的吳華明老師，在2020年5月發表于IEEE WIRELESS COMMUNICATIONS LETTERS，
? 該文獻提出了一種基于深度學習的壓縮CSI方法，使用深度回圈神經網路(RNN)來學習時間相關性，根據不同結構下解耦的時空特征表示設計了特征提取模塊，并采用深度可分離卷積來恢復信道，
1 研究背景
? 在頻分雙工(FDD)MIMO網路中，UE可以估計出下行CSI，然后將CSI反饋給BS對下一個信號進行預編碼，上行CSI反饋則由于BS處有大量天線，導致CSI反饋計算復雜度巨大，因此需要降低CSI反饋的開銷，最新研究表明，應用深度學習來解決無線通信中的CSI反饋問題可以得到優秀的性能，
? 文章的主要貢獻是在CsiNet、ConvLSTM和RecCsiNet的基礎上，設計了一種編碼解碼網路，稱為ConvlstmCsiNet，在編碼器中，利用ConvLSTM提取特征，并且用P3D替換了ConvLSTM中的卷積層；隨后使用RecCsiNet作為編碼器的壓縮和解碼器的解壓模塊；最后，把RefineNet中的標準卷積用深度可分離卷積代替作為解碼器的信道恢復模塊，
2 CSI反饋系統
? 考慮頻分雙工MIMO下行鏈路，在BS上有Nt根天線，在每個UE上有一根天線，在OFDM中有\(\tilde{N}_{\mathrm{c}}\)個子載波，第n個子載波的接收信號為：
\[y_n=\tilde{\mathbf{h}}_n^H \mathbf{v}_n x_n+z_n \]\(\tilde{\mathbf{h}}_n \in \mathbb{C}^{N_{\mathrm{t}} \times 1}, \mathbf{v}_n \in \mathbb{C}^{N_{\mathrm{t}} \times 1}, x_n \in \mathbb{C} \text {, 和 } z_n \in \mathbb{C}\)分別表示瞬時信道向量、預編碼向量、調制的發射信號和第n個子載波上的加性噪聲，CSI矩陣可以表示為：
\[\tilde{\mathbf{H}}=\left[\tilde{\mathbf{h}}_1, \tilde{\mathbf{h}}_2, \ldots, \tilde{\mathbf{h}}_{\tilde{N}_c}\right] \in \mathbb{C}^{N_t \times \tilde{N}_c} \]假設每個UE都可以獲得\(\tilde{\mathbf{H}}\)的估計，然后進行兩個預處理，再反饋給BS：
- 首先用二維離散傅里葉變換(\(DFT\))處理\(\tilde{\mathbf{H}}\)，把它轉換到角延遲域，
- 在延遲域中，除前幾列非零外大多數元素都是零，因此保留前\({N}_{\mathrm{c}}\)列，其余的列洗掉，新的CSI矩陣大小為\({\mathbf{H}} \in \mathbb{C}^{N_t \times {N}_c}\)，
? 假設對于給定的OFDM系統及其相關的預編碼向量，信道矩陣H保持固定，然而它是會根據狀態空間模型隨時間而變化的，第t時步的瞬時CSI矩陣為\({H}_{t}=\left[\mathbf{h}_{1, t}, \mathbf{h}_{2, t}, \ldots, \mathbf{h}_{N_c, t}\right] \in \mathbb{C}^{N_t \times N_c}\),則下一時步的CSI矩陣表示為：
\[\mathbf{H}_{t+1}=\mathbf{F} \cdot \mathbf{H}_t+\mathbf{G} \cdot \mathbf{u}_t \]其中\(\mathbf{u}_t \in \mathbb{C}^{N_t \times N_c},\mathbf{F}, \mathbf{G} \in \mathbb{C}^{N_t \times N_t}\)分別代表加性噪聲和權重方陣，\(u_t^{(i, j)} \sim N\left(0, \sigma_u^2\right)\)，用\(α\)來表示相鄰CSI矩陣之間的相關性，可令\(F = (1 - α^2)I,G = {α^2}I\)，所以在時間T內隨時間變換的CSI矩陣可表示為\(\left\{\mathbf{H}_t\right\}_{t=1}^{T}=\left\{\mathbf{H}_1, \mathbf{H}_2, \ldots, \mathbf{H}_T\right\}\)，
? 如圖1所示，在CSI反饋的程序中，首先將\(\left\{\mathbf{H}_t\right\}_{t=1}^{T}\)分為實部和虛部，矩陣中的所有元素都轉化為實數，并在\([0,1]\)內歸一化，隨后利用DFT變換和截斷操作將反饋引數個數降低為\(N= 2*N_c*N_t\)，這在MIMO中仍然是非常大的，因此需要輸入編碼器進行特征提取和壓縮，得到M維的碼字，壓縮率為\(γ=M/N\)，碼字作為BS中解碼器的輸入，經過解壓縮和特征恢復得到\(\widehat{{\mathbf{H}}}_t\)，最后通過逆\(DFT\)和補0操作得到\(\widehat{\tilde{\mathbf{H}}}_t\)，
? 圖1中，不同的網路層有不同的顏色，每層上方是輸出的形狀，用\(T × H × W × C\)或者\(T × L × C\)表示，\(T,H,W,C\)和\(L\)分別表示回圈神經網路的時間步，特征圖的高度，特征圖的寬度，通道數和碼字長度，
3 ConvlstmCsiNet With P3D Blocks
3.1 ConvlstmCsiNet
3.1.1 特征提取
? 在圖2 CsiNet的基礎上改進了特征提取模塊，在卷積層前增加了卷積長短期記憶(ConvLSTM)層，從之前時間步長的輸入中學習時間相關性，壓縮時間冗余，它可以幫助卷積在特征提取中捕獲更多有用的時間資訊，
? ConvLSTM是為了解決隨計算時間增加時間序列梯度消失的問題，與LSTM相比，主要的變化是將權值的計算由線性運算轉換為卷積運算，不僅能捕獲時間相關性，還能同時獲得影像特征中的詳細區域資訊，如圖3所示，它通過三個遺忘門、輸入門和輸出門，包括sigmoid激活層、tanh激活層和卷積運算，就能夠對狀態資訊進行洗掉或添加，此外，由于卷積運算比線性運算需要的引數少得多，ConvLSTM可以幫助減小網路引數的大小，
3.1.2 特征壓縮和解壓
? 參考RecCsiNet的壓縮解壓模塊，通過并聯全連接層和LSTM，把N長的向量壓縮成M長的碼字，如圖4所示，這里并沒有完全用ConvLSTM代替LSTM，因為LSTM在權值計算中進行FC運算，在整體資訊互動方面表現更好，更適合于特征壓縮，而ConvLSTM更適合于描述區域詳細資訊，
3.1.3 特征恢復
? 采用CsiNet的RefineNet作為基本結構，每個RefineNet塊有3個串聯的卷積層，分別輸出8、16和2個特征圖，特征恢復模塊使用兩個RefineNet塊對H的初步粗略估計進行了細化，CsiNet中的結果證明兩個塊足以恢復CSI矩陣，更多塊將導致引數冗余，如圖5所示，在兩個RefineNet之后，還有一個卷積層和一個sigmoid激活層，它輸出恢復H的實部和虛部最終結果，
? 在RefineNet的基礎上，用深度可分離卷積（depthwise separable convolution，DS-Conv）代替其中的所有卷積層，不僅減少了引數的數量，而且還讓RefineNet實作更好的性能和更高的恢復精度，DS-Conv分為兩個步驟，深度卷積如圖6所示，點卷積如圖7所示，
深度卷積是一組卷積，每個卷積分別負責一個特征圖，因此有M個3 × 3 × 3個深度為1的深度卷積濾波器，輸出M個特征圖，
點卷積是N個1 × 1 × 1的深度為M的卷積，處理深度卷積得到的M個特征圖，輸出N個特征圖，
深度卷積主要是獲取每個信道的特征，點卷積是獲取上行信道和下行信道的維度，以及信道之間的資訊整合和互動，有助于卷積更好地理解不同信道之間的相關性，DS-Conv3D也可以在一定程度上減小特征恢復模塊的引數大小，此外由于大量使用了點卷積，一些高度優化矩陣乘法如GEMM可以直接完成，而不需要im2col的預處理操作，大大提高了運算效率，
3.2 ConvlstmCsiNet的解耦時空特征提取
? 為了進一步完善ConvlstmCsiNet，還重點研究了特征提取模塊中的時空特征表示，ConvLSTM首先提取單元格中的空間特征，然后對單元格進行回圈，形成時間序列，這表明提取空間特征和時間特征具有一定的獨立性，
? 因此，可以用Pseudo-3D (P3D)替換掉特征提取模塊中的卷積層，P3D的結構如圖8所示，它的關鍵思想是分別在時間域和空間域捕獲特征，假設我們有尺寸為\(Td × Sd × Sd\)的三維卷積濾波器(\(Td\)和\(Sd\)分別表示時間深度和空間深度)，它們可以自然解耦為空間域上的\(1 × Sd × Sd\)卷積濾波器和時間域上的\(Td × 1 × 1\)卷積濾波器，P3D以串聯或并聯的方式用兩個濾波器取代標準卷積層，這樣既可以減少引數的數量，又可以降低計算復雜度，在圖8中提出了3種組合結構，還使用了ResNet的跳躍連接方法，它可以直接將資料流傳遞到后續層，導致模型退化為淺網路，從而通過跳過那些不必要的層來簡化優化，提高神經網路的魯棒性，
基于ConvlstmCsiNet，將P3D-A, P3D-B和P3D-C塊分別替代特征提取模塊中的卷積層，分別稱為ConvlstmCsiNet- A, ConvlstmCsiNet- B和ConvlstmCsiNet- C，
4 實驗結果
? 通過COST 2100信道模型創建了兩種信道矩陣：1）5.3GHz室內場景；2）300MHz農村室外場景，BS位于室內和室外場景中長度分別為20m和400m的正方形區域的中心，而UE則隨機位于每個樣本的正方形區域，基站天線陣列數量為32，子載波數為1024，將信道矩陣轉換到角延遲域時，保留信道矩陣的前32行，即H的大小為32 × 32，根據公式(3)，在每個時間步長之間加入微小的高斯白噪聲\(σ_u = 10^{?3}\)和相鄰信道的相關系數\(α\)，將二維CSI矩陣擴展為T時間序列的時變CSI矩陣，其中T為回圈時間步長，為方便設定為4，訓練集、驗證集和測驗集分別包含100000、30000和20000個樣本，前1000個epoch的學習率為\(10^{?3}\)，1000 ~ 1200個epoch的學習率為\(5 × 10^{?4}\)，最后1200 ~ 1500個epoch的學習率為\(10^{?4}\)，參考兩個指標來衡量網路性能的優劣：
- 歸一化均方誤差 (NMSE)，它能夠量化輸入\(\left\{\mathbf{H}_t\right\}_{t=1}^{T}\)和輸出\(\left\{\hat{\mathbf{H}}_t\right\}_{t=1}^T\)，定義為：
- 余弦相似度\(ρ\)，它能夠描述了原始CSI矩陣\(\tilde{\mathbf{H}}\)和恢復的\(\widehat{\tilde{\mathbf{H}}}\)之間的相似性，定義為：
將本文的方法與基于深度學習的方法如CsiNet和RecCsiNet進行比較，對應的NMSE和\(ρ\)如表1所示，其中最好的結果用粗體標記，由于NMSE的值太小，所以用\(log(NMSE)\)來表示，
? 結果表明，四種提出網路的性能都優于CsiNet和RecCsiNet，在帶P3D的網路中，ConvlstmCsiNet-A的性能最好，而ConvlstmCsiNet-B的性能最差，說明串聯比并聯方式的時空濾波器性能更好，在室外條件下，四種模型在室外場景下都比在室內場景下獲得了更高的性能提升，表明它們具有較高的魯棒性，與ConvlstmCsiNet相比，使用P3D的網路獲得了更好的性能，說明P3D對提高模型的魯棒性有積極的作用，
5 結論
? 在特征提取和恢復模塊中分別采用RNN和深度可分離卷積，提出了一種新的CSI反饋網路結構，實驗結果表明，該網路的魯棒性、準確性和質量都比CsiNet和RecCsiNet要強，
6 學習識訓
文章的主要作業如下：
- ConvLSTM提取信道；
- P3D優化ConvLSTM；
- RecCsiNet壓縮和解壓；
- RefineNet恢復信道；
- DS-Conv優化RefineNet，
它是在CsiNet和RecCsiNet的基礎上，加入了ConvLSTM、P3D和DS-Conv，從實驗結果來看表現的性能非常優秀，這篇文獻在一些細節引數上講的比以前看過的文章清楚，通過閱讀這篇文獻，我新學習了ConvLSTM、P3D和DS-Conv網路模型，了解了它們的一些特點和用處，也讓我想去閱讀更多相關文獻來看是否還有其它的優化方法，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/548237.html
標籤：其他
上一篇：解密Prompt系列4. 升級Instruction Tuning：Flan/T0/InstructGPT/TKInstruct
下一篇：blender資源庫 【自用】