自己整理的一些核磁共振重建綜述文章，僅供參考，不發表~

摘要

摘要：當前，核磁共振成像在臨床上應用十分廣泛，而核磁共振重建方法在核磁共振成像程序中至關重要，本報告將首先簡要介紹了核磁共振成像原理；然后，從時間維度和技術維度重點介紹四大類核磁共振重建方法的發展之路，包括部分傅立葉重建方法、并行成像重建方法、壓縮感知重建方法和基于深度學習的重建方法，具體地，對于部分傅里葉重建方法，本報告將涉及零填充、共軛對稱、Homodyne等多個方法；對于并行成像方法，本報告將涉及SENSE、GRAPPA和SPIRiT等臨床實踐中最常用的重建技術；對于壓縮感知重建方，本報告介紹壓縮感知重建的原理以及在核磁共振重建中的應用；對于深度學習重建方法，本報告主要介紹了基于資料驅動的端到端的深度學習重建方法和基于核磁物理成像原理的深度學習重建這兩大類方法，最后指出在深度學習背景下當前核磁共振重建的研究熱點和未來發展趨勢，

關鍵詞：深度學習、核磁共振重建方法、MRI、并行成像、壓縮感知、部分傅里葉

一、引言

核磁共振成像（MRI）具有無輻射、高解析度、多對比度等優點，廣泛應用于醫學成像，已經成為一種重要的臨床醫學檢查手段，為臨床影像診斷提供了非常有價值的資訊，
但是與其他的成像方法相比，MRI需要較長的掃描時間，MRI信號的空間定位是導致掃描時間長的主要原因之一，每個脈沖序列需要多次經歷射頻激發、梯度編碼和資料采集這幾個步驟才能生成影像，獲取一副MRI影像所需的時間最少需要數百毫秒，如快速梯度回波或回波平面成像(EPI)等，有的序列成像甚至需要幾分鐘，如自旋回波和擴散加權序列[1]，而且，MRI掃描時間過長，成像緩慢，會給患者帶來不適，此外，患者的器官運動，如呼吸、吞咽和自然心跳，會導致影像模糊和對比度失真，無法滿足實時動態高精度成像的要求，影響MRI的進一步推廣與發展，
本報告主要總結了MRI重建的關鍵進展和發展歷程，因為影像重建方法可用于減少掃描時間，從而提高空間解析度和成像質量，同時也可以減少患者的不適，目前，MRI重建主要包括四大類，部分傅立葉重建方法、并行成像重建方法、壓縮感知重建方法和基于深度學習的重建方法，
本報告將首先簡要介紹核磁共振成像原理，主要包括核磁共振成像的基本概念、K空間的概念、核磁共振資料的采集的原理，然后回顧核磁共振重建方法的發展歷程并依次介紹MRI重建的四大類，先介紹了最早的核磁共振的重建方法即部分傅里葉重建重建方法，部分傅里葉重建演算法主要介紹了零填充、共軛對稱、Homodyne等，部分傅里葉變換的演算法程序比較緩慢，重建效果不太好，偽影比較嚴重，影像質量一般，在臨床的應用極少，然后，重點介紹了并行成像方法，并行成像方法是目前在臨床應用中最廣泛的重建方法，并行成像技術主要分為兩類，一類是在影像域來分離混疊的偽影，主要代表演算法是SENSE和PILS等；另外一類是在K空間解混疊，然后在通過反傅里葉變換到影像域，這類并行成像的代表演算法是SAMSH等，SPIRiT及其擴展演算法也是常用的典型的并行成像方法，本文將主要SENSE、GRAPPA和SPIRiT方法，因為它們是在臨床實踐中最常用的重建技術，然后，介紹了一些同時多層重建方法和三維的并行成像方法，接著，介紹了壓縮感知的基本原理，和基于壓縮感知的重建方法，以及一些和并行成像結合的壓縮感知重建方法，最后介紹了基于深度學習的重建方法，主要包括兩類：基于資料驅動的端到端的深度學習重建方法和基于核磁物理成像原理的深度學習重建方法，基于資料驅動的端到端的深度學習重建方法中主要介紹了基于卷積神經網路CNN和深度級聯網路的重建方法，基于核磁物理成像原理的深度學習重建方法主要介紹了基于變分網路和基于物理方法的無監督重建方法，
最后，總結了核磁共振重建方法最新的進展，并指出在深度學習背景下核磁共振重建的研究熱點和未來發展趨勢，

二、核磁共振成像原理

在磁共振成像中，我們會首先利用射頻脈沖RF激發成像區域，利用梯度場的產生及切換來進行每個質子的空間定位，再利用采集信號系統來采集磁共振信號，最后使用傅里葉變換及后處理等重建系統來重建影像，

2.1.核磁共振成像程序

核磁共振基本儀器的簡化圖如圖1所示，儀器周圍是線圈，包括主線圈B0、梯度線圈和射頻場線圈，梯度線圈由x,y和z三個線圈組成，圖中只顯示了兩個，該系統的主要硬體是一個大磁鐵，提供穩定、均勻的場B0，范圍通常在0.1-3.0 T，對于臨床使用，磁鐵必須有一個足夠大的孔，以允許人體軀干進入，目前使用的磁體有三種:永磁體、阻性磁體(空芯或鐵芯)和超導磁體，它們在成本、重量、場強、穩定性、均勻性和邊緣場等方面各有優缺點，最受歡迎的磁體型別是超導磁體，主要是因為它具有優良的均勻性、穩定性和較高的場強，然而，超導磁體需要低溫(液氦)，價格更貴，并且會產生可以延伸很長的距離的邊緣場，這使得磁體的選擇更具挑戰性，
主線圈用來產生一個強大的靜磁場，射頻線圈用來發射射頻（RF）信號并接收從被檢測者發出的用于成像的射頻信號，梯度線圈中的三個線圈分別用來控制頻率編碼資訊、相位編碼資訊和斷層選擇資訊，最后將采集到射頻信號送入資料處理系統，信號經過資料處理后形成一幅對我們有用的核磁共振影像，

圖1 MRI基本儀器的簡化圖

核磁共振是一種在穩定磁場中處于自旋狀態的氫原子在遇到交變磁場時發生的現象[2]，當被檢測者處于MRI設備中時，人體中的氫原子會在主磁體產生的磁場中旋轉，當RF線圈發出頻率為Larmor的交變電磁場時，它處于自旋狀態，氫原子被激發，氫原子核吸收一定的能量而共振，受激的氫原子圍繞主磁體的磁場產生進動，當射頻脈沖停止時，激發的氫原子核逐漸釋放吸收的能量，其相位和能級恢復到激發前的狀態，這個恢復程序稱為弛豫程序，回到原來的平衡狀態需要的時間稱為弛豫時間，在此程序中，通過調節梯度線圈對人體的射頻信號進行頻率和相位編碼，并由射頻線圈記錄，

2.2.K空間

磁共振影像的采樣不同于其他醫學影像的采樣，其他醫學影像在像素域采樣，而它的原始資料是在影像的頻域內進行采樣，即在K空間采集資料，由這些梯度磁場產生的原始MRI資料形成了一個空間頻率矩陣，這個矩陣被稱為K空間，對K空間可以用二維離散傅里葉來生成MRI影像，K空間的概念對于研究磁共振MRI重建問題至關重要，為后續影像重建演算法打下理論基礎，在介紹K空間之前，我們先介紹一下MR信號的的信號方程式，來描述MR影像形成的基本原理，設m(x, y)為我們需要重構的影像，m(x, y)是一個復值影像

根據以上，我們可以知道，核磁共振成像的目標便是重構m(x, y)，以及將|m(x, y)|顯示出來，設x,y線圈的梯度分別為Gx，Gy，則核磁共振設備采集到的信號的方程[11]為

由信號方程可以知道，K空間是帶有空間位置資訊編碼的磁共振資料，也是影像的傅里葉空間，想要重建原影像m(x, y)，只需要將原始K空間的采樣點進行逆傅里葉轉換，即將具有不同頻率編碼資訊和相位編碼資訊的核磁共振信號的能量聚焦到相應的位置，就可以得到我們看到的核磁共振影像，

2.3.核磁共振資料采集程序

如圖2所示，所需的空間解析度和視野(FOV)決定了應獲得多少K空間資料，相鄰k個空間線之間的間距與FOV成反比：

圖2 MRI資料采集原理圖

要在一個方向增加FOV，在k空間采樣的間距必須減小，奈奎斯特采樣定理指出，FOV應該大于成像的物件的大小，以避免混疊，如果不滿足此條件，高頻信號將錯誤地顯示為低頻率信號，由于頻率資訊用于確定空間位置，因此會將FOV外部的物件的影像的疊加在FOV內部物件的影像的信號上，產生混疊偽影，
空間解析度與原點到k空間最大距離(kmax)成反比：

通常，k空間的資料是在笛卡爾網格上采樣得到的，每一次重復時間(TR)采集一條相位編碼(ky)線，總采集時間(TA)由TR、采集的相位編碼線數(Ny)和信號平均數(NA)確定

從上述方程可以知道，有兩種減少總掃描時間的方法，首先，可以縮短TR，然而，TR影響影像對比度，并受到用于成像的脈沖序列型別的限制，另一個方法是減少采集的相位編碼線數(Ny)，對K空間進行欠采樣，圖3是不同的K空間軌跡及其相關的混疊偽影的例子，采集的k空間資料用實線表示，而缺失的資料用虛線表示，(a)全采樣的笛卡爾資料會產生一個完整的FOV影像，(b)加速度因子為R=3的均勻笛卡爾k空間會導致相干混疊偽影，? 可變密度采樣，在k空間中心附近采集更多資料，成像偽影更分散，(d)徑向欠采樣每隔固定角度徑向采樣一次，生成了漫射條紋偽影，(e)螺旋k空間采樣，產生不相干的旋轉偽影，

核磁共振掃描采集的資料是K空間資料，也就是頻域資料，通過傅里葉變換可以得到影像域資料，重建就是把k空間資料轉換為影像域資料的程序，各種MRI重建方法的目標是利用欠采樣的K空間資料重建出高質量的MRI影像，目前已經產生了許多不同的重建方法，它們基本原理相似，將在下文中將一一敘述，

三 核磁共振重建方法

3.1.部分傅里葉重建方法

部分傅里葉成像演算法是最早的基于K空間的信號采集方法，它利用K空間的共軛對稱性，采集 50% 以上的資料，再利用各種演算法對未采集的資料進行填補，從而大量縮短掃描時間，部分傅里葉重建演算法主要包括零填充、共軛對稱、Homodyne等[3]，各種演算法的目的都是實作相位校正，這是由于在 MRI設備中，采樣時的運動、共振頻率偏移、硬體延遲、渦流、磁場非均勻性等原因會造成資料的非完全對稱，共軛對稱的資料會引入相位錯誤，這些重建演算法在資料的非均勻性增加的時候，越發顯現其重要性，
零填充是最簡單的重建方法，即對K空間未采集的資料采用0來填充，再進行傅里葉變換；共軛填充利用厄米（hermitian）對稱性，共軛填充K空間未采集的資料，即對一定層面S（-kx,-ky）=S*(kx,ky)；Homodyne演算法填充將資料分為對稱部分和非對稱部分分別進行處理，并進行相位矯正，對稱部分為相位變化的低頻部分，非對稱部分為相位變化的高頻部分，
部分傅里葉變換的演算法程序比較緩慢，重建效果不太好，偽影比較嚴重，影像質量一般，在臨床的應用極少，

3.2.并行重建方法

并行成像方法是目前在核磁共振掃描儀中應用最廣泛的重建方法，并行成像利用一組射頻接收線圈陣列的空間資訊來代替常規需要梯度磁場才能提供的資訊，即利用在空間位置上，相控陣線圈靈敏度的差異進行空間編碼，代替一部分梯度編碼，從而減少K空間資料采集，來減少成像時間[2]，并行成像的目標是消除由于k空間中的相位編碼線采樣不足而導致的混疊偽影，

3.2.1 常用的并行重建方法

并行成像技術主要分為兩類，一類是在影像域來分離混疊的偽影，主要代表演算法是SENSE(1999年)[4]，PILS（2000年）[5]等；另外一類是在K空間解混疊，然后在通過反傅里葉變換到影像域，這類并行成像的代表演算法是SAMSH（1997年）[6]，AUTO-SMASH（1998年）[7]，VD-AUTO-SMASH（2001年）[8]和GRAPPA(2002年)[9]，SPIRiT(2010)[10]及其擴展演算法ESPIRiT (2014年)[11]和l1-SPIRiT (2012年)[12]也是常用的典型的并行成像方法，接下來將簡介SENSE、GRAPPA和SPIRiT方法，因為它們是在臨床實踐中最常用的重建技術，
（1） SENSE重建方法
靈敏度編碼(sensitivity encoding, SENSE)是一種技術影像域的重建方法，SENSE方法采用多個接收線圈用于信號采集，允許對K空間欠采樣，欠采樣的程序中會丟失一些空間編碼資訊，所以SENSE重建時，利用各個線圈的空間靈敏度對丟失的資訊進行恢復，將混疊的影像進行展開，得到沒有偽影的影像，SENSE重建可以減少K空間采集線數，縮短掃描時間，但是由于欠采樣導致影像信噪比降低；而且SENSE重建需要估計線圈敏感度資訊，重建程序比較麻煩；且線圈敏感度資訊很難準確估計，其誤差會導致重建影像偽影，
（2） GRAPPA重建方法
GRAPPA技術(Generalized autocalibrating partially parallel acquisitions )是一種基于 K空間的重建演算法，它以滿足奈奎斯特采樣定律要求的頻率采集K空間中心資料作為自動校正資料（Auto-Calibration Signal, ACS），利用多通道K空間相鄰的點線性相關性進行每個通道的K空間欠采樣的填充，得到每個通道的全K空間，最后通過通道融合（SOS or ACC）得到最終的無卷褶影像，
（3） SPIRiT重建方法
SPIRiT技術（iterative self-consistent parallel imaging reconstruction from arbitrary k-space）結合了SENSE和GRAPPA的特征，和GRAPPA一樣，SPIRiT利用相鄰的k空間資料之間的相關性來恢復丟失的資訊，但是和SENSE一樣，重建被構造為一個逆問題，無論原始的采樣軌跡如何，SPIRiT的輸出都是一個笛卡爾K空間，SPIRiT重建通常用零填充和欠采樣的K空間進行初始化，并作為一個優化問題進行迭代求解，在每次迭代中，演算法轉向最小化和平衡兩個項之間的誤差：校準一致性和資料一致性，

3.2.2 同時多層重建方法

前一部分已經描述了減少生成二維影像所需的相位編碼數的一些并行成像方法，這些方法充分利用了掃描平面內的線圈靈敏度資訊，然而，并行成像也可以用來分離有混疊切片，達到在獲取一個切片的時間內成像幾個切片的目的，這些同時的多切片技術利用了在切片編碼方向上的線圈靈敏度的差異，但依然基于上述方法中相同的并行成像原理，
SMS（Simultaneous multi-slice imaging）[13]技術使用多頻帶射頻脈沖[92,93]同時激發幾個切片，類似于加速度因子，同時獲得的切片數稱為多帶因子(MB)，多波段脈沖由一對以不同頻帶為中心的射頻波形組成，復合脈沖采用切片選擇梯度，以激發多個頻帶，從而激發多個切片，需要注意不能超過射頻放大器的特定吸收率(SAR)限制或電壓限制，當將SMS與自旋回波等高能脈沖序列相結合時，SAR值是值得關注的一個問題，

3.2.3 三維并行成像

前面討論的許多技術已經被推廣到加速三維的并行成像中，多層的MRI成像和三維MRI成像有一些區別，在多層成像中，采集的一層由是一個的二維的切片，只有一個方向被相位編碼，每一個切片都用一個二維DFT進行重建，可以按順序、或者以交錯的方式來同時使用SMS技識訓取多個切片，而在三維成像中激發厚厚的組織，使用二維空間編碼梯度在兩個方向進行空間編碼，用三維DFT來重建影像，
（1） 三維的SENSE和GRAPPA重建方法
2D SENSE[14]使用線圈敏感度資訊在三維體積中展開混疊的像素（它被稱為2D SENSE，因為兩個相位編碼方向都可以被欠采樣）；三維的GRAPPA被稱為2D GRAPPA[15]，它使用了一個三維的GRAPPA核，單個線圈中的一個目標點由周圍三維鄰域中所有線圈的源點的加權和組成，校準資料是作為一個靠近K空間中心的相鄰的三維塊獲得的；SPIRiT和其他相關的并行成像方法也已經推廣到三維成像中了，
（2） 2D CAIPIRINHA重建方法
在三維掃描中，沿兩個相位編碼方向分別進行欠采樣可以實作高加速度因子，可以充分利用整個體積內線圈靈敏度的差異，2D CAIPIRINHA（2006年）[16]通過將k空間從標準矩形網格轉移到剪切網格上，這種位移改變了混疊模式，使得并行成像重建演算法更穩定，2D CAIPIRINHA是三維MRI的MS-CAIPIRINHA的擴展，
（3） WAVE-CAIPIRINHA重建方法
大多數三維并行成像技術只利用線圈兩個相位編碼方向的線圈靈敏度變化，忽略了讀出方向的線圈靈敏度變化，而WAVE-CAIPIRINHA（2015年）[17]可以充分利用三個方向線圈靈敏度的差異，資料用二維CAIPIRINHA采樣模式獲取，使partitions方向的偽影信號彼此進行位移，此外，在信號讀出程序中，還應用了沿y和z的正弦梯度，軌跡呈螺旋槳狀，由于應用了CAIPIRINHA采樣，以及多個螺旋槳狀的軌跡在三維K空間中交錯，可以在三個方向分散混疊偽影，

在本節中總結了并行成像的一些經典方法和最新進展，并行成像是一種使用多個接收器線圈來加速MRI磁共振掃描的重建方法，在本節中詳細介紹了三種在臨床上使用最廣泛的重建演算法SENSE,GRAPPA和SPIRiT，這些技術可以擴展到3D的MRI成像，此外，在同時在多切片成像中可以利用線圈靈敏度資訊來分散偽影，

3.3.壓縮感知重建方法

3.3.1 壓縮感知原理

在經典信號處理領域，奈奎斯特采樣定理一直占據主導地位，奈奎斯特采樣定理指出，要把原始信號從采樣信號中完整地重構出來，采樣頻率必須高于信號中最高頻率的兩倍，這意味著準確地恢復原始信號需要大量的樣本資料，這對信號的前端采集系統和后端處理系統都是一個巨大的挑戰，因此，在奈奎斯特定理的框架下，如何設計一個同時保證時空解析度的硬體系統和處理演算法一直是信號處理學科的難題，因此，人們首先想到的是資料壓縮，因為自然影像和信號在一些變換域具有稀疏性，根據影像的稀疏性，我們采集的資訊是冗余的，因此，如何提取信號的有用成分，忽略采集程序中的冗余資訊，是近年來資訊處理領域的研究熱點，
壓縮感知（CS）是LUSTIG等人[18]在資訊理論和近似理論的文獻中的一般背景下提出的，該理論克服了奈奎斯特定理的限制，它在資訊論、影像處理、地球科學、光學、微波成像、模式識別、無線通信、等領域受到高度關注，壓縮感知理論表明，如果信號在某一個正交空間具有稀疏性（即可壓縮性），那么可以設計一個與稀疏變換不相關的測量矩陣，將完備資料投影到測量矩陣上得到欠采樣資料，然后通過合適的重建模型和重建演算法從非完備的資料集中以高概率精確的重建該信號，一般情況下，MRI影像在一定的變換域(如空間有限差分、小波變換域等)具有稀疏表示，滿足壓縮感知影像重構的稀疏性要求，而且，利用壓縮感知理論可以大大減少傅里葉變換域中的采樣資料，從而減少掃描時間，降低對硬體的要求，減少掃描程序中患者的不適，因此壓縮感知一經提出，便用來做MRI重建，

3.3.2 壓縮感知重建程序

壓縮感知演算法（Compressed Sensing，CS）方法以遠低于奈奎斯特采樣定律的采樣頻率對K空間進行隨機欠采樣，利用MRI影像在變換域中的稀疏性，通過非線性重建演算法消除影像中的非相干偽影，恢復欠采樣的K空間資料得到重建影像，圖4是壓縮感知重建演算法的程序，

圖4 壓縮感知重建演算法的程序

在圖4中，是稀疏變換，是稀疏變換的逆程序，稀疏變換是將影像資料向量映射到稀疏向量的運算子；F代表全采樣k空間資料的傅里葉變換，F是全采樣k空間資料的傅里葉變換的逆程序，傅里葉變換是將重建影像資料向量映射到k空間向量的運算子，Fu代表欠采樣k空間資料的傅里葉變換，Fu是其逆程序，并行成像和 CS 技術都能通過減少K空間采集資料加速成像速度，目前已有一些將兩種方法相結合以進一步實作更快的掃描時間的方法，這些方法在重建程序中采用分步重建的方式進行重建，先進行CS重建再進行并行重建或者先進行并行重建再進行 CS 重建，如 CS-SENSE[19]、CS-GRAPPA[20]等，

3.4.基于深度學習的MRI重建方法

在3.1到3.3節中，已經介紹了傳統的基于部分傅里葉MRI重建方法、并行重建方法和壓縮感知重建方法，部分傅里葉MRI重建方法，重建質量一般，一般不用于臨床使用，并行成像利用了接收線圈之間的冗余，是臨床上最常用的方法，壓縮感知是利用基于線性稀疏變換的影像的可壓縮性，進行規則化重建的另一種方法，但是在很高的加速度下，并行成像會遭受噪聲放大的影響，而壓縮感知重建可能會導致殘留偽影，而且，壓縮感知重建計算復雜，并且需要對正則化引數進行經驗上的微調，調參困難，重建速度過慢，
而深度學習是是20世紀80 年代以來人工智能領域研究熱點之一，它可以模擬人腦，自動從大量的資料中學習特征表達，實作高度的非線性映射，主要應用于資料建模、預測估計、生物醫學等領域，并成功解決了現代計算機無法解決的許多問題，表現出良好的資訊并行處理能力、自學能力和推理能力[21]，
Wang等人（2016）[22]首次提出將深度學習引入到快速核磁共振重建方法中，引發了業內學者的關注，從此基于深度學習的MRI重建發展迅速，涌現了一批優秀基于深度學習的MRI重建方法，
從此深度學習引起了人們對高質量加速MRI的興趣，基于深度學習的重建方法避免的手動調參的困難，并且在臨床使用中可以大量縮短掃描時間和重建時間，具有較高的臨床使用價值，目前，基于深度學習的MRI重建演算法可以大致分為兩類，基于資料驅動的端到端的深度學習重建方法和和基于核磁物理成像原理的深度學習重建方法，

3.4.1 基于資料驅動的深度學習重建方法

在基于資料驅動的端到端的深度學習重建方法中，學習了欠采樣k空間到完整k空間或者影像的映射，或者學習有偽影的影像到無偽像的映射，這類深度學習方法一般需要大量的高質量的MRI資料來當訓練樣本和參考影像，來提取MRI資料中的特征進行引數調整和學習，目前常用于MRI重建的網路結構有卷積神經網路（CNN）(2016)[22],U-net網路(2018)[23]，Deep Residual(Resent)網路(2018)[24]，生成對抗網路( Generative Adversarial Neural Networks,GAN)(2019)[25]，深度級聯卷積神經網路(Cascade net)[26]等，在此基礎上，各種改進的網路不斷出現[27-29]，由于篇幅有限，本文主要介紹兩種經典的基于資料驅動的深度學習的重建方法，
（1）基于卷積神經網路的重建方法
Wang等人（2016）[22]該方法提出了一種離線卷積神經網路來學習零填充影像到全采樣MRI影像之間的端到端映射，圖5是基于卷積神經網路的重建方法的程序，離線訓練程序中，輸入全采樣K空間資料，零填充（Zero-filled Images）MR影像為全采樣的K資料的直接逆變換，逆變換的結果是含有偽影的質量較差的MRI影像，Ground truth是重建出來的無偽影的MRI影像，其中C表示端到端映射函式，網路訓練完成后，學習了一個卷積神經網路，在在線成像階段，輸入欠采樣的傅立葉資料到訓練好的網路模型中，恢復出準確的高質量的MRI重建影像，

圖5 基于卷積神經網路的重建方法的程序

結果表明，該方法的簡單重建模型生成的影像非常接近原始影像，沒有明顯的細節和結構丟失，它表明所提出的網路能夠恢復在零填充MR影像中丟棄的細節和精細結構，該網路的訓練大約需要三天，但在相同的GPU配置下，每個在線MRI重建所花費的時間不到1秒，而且該網路不僅能夠恢復MRI影像的細節和精細結構，而且能夠與任何在線重建演算法兼容，提高成像的效率，該網路還可以與在線CS-MRI方法結合使用，以實作更高效的成像，
（2）基于深度級聯卷積神經網路的重建方法
Schlemper等人(2018)受深度學習最新進展的啟發，提出了一個深度學習重建框架，該框架使用卷積神經網路（CNN）的深層級聯從欠采樣資料中重建二維心臟磁共振（MR）影像的動態序列，以加快資料采集程序，如圖6所示，

圖6 基于深度級聯卷積神經網路的重建方法流程圖

結果表明，當每個2D影像幀獨立重建時，在重建誤差和重建方面，所提出的方法均優于最新的2D壓縮感知方法和基于字典學習的MR影像重建，并且演算法結合卷積和不同影像幀之間進行引數共享方法，充分利用了動態影像序列中的空間相關性，而且重建速度非常快，每個完整的動態序列都可以在不到10 s的時間內重建，對于2D情況，每個影像幀都可以在23 ms內重建，從而實作了實時應用，

3.4.1 基于物理原理的深度學習重建方法

在基于物理原理的深度學習重建方法中，將傳統的重建方法與深度學習相結合，需要考慮到線圈靈敏度和欠采樣模式的前向編碼算子的知識通過對優化演算法進行網路化，從而學習重建模型的最優引數，而不是單純只學習K空間到影像域或者影像域之間的映射，從而可以增加模型的泛化能力，減少訓練資料量，這類方法越來越受到重視，其中典型的方法包括變分網路（2018）（Variational network，VN）[30]，基于模型的深度學習（Model-Based Deep Learning）[31]，交替方向乘子法（Deep ADMM-Net）[32]，近似梯度下降方法（Neural proximal gradient descent）[33]，以及一些其他的方法[34-36]，
本文列舉兩個有代表性的基于物理原理的深度學習重建方法，
（1）基于變分網路的重建方法
Hammernik等人（2018）提出了變分網路（Variational network，VN），該網路先學習該重建程序的逆變換的關鍵引數，而不是針對每個新資料集解決一個逆問題來為每個新資料集計算一個合適的原始資料和影像之間的變換，以便將模型應用于所有資料集，從而獲得加速且高質量的MR影像重建，
在變分網路（VN）方法中，使用測得的原始資料作為輸入，線圈靈敏度圖是從完全采樣的k空間中心預先計算得到的，通過應用伴隨算符A*，可從欠采樣的k空間資料中計算出零填充解，測得的原始資料和靈敏度圖，以及零填充初始化資訊被饋送到VN中，靈敏度圖用于運算子A和A *中，該運算子執行靈敏度加權的影像組合，還可以執行其他處理步驟，例如消除過采樣，而在VN的每次迭代中都需要原始資料和運算子A和A *資料項的梯度，正則化的梯度僅應用于影像域，

圖7 VN網路結構圖（Hammernik等人（2018））

在圖7的VN方法中，VN由T梯度下降步驟組成，為了獲得重構影像，將欠采樣的k空間資料，線圈靈敏度圖和零填充解輸入到VN，在處理復數影像時，我們為實平面和復平面學習了單獨的濾波器核Kit，以及學習了非線性激活函式Φit’和資料項權重λt，
訓練后，引數θ是固定的，可以通過VN網路前向傳播k空間資料來有效地重建測驗集的k空間資料，訓練程序如圖8所示，

圖8 VN網路訓練程序圖（Hammernik等人（2018））

收集到的磁共振掃描資料即全采樣k空間資料作為輸入，線圈靈敏度圖是從完全采樣的k空間中心預先計算得到的，測得的原始資料和靈敏度圖，被饋送到變分網路中，訓練資料和測驗資料都是經過相同的欠采樣方法進行處理,得到欠采樣資料和線圈靈敏度圖，訓練資料在經過變分網路訓練完成之后，從而學習到重建程序的逆變換的關鍵引數，即訓練好了所需要的引數模型，最后將該模型應用到線上重建部分對測驗資料進行重建測驗，
（2）基于物理方法的自監督重建網路
Yaman等人(2018)提出了一種基于資料的欠采樣自監督學習的網路（SSDU），用于基于物理學的深度學習（DL）重建，該網路將可用的觀測資料分為兩組，其中一組用于展開網路中的資料一致性單元，另一組用于定義訓練損失，網路結構如圖9所示，并使用公開的fastMRI膝關節資料集，與監督學習方法、傳統的壓縮感知和并行成像方法進行了比較，

圖8 基于物理方法的自監督重建程序（Yaman等（2018））

結果表明所提出的自監督方法在沒有全采樣K空間資料的情況下，能夠達到與監督非常接近的學習效果，可以重建出類似于監督學習的MRI影像，而且該方法在定量指標上明顯優于傳統的壓縮感知和并行成像重建方法，

四、總結

本報告主要簡要介紹了核磁共振成像原理，然后介紹四大類核磁共振重建方法的發展之路，包括部分傅立葉重建方法、并行成像重建方法、壓縮感知重建方法和基于深度學習的重建方法，對于部分傅里葉重建方法，本報告主要介紹了零填充、共軛對稱、Homodyne等多個方法；對于并行成像方法，本報告主要介紹了SENSE、GRAPPA和SPIRiT等臨床實踐中最常用的重建技術，以及同時多層重建方法和三維的并行成像技術；對于壓縮感知重建方方法，本報告主要介紹了壓縮感知重建的原理以及在核磁共振重建中的應用；對于深度學習重建方法，本報告主要介紹了基于資料驅動的端到端的深度學習重建方法和基于核磁物理成像原理的深度學習重建這兩大類方法，并介紹了幾個經典的深度學習重建方法，基于資料驅動的端到端的深度學習重建方法中主要介紹了基于卷積神經網路CNN和深度級聯網路的重建方法，基于核磁物理成像原理的深度學習重建方法主要介紹了基于變分網路和基于物理方法的無監督重建方法，
部分傅立葉重建方法、并行成像重建方法、壓縮感知重建方法都屬于傳統的核磁共振重建方法，這些方法提出的比較早，而并行成像方法已經在臨床上使用多年，已經成為臨床上最常用的重建方法，但是傳統的重建方法也存在著一些問題，例如加速倍數低、演算法迭代時間長、復雜度高、引數選擇困難等，而深度學習可以自動從大量資料中學習特征表達，實作高度的非線性映射，自從深度學習在核磁共振重建中應用以來，基于深度學習的重建方法發展迅速，涌現了一大批優秀的深度學習重建方法，
隨著深度學習在核磁共振重建領域的深入研究和應用，也面臨這一些問題，例如，醫學影像資料很難獲得，一般都是小樣本的資料，而深度學習訓練需要大量的訓練資料，以下幾個方法可以用來緩解這一問題，1)基于物理驅動的深度學習重建方法，該方法將傳統的重建方法與深度學習相結合，從而學習重建模型的最優引數，而不是單純只學習K空間到影像域或者影像域之間的映射，從而可以增加模型的泛化能力，減少訓練資料量，2)資料增強，在訓練之前對資料進行資料增強來擴充資料集，以增加模型的泛化能力和降低模型復雜度，3)遷移學習，遷移已有的深度學習模型到新的重建任務中，此外，醫學影像的標注也是一個嚴重制約深度學習在核磁共振重建中發展的一個重大因素，所以無監督學習的研究和發展顯得格外重要，另外，可解釋性在核磁共振重建中也十分重要，如何提升深度學習在核磁共振重建中的可解釋性是一直以來的難點，需要在這方面繼續進行研究，
雖然，近幾年深度學習在核磁共振重建方法的研究中一直都是熱點研究問題，但臨床上使用最廣泛的還是傳統的并行成像方法，深度學習的重建方法在臨床應用方面還有待進一步研究，以實作深度學習重建方法在核磁共振掃描儀產品上的廣泛落地應用，

參考文獻

1.Jesse Hamilton,Dominique Franson,Nicole Seiberlich. Recent advances in parallel imaging for MRI[J]. Progress in Nuclear Magnetic Resonance Spectroscopy,2017,101.
2.核磁共振成像學.俎棟林-北京：高等教育出版社，2004.1.IBSN 7-04-012966-3
3.何汶靜,陳曉文,朱高杰,羅海.磁共振影像處理中部分傅里葉重建演算法的比較[J].重慶醫學,2016,45(20):2804-2806+2809.
4.Klaas, P, Pruessmann, et al. SENSE: Sensitivity encoding for fast MRI[J]. Magnetic Resonance in Medicine, 1999.
5.Blaimer M，Breuer F，Mueller M，et a1．SMASH，SENSE，PILS，GRAPPA：How to Choose the Optimal Method[J] Topics in Imaging，2004，15(4)：223
6.Sodickson D K，Manning W J．Simultaneous Acquisition of Spatial Harmonics(SMASH)：Fast Imaging with Radiofrequency Coil Arrays[J]．Magnetic Resonance in Medicine，1997，38(4)：591—603．
7.akob P M，Griswold M A，Edelman R R，et a1．AUTO-SMASH：A Self—Calibrating Technique for SMASH Imaging [J]．Magnetic Resonance Materials in Physics，Biology and Medicine，1998，7(1)：42—54．
8.Heidemann R M，Griswold M A，Haase A，et a1．VD-AUTO—SMASH Imaging[J]．Magnetic Resonance in Medicine， 2001，45(6)：1066—1074．
9.M.A. Griswold, P.M. Jakob, R.M. Heidemann, M. Nittka, V. Jellus, J. Wang, B. Kiefer, A. Haase, Generalized autocalibrating partially parallel acquisitions (GRAPPA), Magnet Reson Med, 47 (2002), 1202-1210. doi:10.1002/mrm.10171
10.M. Lustig, J.M. Pauly, SPIRiT: Iterative self-consistent parallel imaging reconstruction from arbitrary k-space, Magn. Reson. Med. 64 (2010) 457–471.
11.M. Murphy, M. Alley, J. Demmel, K. Keutzer, S. Vasanawala, M. Lustig, Fast l1- SPIRiT compressed sensing parallel imaging MRI: scalable parallel implementation and clinically feasible runtime, IEEE Trans. Med. Imag. 31 (2012) 1250–1262.
12.M. Uecker, P. Lai, M.J. Murphy, P. Virtue, M. Elad, J.M. Pauly, S.S. Vasanawala, M. Lustig, ESPIRiT - an eigenvalue approach to autocalibrating parallel MRI: where SENSE meets GRAPPA, Magn. Reson. Med. 71 (2014) 990–1001.
13.M. Barth, F. Breuer, P.J. Koopmans, D.G. Norris, B.A. Poser, Simultaneous multislice (SMS) imaging techniques, Magn. Reson. Med. 75 (2016) 63–81.
14.M. Weiger, K.P. Pruessmann, P. Boesiger, 2D SENSE for faster 3D MRI, Magn. Reson. Mater. Phys. Biol. Med. 14 (2002) 10–19.
15.M. Blaimer, F.A. Breuer, M. Mueller, N. Seiberlich, D. Ebel, R.M. Heidemann, M. A. Griswold, P.M. Jakob, 2D-GRAPPA-operator for faster 3D parallel MRI, Magn. Reson. Med. 56 (2006) 1359–1364.
16.F.A. Breuer, M. Blaimer, M.F. Mueller, N. Seiberlich, R.M. Heidemann, M.A. Griswold, P.M. Jakob, Controlled aliasing in volumetric parallel imaging (2D CAIPIRINHA), Magn. Reson. Med. 55 (2006) 549–556.
17.B. Bilgic, B.A. Gagoski, S.F. Cauley, A.P. Fan, J.R. Polimeni, P.E. Grant, L.L. Wald, K. Setsompop, Wave-CAIPI for highly accelerated 3D imaging, Magn. Reson. Med. 73 (2015) 2152–2162.
18.LUSTIG M, DONOHO D, PAULY JM. Sparse MRI: The application of compressed sensing for rapid MR imaging.[J]. Magnetic resonance in medicine: official journal of the Society of Magnetic Resonance in Medicine,2007,6(6).
19.LIANG D, LIU B, WANG J, et al. Accelerating SENSE using compressed sensing[J]. Magn Reson Med, 2009, 62(6): 1574-1584.
20.HUANG Li-jie, SONG Yang, ZHAO Xian-ce, XIE Hai-bin, WU Dong-mei, YANG Guang. A New Combination Scheme of GRAPPA and Compressed Sensing for Accelerated Magnetic Resonance Imaging[J]. Chinese Journal of Magnetic Resonance, 2018, 35(1): 31-39.
21.LeCun Y, Bengio Y, Hinton G. Deep learning. Nature 2015 may;521(7553):436–444. http://dx.doi.org/10.1038/ nature14539.
22. Wang S , Su Z , Ying L , et al. Accelerating magnetic resonance imaging via deep learning[C]// 2016 IEEE 13th International Symposium on Biomedical Imaging (ISBI 2016). IEEE, 2016.
23.Jure Zbontar, Florian Knoll, Anuroop Sriram, et al. fastMRI: An Open Dataset and Benchmarks for Accelerated MRI.[J]. IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences, 2018, abs/1811.08839
24.Lee D, Yoo J, Tak S, Ye JC. Deep Residual Learning for Accelerated MRI Using Magnitude and Phase Networks. IEEE Trans Biomed Eng 2018;65(9):1985-1995.
25.Mardani M, Gong E, Cheng JY, Vasanawala SS, Zaharchuk G, Xing L, Pauly JM. Deep Generative Adversarial Neural Networks for Compressive Sensing MRI. IEEE Trans Med Imaging 2019;38(1):167-179.
26.Schlemper J, Caballero J, Hajnal JV, Price AN, Rueckert D. A Deep Cascade of Convolutional Neural Networks for Dynamic MR Image Reconstruction. IEEE Trans Med Imaging 2018;37(2):491-503.
27.Zhu B, Liu JZ, Cauley SF, Rosen BR, Rosen MS. Image reconstruction by domain transform manifold learning. Nature 2018;555(7697):487-492.
28.Liang D, Cheng J, Ke Z, Ying L. Deep MRI Reconstruction: Unrolled Optimization Algorithms Meet Neural Networks. arXiv preprint arXiv:1907.11711; 2019.
29.Akcakaya M, Moeller S, Weingartner S, Ugurbil K. Scan-specific robust artificial-neuralnetworks for k-space interpolation (RAKI) reconstruction: Database-free deep learning for fast imaging. Magn Reson Med 2019;81(1):439-453.
30.Hammernik et al., Learning a variational network for reconstruction of accelerated MRI data, Magnetic Resonance in Medicine, 79(6), pp. 3055-3071, 2018.
31.Aggarwal HK, Mani MP, Jacob M. MoDL: Model-Based Deep Learning Architecture for Inverse Problems. IEEE Trans Med Imaging 2019;38(2):394-405.
32.Yang Y, Sun J, Li H, Xu Z. Deep ADMM-Net for compressive sensing MRI. Advances in neural information processing systems; 2016. p 10-18.
33.Mardani M, Sun Q, Donoho D, Papyan V, Monajemi H, Vasanawala S, Pauly J. Neural proximal gradient descent for compressive imaging. Advances in Neural Information Processing Systems; 2018. p 9573-9583.
34.Qin C, Schlemper J, Caballero J, Price AN, Hajnal JV, Rueckert D. Convolutional Recurrent Neural Networks for Dynamic MR Image Reconstruction. IEEE Trans Med Imaging 2019;38(1):280-290.
35.Gregor K, LeCun Y. Learning fast approximations of sparse coding. International Conference on International Conference on Machine Learning; 2010. p 399-406.
36.Yaman B , Hosseini S , Moeller S , et al. Self-Supervised Learning of Physics-Based Reconstruction Neural Networks without Fully-Sampled Reference Data[J]. Magnetic Resonance in Medicine.