基于并行雙域級聯卷積網絡的磁共振圖像重建

袁針云 冉茂松 劉松

（四川大學計算機學院 四川省成都市 610065）

1 引言

磁共振成像(Magnetic Resonance Imaging, MRI)是一種利用核磁共振原理的廣泛應用于臨床的診斷技術，揭示人體內部結構和生理功能，對實質器官、心臟和血管有絕佳的成像效果，與其他檢查方法相比具有多參數、高質量、高分辨率、非侵入等特點。但核磁共振成像技術在捕獲快速變化的信號上表現乏力，成像時間長成為影響該技術發展的主要瓶頸，是學者立志突破的關鍵技術點。數據采集過程的空間有限和時間冗長，都讓患者感到不適難以維持靜態，造成更多的復雜的運動偽影。因此，縮短核磁共振成像時間至關重要。

改變硬件結構和基于壓縮感知理論是兩種傳統的減少成像時間的方法。其中改變硬件結構主要使用基于多線圈的并行成像技術[1-2]，該技術利用包含信號源和空間位置信息的多線圈的敏感度信息加快梯度場編碼。但多線圈受物理制造技術限制且成本昂貴，易刺激病患神經和干擾心腦電。

近幾年來，深度學習在核磁共振重建上取得了良好的性能和突破性的進展，受到人們的廣泛關注，是該領域的熱門研究方法。基于深度學習的核磁共振圖像重建可以概括為四大類，如圖1。

本文的主要貢獻如下：

（1）與大多數現有的單域的重建方法不同，我們提出了一種新的醫學圖像重建框架，使用并行雙域數據來重建圖像。

（2）我們的模型用特征提取網絡捕獲特征，并利用圖像域和頻域之間的相關性將不同域的特征進行融合。

（3）提出了一種新的融合模塊，有效地提高了融合性能。

本文結構組織如下：第二節中，我們將詳細描述所提出的方法。第三節介紹實驗結果以及與其他方法的性能比較。最后，在第四節中進行總結。

2 方法

2.1 基于壓縮感知的圖像重建

圖像重建或者恢復的正演模型是典型的求解逆問題，目的是從y 重建出x，如下：

其中x∈CN表示要重建的2D 目標圖像，由個像素點構成。Fu∈CM×N(M?N)表示欠采樣的傅里葉編碼矩陣。ε 表示獲取產生的噪聲。最后，y∈CM表示k 空間的欠采樣測量。

基于傳統的壓縮感知的圖像重建方法利用x 的先驗信息把公式（1）中的不適應問題轉化為無約束優化問題：

公式（2）的左邊部分是數據保真項，右邊部分是正則項。其中λ 表示正則參數，R 通常使用L0或者L1范數。

深度學習在許多領域都表現出了良好性能。基于深度學習的問題公式化表達如下：

圖1：基于深度學習的核磁共振圖像重建

2.2 提出的方法

網絡整體的結構示意圖如圖2(a)所示，欠采樣頻域和欠采樣圖像域數據作為輸入，重建圖作為輸出。整體分為五個階段，其中階段1~4 結構完全相同，作用于偽影減少和細節恢復，階段5 在融合模塊的輸入和輸出上略微不同。箭頭表示數據流方向，雙域數據進行并行處理。不同域所用模塊結構相同，但不共享參數。

特征提取器的展開結構圖，如圖2(b)所示。特征提取器采用殘差結構，由4 個卷積層、批量標準化層和激活層構成。卷積層的卷積核大小為3×3，步長為1，填充為1，通道從左往右依次為32，64，32，2，LeakyRelu 作為激活函數。由于核磁共振圖像數據通常為復值，由實部和虛部兩部分構成，所以輸入通道數為2。輸入和其經過特征提取器后的輸出，圖像尺寸和通道數均不變。

數據一致性層又稱DC 層的公式如（4）所示，x 是上層特征提取器的輸出，也是該數據一致性層的輸入。其中，DC(x)表示數據一致性層的輸出，λ=0.1 表示超參，y 表示K 空間的欠采樣測量，F表示傅里葉變換，IF 表示傅里葉逆變換，最后M 表示采樣掩碼，是由01 構成的二維矩陣。DC 層公式的大體部分是相同的，主要區別在于x 為頻域還是圖像域。當x 為頻域時，直接帶入公式；當x為圖像域時，需要先對x 做傅里葉變換再帶入公式，以及最后做傅里葉逆變換。

圖2：整體結構圖

融合模塊的展開結構圖，如圖2(c)所示。為了結構圖簡單明了，圖中省略了傅里葉變換和傅里葉逆變換的操作。若融合模塊的目標是融合后的輸出是頻域數據，則輸入中的圖像域數據要先經過傅里葉變換到頻域。同理，若融合模塊的目標是融合后的輸出是圖像域數據，則輸入中的頻域數據要先經過傅里葉逆變換到圖像域。輸入數據的通道數2 分別表示復值數據的實部和虛部，拼接后的雙域數據通道數為4，再由基于通道注意力機制的模塊進行處理，處理前后的數據尺寸和通道數均不變。通道注意力機制自適應選擇權重，能讓網絡學習更為重要的部分，有利于雙域數據融合成單域。之后再把對應的實部和虛部數據進行相加，相加后的實部和虛部進行拼接作為整個融合模塊的輸出。

為了提高重建質量，損失函數由三部分構成除了對應頻域和圖像域的均方誤差（mean-square error, MSE）外，還有感知VGG 損失，見公式（7）。公式（5）為圖像域的均方誤差，其中xt表示原圖的圖像域數據，為重建圖的圖像域數據。公式（6）為頻域的均方誤差，其中yt和分別對應xt和的頻域。

3 實驗結果

3.1 數據集和訓練設置

本文使用公共腦部數據集(https://sites.google.com/view/calgarycampinas-dataset/home/mr-reconstruction-challenge) 來訓練和測試網絡。預處理時對數據進行了歸一化，數值范圍0~255，圖像尺寸255*255。網絡的訓練使用了來自25 個病人的4254 張2D 圖片，而測試使用了來自10 個病人的1700 張2D 圖片。

Adam 作為優化器，學習率為5e-5，提出的模型的所有實驗基于PyTorch 框架，在擁有一張GPU（GTX2080）的Windows 操作系統上進行。

為了評估所提方法的性能，所提方法與其他三種先進的方法進行了對比實驗。定量指標采用了峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結構相似性（Structural SIMilarity ，SSIM）。U-Nets[14]是一種用于單線圈和多線圈的級聯神經網絡。ADMM-CSNet[15]是一種傳統的基于壓縮感知的迭代方法。FusionNet[16]是一種基于深度學習和壓縮感知的雙域方法。

3.2 對比實驗

本節主要描述提出的方法和其他先進的方法進行對比實驗的過程和結果，驗證所提出的網絡的視覺性能和定量指標，后文將提出的并行雙域級聯卷積網絡簡稱為PDNet。實驗中所用的M 采樣掩碼有兩種采樣模式（笛卡爾和徑向）和兩種采樣率（10%和20%）。所有方法都有良好的去偽影效果，其中提出的PDNet 在細節之處更能保持特征、減少誤差。

定量指標使用了峰值信噪比和結構相似性度量。與級聯神經網絡U-Nets 和傳統的迭代方法ADMM-CSNet 相比，雙域網絡利用了頻域和圖像域之間的相關性對細節有更精準的重建效果。與FusionNet 同為雙域數據處理的PDNet 采用了具有注意力機制的融合模塊能有效提取感興趣的部分，得到更好的融合效果。PDNet 在不同的采樣策略中獲得了最高的指標分數，這說明提出的方法具有良好的泛化能力。

4 總結

總而言之，本文提出了一種新的基于深度學習和壓縮感知的并行雙域級聯卷積網絡用于核磁共振快速重建。該網絡并行處理頻域和圖像域的數據且交叉融合，采用具有注意力機制的融合模塊。實驗結果表明，該方法在不同的采樣方法和采樣率上能有效抑制偽影，降低復雜度，保留細節，具有更強的泛化能力。未來的工作將拓展更多的采樣策略和對比方法，注重于動態的核磁共振圖像重建。