基于SA-CycleGAN的3T磁共振圖像生成方法

李琳　浦貴陽　李楊　王樹超　蔣明峰

關鍵詞：磁共振成像;生成對抗網絡;自注意力機制;譜歸一化;組合損失函數

中圖分類號：TP391 文獻標志碼：A

0 引言（Introduction）

磁共振成像（MRI）是臨床醫學常見的影像檢查手段，其具有無電離輻射和非侵入性無創傷等特點，因此在臨床醫學的病理檢查和診斷中得到廣泛應用[1]。對于磁共振成像設備來說，高場強能帶來更好的成像質量，磁共振成像的信噪比與主磁場強度通常成正比，3T的圖像質量和信噪比均比1.5T的高，并且能顯示更好的解剖細節和組織對比。在神經放射學中使用3T磁體的優勢遠遠大于其劣勢，更高強度的磁體在結構和血管掃描、彌散和灌注成像等方面的診斷潛力正在提高，但是使用3T磁體就意味著高場強的成本會大幅增加。超場強磁共振圖像生成可以在不升級硬件的情況下，通過算法實現由1.5TMRI生成近似3T MRI，較大幅度地提高了MRI的圖像質量。

1 相關工作（Related work）

生成對抗網絡[2]（Generative Adversarial Networks， GAN）常用來實現超場強圖像生成，它結合了生成器和判別器兩個神經網絡的系統，上述神經網絡通過在零和博弈框架中相互競爭得以實現。自推出以來，人們對與大腦相關的GAN框架的應用產生了濃厚的興趣，SRGAN[3]首次將GAN應用于單圖像的超分辨率重建，JIANG等[4]也將GAN應用到MRI領域。此外GAN已經成功運用到數據增強、圖像翻譯及圖像分割等領域，這些研究證實了GAN網絡具有廣泛的應用前景[5-12]。本文將CycleGAN作為研究的基本網絡，并且專注于研究提高生成醫學圖像的準確性和真實性[13]。

近年來，圖像合成在醫學成像界獲得了很大的關注，由低場強MRI向高場強MRI的生成、合成技術日益完善。ROY等[14]使用基于字典的稀疏重建處理圖像合成，并且使用基于示例的方法進行稀疏表示，該方法已經成功運用到3T MRI合成7T MRI[15]。DAR等[16]提出了基于條件生成對抗網絡的多對比MRI合成新方法，保留了生成圖像的中高頻細節。目前，研究人員可以使用基于學習的方法合成高場強圖片，例如線性回歸、稀疏學習和隨機森林等[17-19]。隨著深度學習的發展，高場強MRI的合成也有了新的方法，不僅減輕了對手工制作特征的需求，而且已成功應用于各種圖像合成問題。XIANG等[20]提出了一種深度嵌入CNN，即基于3T磁共振圖像合成計算機斷層掃描（CT）圖像的方法。QU等[21]利用空間域和小波域的互補信息完成了低場強到高場強MRI的合成，目前基于CNN的方法通常直接確定復雜的3T到7T映射，而不需要顯式利用多尺度信息。有研究表明，通過整合有價值的先驗信息可以改善網絡學習[22]。

綜上研究表明，目前基于深度學習的MRI超場強重建方面的研究不足，針對現有理論，本文提出了一種基于生成對抗網絡融合自注意力機制的生成方法SA-CycleGAN，用于從1.5T MRI生成3T MRI。首先以CycleGAN的損失函數為基礎，在生成器中加入先驗信息對網絡進行約束，提出了新的組合損失函數;其次將自注意力引入生成對抗網絡作為卷積的補充，有助于生成器生成圖像的細節表達，判別器可以更準確地對全局圖像結構執行復雜的幾何約束;最后使用非局部模型將自注意力模塊引入生成對抗網絡框架，以便生成器和判別器都可以有效地在空間區域之間建立關系依賴。

2 MRI樣本數據庫 （MRI sample database）

每一張3D磁共振圖像的大小是256×256×176像素值，其中（a）橫斷面的尺寸為176×256，（b）冠狀面的尺寸為176×256，（c）矢狀面的尺寸為256×256。本文使用3D Slicer中的Slicer Elastix模塊，以3T MRI作為模板，將1.5T MRI配準到3T圖像模板上，實現空間域圖像配準，經過配準后，使用MRIcro將每一張3D圖像切割成3種不同截面的2D圖片，建立樣本數據庫?，F有60對3D 磁共振圖像，經切片后共有41 300對2D樣本圖片，其中橫斷面和冠狀面分別有15 360對圖片，矢狀面有10 580對圖片。

在深度學習中，用于訓練和測試的數據可能會不足且不平衡，深度網絡模型容易過度擬合且泛化能力很差，由于醫院和患者的狀況并不總是適合于收集數據，并且具有相同疾病的患者數據也并非總是可用。此外，神經網絡需要在大量準確而可靠的數據上進行訓練，數據不正確或表示不正確可能會導致系統的性能變差。所以，本文使用數據擴增方法生成足夠多且平衡的圖像。

對于具有很多重要信息的圖片，例如醫學圖像，最好執行不會增加或丟失圖片信息的圖像增強變換。因此，本文選擇使用無損變換、非剛性變換和先進擴增技術完成醫學圖像擴增。如圖1所示，無損變換是借助Python實現，具體方法主要包括水平翻轉、垂直翻轉和隨機旋轉。

經過數據擴增，建立了一個標準數據庫。該數據庫共有10萬組2D樣本數據對，其中橫斷面和冠狀面切片有40 000對圖片，矢狀面切片有20 000對圖片。

3 基于SA-CycleGAN的3T磁共振圖像生成算法（3T MRI generation algorithm based onSA-CycleGAN）

SA-CycleGAN網絡主要包含四個模塊，分別為兩個生成器結構模塊、兩個判別器結構模塊，如圖2所示。SA-CycleGAN網絡對輸入數據要求較低，適用性強。

為了直觀地對比不同方法的生成性能，選取一張典型的MRI圖像。在圖6至圖8中可以看出，SRGAN生成的MRI丟失了較多細節，Pix2pix和CycleGAN生成的MRI雖然保留了一些細節，但是與全采樣MRI相比，仍有較大的差異。本文所提方法生成的結果則恢復了大部分圖像細節，也有較為清晰的紋理，更加接近于全采樣MRI。

為了定量比較不同方法的生成效果，研究人員在測試集上計算了不同方法生成MRI的平均PSNR 和SSIM ，結果如表1所示，PSNR 和SSIM 的值是均值±標準差的形式，加粗項為每行最優值。從表1中可以看出，本文所提方法生成的MRI的PSNR 和SSIM 均值均高于其他三種方法，PSNR 的標準差與其他方法相差不大，而SSIM 的標準差則略優于其他方法，這表明本文所提方法在保持生成效果相對穩定的情況下，能明顯提高生成圖像的質量。

4.2 消融實驗結果討論

為了評估本文所提方法中不同組成部分對訓練過程和生成質量的影響，研究人員進行了如下消融實驗：（1）不將自注意力機制嵌入GAN框架中（No SA）;（2）在判別器網絡層中取消譜歸一化處理（No SN）;（3）組合損失函數中不加入先驗信息（No Prior）。消融實驗結果對比如表2所示，本文所提方法的實驗結果大部分優于消融實驗的其他結果。這表明本文所提方法的各個組成部分均能有效改善網絡的生成性能，提高生成MRI的質量。

大部分圖像生成的GAN網絡都是使用卷積結構，傳統卷積層擅長分析空間的局部性信息，但無法獲知圖像上較遠距離的依賴關系。為解決上述問題，本文在網絡中加入了自注意力模塊，使模型能夠自適應地感知到對生成圖像起到作用的區域，增強生成MRI的細節，提高成像質量。如圖9所示，對比矢狀面切片在無自注意機制嵌入情況下生成的MRI，整體上看，兩者的生成效果差不多，但從局部放大圖中可以看出，本文所提方法的生成細節更加豐富，紋理還原也更加準確。

訓練不穩定問題仍是生成對抗網絡方法存在的主要問題，如圖10所示，SA-CycleGAN方法損失函數的收斂速度過慢且具有不穩定的性質，加入譜歸一化之后，SA-CycleGAN（SN）方法的損失值呈單調下降，而且損失函數收斂速度加快，表明結合譜歸一化的SA-CycleGAN（SN）方法使訓練變得更加穩定。與之前沒有加入先驗損失的結果相比，納入先驗損失信息后，PSNR 提升了12 dB，SSIM 也提高了1%～3.8%。

5 結論（Conclusion）

本文提出了一種基于生成對抗網絡融合自注意力機制的磁共振圖像超場強生成的新方法，本文所提方法的核心之處在于將自注意力機制和譜歸一化整合到CycleGAN框架中，并且重新構造了組合損失函數。自注意力機制可確保高場強圖像的成像質量和細節，與其他方法相比，本文所提方法獲得的超場強圖像具有更高的PSNR 和SSIM ，圖像細節更接近原始高場強圖像，而譜歸一化則限制了函數變化的劇烈程度，使模型更穩定;在網絡中引入先驗信息，使得生成圖像的真實性和準確性有所提升。此外，消融實驗驗證了組合損失函數、自注意力機制和譜歸一化的有效性，通過這些模塊可以有效地提高圖像生成質量。未來，研究人員會將本文所提出的SA-CycleGAN（SN）應用于從3T圖像生成7T場強甚至更高場強的磁共振圖像，實現可用于臨床的超場強圖像生成，這是未來需要進一步研究與解決的問題。

作者簡介：

李 琳（1997-），男，碩士生。研究領域：計算機視覺，磁共振圖像重構。

浦貴陽（1977-），男，博士，高級工程師。研究領域：人工智能，智能物聯。

李 楊（1986-），男，博士，講師。研究領域：深度學習算法，醫學圖像處理。

王樹超（1974-），男，碩士，副主任醫師。研究領域：腦神經外科，磁共振圖像分析。

蔣明峰（1977-），男，博士，教授。研究領域：生物醫學圖像處理，磁共振圖像重構。