融合感知損失的深度學習在常規MR圖像轉換的研究

張澤茹，李兆同，劉良友，高嵩，吳奉梁

1.北京大學醫學部醫學技術研究院，北京100191；2.北京大學醫學人文學院，北京100191；3.北京大學第三醫院骨科，北京100191

前言

磁共振成像具有高分辨率軟組織圖像、病變顯示敏感性高的優點，被廣泛應用于臨床診斷。不同的脈沖序列在成像時可以獲取到不同模態的磁共振（Magnetic Resonance, MR）圖像，這些模態圖像的對比機制不同，提供的病理和生理信息也不同，因此同時使用多模態的MR圖像可以獲得更多的病理信息。例如，T1（自旋-晶格弛豫）加權圖像（T1Weighted Image,T1WI）適用于觀察解剖結構，而T2（自旋-自旋弛豫）加權圖像（T2Weighted Image,T2WI）突出顯示組織中的液體，適用于觀察組織病變。同時獲取高質量的多模態MR 圖像比較困難。首先獲取需要較長的掃描時間，其次受患者不自主運動影響獲取到的MR 圖像可能會出現偽影而不能用于診斷［1］。因此，通過利用掃描時間相對較短的圖像來生成另一模態圖像，或通過高質量的某一模態圖像生成損壞的另一模態圖像對獲取多模態MR 圖像具有潛在的臨床應用價值［2］。

圖像到圖像轉換網絡在自然圖像上的成功，為多模態醫學圖像轉換提供了很好的參考。生成式對抗網絡（Generative Adversarial Network, GAN）通過生成模型和判別模型之間的對抗來實現總目標函數的自動學習，使生成模型輸出圖像盡可能接近真實圖像［3］。目前已有很多研究將GAN 用于多模態醫學圖像轉換，如端到端的三維卷積神經網絡［4］、三維條件生成式對抗網絡［5-7］、全卷積網絡的GAN模型［8］、有監督的GAN［9］和無監督的GAN［10-12］等。……