基于跨模態空間匹配的多模態肺部腫塊分割網絡

李家忻 陳后金 彭亞輝 李艷鳳

(北京交通大學電子信息工程學院 北京 100044)

1 引言

在多模態任務特別是在多序列(該文稱多模態)磁共振圖像中，結構性成像呈現目標內部豐富的紋理信息，與之互補的，功能性成像呈現目標與背景的對比度信息，因此多模態學習對于腫塊分割任務具有重要意義。然而磁共振成像(Magnetic Resonance Imaging， MRI)掃描時間較長，且結構性成像和功能性成像呈現結構信息存在差異(如T2權重磁共振圖像，T2W和擴散權重磁共振圖像，DWI)，因此掃描圖像通常存在運動偽影、呼吸偽影，以及模態間局部結構信息不一致等問題[1]。對于基于特征融合的多模態肺部腫塊分割算法，解決模態間空間結構失配問題是進行多模態特征像素級融合的前提[2]。

現有多模態圖像分割算法有兩種方式：圖像配準與多模態分割兩階段算法和基于跨模態空間匹配的多模態分割算法。第1種多模態圖像分割算法，須經過傳統圖像配準方法如剛性配準[3，4]、FFD非剛性配準[5]進行多模態分割網絡輸入的預處理。基于多模特征融合的多模態分割網絡，早期相關工作主要關注輸入圖像融合和輸出特征圖融合[6]。由于輸入級融合和輸出級融合對多模態特征融合不足，Dolz等人[6]針對腦組織的分割問題，提出特征級融合超密集連接分割網絡，將不同層的多模態特征圖分別進行通道堆疊，作為下一層卷積網絡的輸入，以增強對不同尺度多模態特征的融合。基于特征級融合策略，Li等人[7]以殘差U-Net作為骨干分割網絡，將雙路U-Net不同層的多模態特征圖進行通道堆疊后，進行下采樣進入下一層網絡。這種采用特征級多模態融合的U-Net分割網絡，在腫塊分割任務上取得較好表現。然而以上基于像素強度的圖像配準算法存在局部區域誤匹配的問題[8]，且圖像配準與圖像分割兩階段算法配準迭代時間較長[9]。

除了圖像配準和多模態分割兩階段算法之外，基于跨模態空間匹配的多模態目標分割算法是另一種策略。對于未配準的多來源輸入，通過輪廓模型對兩輸入的預測分割掩模進行配準[10，11]。在解決心臟多序列磁共振成像中的失配問題時，在兩模態的虛擬共同空間中，對多變量混合模型進行分割操作，同時在這個共同空間中進行多模態配準[12]，最終同時完成多模態心臟磁共振圖像的配準和分割。在半監督多模態圖像分割任務中，DAFNet[13]將不同模態圖像解耦出解剖信息和模態信息。利用空間變換網絡[14]對解耦出的解剖因子進行空間匹配，在半監督和無監督的情況下，利用對抗訓練實現圖像重建，最終實現多模態分割目標。這些多模態配準和分割聯合算法存在模型復雜度高、配準與分割誤差累計、模態重建對圖像信噪比要求高等缺點。

針對以上兩類現有多模態分割算法的不足，本文提出一種基于跨模態空間匹配的多模態分割網絡。采用深度監督學習策略對空間匹配模塊、分割模塊和特征融合模塊進行多損失函數聯合約束，具有模型復雜度低、易訓練、高分割精度的特點。可以更好地解決T2W和DWI圖像肺部腫塊區域空間失配的問題，提高多模態特征像素融合準確度，獲得更高的肺部腫塊分割精度。

章節安排如下：第2節介紹所提出算法的理論和模型結構，以及空間匹配和分割聯合訓練的算法和過程。第3節介紹實驗數據、實驗設置以及評價指標。第4節給出實驗結果與分析。第5節對所提出算法和實驗結果進行總結。

2 方法

現有部分多模態肺部磁共振圖像腫塊分割須采用模態間配準圖像，針對兩階段多模態配準和分割效率較低的問題，提出多模態空間匹配和肺部腫塊分割聯合神經網絡。如圖1所示，該網絡采用雙路殘差U型分割網絡[15]作為分割主干網絡。在分割網絡基礎上，將參考圖像支路和浮動圖像支路的分割掩模應用于空間變換網絡，對目標腫塊區域進行匹配。再將空間變換網絡(Spatial Transformer Networks， STN)學習得到的變形場應用于兩模態特征圖，以獲得局部區域匹配的多模態特征圖。最后通過特征融合模塊對已匹配的多模態特征圖進行通道融合和特征提取，得到分割結果。采用多階段訓練和深度監督[16]的學習策略實現空間結構匹配與腫塊分割任務的聯合訓練，對分割模塊、空間匹配模塊和特征融合模塊分別采用不同損失函數進行約束，以高效實現多模態特征融合腫塊分割的端到端訓練。下面將在3個小節分別介紹模型各模塊構成及其訓練策略。

圖1 多模態空間匹配分割聯合訓練模型

2.1 訓練分割模塊

2.2 訓練空間變換模塊

圖2 空間變換網絡

2.3 訓練特征融合模塊

3 實驗

3.1 數據集

本文采用肺部磁共振圖像實驗數據集，獲取于廣州醫科大學第一附屬醫院。通過飛利浦Achieva 3.0 T核磁共振系統掃描獲得包括T2W和DWI等序列圖像。實驗選擇橫斷面T2W序列和DWI序列圖像作為兩種模態輸入，對多模態肺部腫塊分割模型進行訓練和測試。同時針對多模態圖像分割任務，T2W圖像和DWI圖像采用相同層坐標系和相同層間距的系統設置進行掃描，以得到空間位置相匹配的T2W-DWI圖像對。該數據集由57名患者的355張肺部橫斷面圖像組成，經過腫塊邊緣手工標記結果的篩選，所有圖像均包含直徑不小于3 cm的腫塊。原始T2W-DWI圖像對經過預處理操作，統一為512像素×512像素分辨率和0.94 mm×0.94 mm物理分辨率。為平衡訓練效率和計算負載，將T2WDWI圖像裁剪為以腫塊區域為中心的256像素×256像素分辨率圖像。經以上預處理操作后的數據集，按照五折交叉驗證分為訓練集和測試集。為了克服數據量較小的局限，訓練集數據經過翻轉、旋轉等方法擴增至原有訓練集的8倍。

3.2 實驗設置

3.3 評價指標

采用4個指標評估分割算法的性能：DSC(Dice Similarity Coefficient)、精確度(Pre)、靈敏度(Sen)和Hausdorff距離(Hausdorff Distance，HD)。DSC表示預測腫塊區域和真實手工標記腫塊區域的重疊面積相似度。Pre表明像素預測結果準確性。Sen計算所有像素預測正確的比率。Hausdorff距離描述了預測區域和標記區域輪廓的相似度。其定義為其中，A和B分別表示預測腫塊分割掩模和真實腫塊分割掩模。由于圖像分割任務的目標是基于像素的二值分類問題，因此背景像素被分類為0，目標像素被分類為1。因此，HD測量預測的預測腫塊分割掩模與真實腫塊分割掩模的總距離。為了去除異常值，采用了Hausdorff距離的第95百分位(HD95)。

表1 多階段訓練超參數設置

4 實驗結果與分析

4.1 聯合模型有效性驗證實驗

為驗證空間結構匹配和分割聯合模型的有效性，將所提出的MMSASegNet與該模型的基準分割框架雙路殘差U型網絡(Dual-path Res-UNet)進行消融實驗對比。Dual-path Res-UNet沒有多模態空間匹配模塊以及與分割模塊聯合訓練的訓練機制。實驗結果如表2所示，加粗字體數字為對比算法在同一評價指標的最佳測試結果。由表2可以看出在DSC指標上，MMSASegNet比Dual-path Res-UNet 提高0.026，性能提高3.14%，標準差降低0.022。在精確度和靈敏度指標上分別比Dual-path Res-UNet提高0.027，0.01，分別提高3.23%，1.16%。Hausdorff距離下降0.18像素，表現提高5.64%。上述結果表明，提出方法中的空間匹配模塊和匹配分割聯合訓練策略具有有效性。

4.2 與其他多模態分割算法對比實驗

為與現有多模態分割神經網絡進行對比，將特征級融合多模態分割網絡HDUNet[7]與圖像級融合的單模態U型分割網絡[17]分別在相同測試集上進行實驗。同時為了對比本文提出的MMSASegNet采用STN空間匹配模塊對其分割模型分割性能的影響，將測試集圖像經過傳統非剛性配準方法進行跨模態配準，得到配準后圖像作為以上兩個對比方法的測試數據，表3這兩組采用已配準圖像的實驗被記為HDUNet with registration， Image-fusion Res-UNet with registration。另外與1階段跨模態配準和多模態分割算法DAFNet進行對比。測試集數據上各方法的分割結果如表3所示，各個評價指標下的最佳結果用加粗字體表示。可以看出，對于T2W-DWI多模態圖像對數據集，HDUNet采用傳統非剛性配準方法進行配準后的測試數據，DSC下降0.012(1.45%)，精確度下降0.037(4.46%)，靈敏度上升0.021(2.41%)，HD95增大0.81像素(4.47%)。對于Image-fusion Res-UNet，采用傳統非剛性配準數據后，DSC提高0.012(1.55%)，精確度提高0.025(3.11%)，靈敏度下降0.003(0.37%)，HD95下降0.22像素(1.12%)。以上實驗結果與4.1節的消融實驗結果對比表明，傳統非剛性配準方法在T2WDWI圖像對數據上不能很好地進行腫塊區域的空間匹配，導致較差的模型分割性能。本文提出的MMSASegNet與以上5組實驗結果相比，各項評價指標有明顯提升，取得平均值最大、標準差最小的DSC和最小的95% Hausdorff距離。在Hausdorff距離上，基于像素級融合的HDUNet模型和基于圖像級融合的Res-UNet模型，都對腫塊區域的輪廓相似度更加敏感，且在網絡正向傳播過程中，腫塊區域輪廓的差異會不斷積累，導致MMSASegNet取得遠低于4個對比實驗的95%Hausdorff距離，低HD95表明該模型的腫塊預測邊緣與真實腫塊輪廓距離的最大偏離值最小，預測分割輪廓整體與真實腫塊輪廓相似度更高。另一種1階段跨模態配準與多模態分割算法DAFNet，在測試集上取得較差分割結果，主要原因是其基于結構信息和模態信息的解耦與重建，其解耦和重建效果直接影響分割與空間匹配的效果。而此數據集中DWI模態圖像分辨率較低，信噪比較低，解耦和重建效果較差。在模型復雜度方面，與兩階段配準分割算法采用傳統配準方法，與采用神經網絡的1階段算法模型復雜度可比性不高，在表3中以橫線表示，不參與比較。與DAFNet相比，MMSASegNet參數量幾乎相同，訓練時間大幅減少，測試時間更短。與另外兩種多模態分割方法相比，MMSASegNet參數量更多，訓練時間略長，但測試時間更短，且取得更好的分割精度。以上實驗證明，本文提出MMSASegNet以較低的模型復雜度，可以實現較高的分割精度。

表3 對比實驗在測試集的測試結果（即五折交叉驗證結果的平均值）

對比方法在測試集分割性能定性分析結果如圖3所示，每一行代表一組測試集圖像及其分割掩模。紅色區域表示預測腫塊分割結果和人工標記腫塊分割結果。從3組不同腫塊特點圖像分割結果可以看出，多模態空間匹配和分割聯合模型在T2W模態圖像上分割肺部腫塊輪廓，可以取得更好的性能表現。在第1行圖像腫塊分割結果中，圖3(d)、圖3(e)列基于多路殘差U型網絡，預測分割結果存在假陽性區域，如圖中黃色方框所示。如圖中圖3(f)、圖3(g)列黃色方框所示，HDUNet在配準多模態圖像和未配準多模態圖像上，分割預測結果存在假陰性像素。如圖3(i)列第3行黃色方框所示，Imagefusion Res-UNet在胸腔邊緣預測出假陽性像素。從圖3的腫塊分割定性分析可以看出，MMSASegNet的腫塊分割結果，與人工標記腫塊區域的面積重合度最高，輪廓相似度最高，對假陽性像素和假陰性像素取得最平衡的抑制效果。

圖3 肺部腫塊分割結果定性分析

5 結束語

本文網絡采用多階段訓練和深度監督學習策略，對多模態腫塊區域空間匹配與多模態腫塊融合、分割進行有效訓練，以較低的模型復雜度，獲得更高的肺部腫塊分割精度。實驗結果證明，與現有其他多模態目標分割網絡相比，本文方法在肺部腫塊測試集上分割精度更高，對于兩模態腫塊區域結構差異較大的圖像對，可以取得更好的腫塊區域空間匹配結果，因而獲得更好的多模態特征圖融合結果，取得面積重合度最高，輪廓差異度最低的腫塊分割結果。本文算法對于多損失函數的損失權重需要經驗獲得，后續將探索空間匹配和分割模塊的影響機制，以自適應分配損失權重，優化多目標訓練效率。