聯合多模態特征的無造影劑MRI圖像中肝腫瘤的分割和檢測

肖小嬌，趙文婷，趙涓涓，肖 寧，楊星宇，楊曉棠

(1.太原理工大學 信息與計算機學院，太原 030024；2.山西省腫瘤醫院 醫學影像科，太原 030013； 3.山西醫科大學 第一臨床醫學院，太原 030001)

肝癌是全球第二大最常見的與癌癥相關的致死率高的疾病[1]，降低死亡率最有效的方式是早期檢測。因此，肝病變的分割和早期檢測非常重要。病變分割是肝癌檢測、分期估計和術后治療的關鍵預處理步驟[2]。病變的檢測是醫師制定治療方案的依據，決定了疾病的預后狀態。核磁共振成像(magnetic resonance imaging，MRI)是臨床中最廣泛用于肝癌檢查的成像方式，因為它具有優越的組織對比度，不會產生輻射危害[3]。然而，具有造影劑對比的MRI具有一些缺點，例如可訪問性有限、成本高以及有毒性相關副作用的風險。因此，越來越多的研究使用掃描時間短且沒有造影劑相關風險的無對比增強MRI來作為肝癌的早期監測工具[4-5]。

但是，無造影劑圖像上肝病變的分割和檢測仍然面臨著較大挑戰：1) 肝臟、腫瘤與附近器官組織之間的對比度低或邊界模糊[6]；2) 腫瘤的大小、形狀、位置、外觀/紋理和數量在不同患者間存在巨大差異；3) 大量的MRI圖像需要放射科醫師進行人工標注、評估和診斷，需要消耗大量的時間，且診斷往往依靠醫師的個人知識和經驗，往往會造成誤診。因此，迫切需要開發出準確、可靠和自動化的技術，以通過無造影劑的MRI掃描對其腫瘤進行分割和檢測，以協助臨床醫生進行肝癌診斷及后期的手術計劃。

深度學習已經在醫學圖像的許多領域有成功應用[7-8]。其中，有許多在MRI中對肝臟或肝臟病變進行分割的工作[9-13]。然而，大多數現有工作都在公開數據集LiTS等造影劑增強圖像上進行分割工作。同時，大部分也僅在考慮單一模態內隱含關系的情況下進行，幾乎沒有有效地利用多模態MRI圖像的互補特征。有研究表明由彌散加權成像(diffusion-weighted imaging，DWI)和T2抑制成像(T2 fat suppressed，T2FS)組成的無造影劑MRI是肝癌的候選替代監視工具[14]，因為彌散受限和輕度至中度的T2高強度具有明顯的肝腫瘤的影像學特征。尤其是DWI在檢測肝癌細胞方面表現出色[15]。現有的方法尚未探索無造影劑圖像的特異性、多模態圖像間的互補性和多任務(分割和檢測)的相關性，這些都可能提高對肝癌早期的檢測性能。

1 方法描述

本文聯合多模態特征的多任務網絡(multi-task combining multi-modality features network，Mt-C-Mmf)在肝臟無造影劑MRI圖像上同時完成腫瘤的分割和檢測。Mt-C-Mmf由平行的兩條路徑組成，包括分割路徑和檢測路徑，如圖1所示。分割路徑包括多尺度的多模態特征編碼器和對應的解碼器；檢測路徑包括多尺度的多模態特征編碼器和基于Fast R-CNN的檢測器。其中，每個模態的特征經過逐層的多尺度特征提取塊后進行連接得到融合特征。每個任務經過聯合損失的訓練后使網絡同時完成腫瘤的分割和檢測。

1.1 多模態編碼器

編碼器將UNet網絡的下采樣層作為主要架構，逐層得到圖像中肝瘤的上下文信息。同時，為了更好地提取無造影劑圖像中肝瘤的特征，創新性地提出了多尺度特征卷積塊(multi-scale feature extraction block，MsFEB).

具體而言，編碼器由4層組成，每層包括多尺度特征卷積塊、批量歸一化、線性整流(rectified linear unit，ReLU)激活函數和最大池化。

輸入圖像x為256×256，四層卷積核分別設置為{7×7,3×3,3×3,3×3}，i代表卷積的層數，coni代表第i層的卷積大小。x輸入到多尺度特征提取塊后經過3個通道的卷積，如圖2所示。

在膨脹卷積(dilated convolution，DC)的啟發下，通過不同的膨脹系數來擴充卷積增加感受野，從而提高特征的多樣性。同時，多尺度的卷積可以增加對不同大小圖像的適應性。膨脹系數分別設置為{1,2,4}.每一個通道的圖像同時經過coni×coni的膨脹卷積和1×1的卷積，接著經過相乘和全連接后分別得到對應特征圖xf，hf和gf.每個特征圖與x進行連接。最后將特征圖進行融合后輸出特征圖像yf.

圖1 聯合多模態特征的多任務網絡結構Fig.1 Schematic of a multi-task network combining multi-modal features

圖2 多尺度特征提取塊結構Fig.2 Schematic of Multi-scale feature extraction block

xf=x+FC(DC1(x)×reshape(conv(x))) .

(1)

hf=x+FC(DC2(x)×reshape(conv(x))) .

(2)

gf=x+FC(DC4(x)×reshape(conv(x))) .

(3)

T2FS經過編碼器得到特征圖[m1,m2,…,mn-1,mn]，DWI經過編碼器得到特征圖[n1,n2,…,nn-1,nn]，其中mi∈RH×W，ni∈RH×W，H和W分別代表圖像的寬和高，n代表卷積層的通道數。將兩個模態特征圖進行連接后得到融合特征。通過兩個平行編碼器分別對單模態特征進行提取后再融合，這樣的方式充分提取了單模態的特異性特征和融合了多模態的互補特征，提高了分割和檢測任務的準確性。

1.2 多任務解碼器

多任務解碼器由分割路徑解碼器和檢測路徑解碼器組成，兩個解碼器同時訓練來完成兩個任務。在每個解碼器前都對融合特征進行1×1卷積，可以對特征進行再一次融合，也可以進行降維操作。

1.2.1分割路徑解碼器

分割路徑的解碼器以Unet[16]的上采樣路徑為主要框架，逐層還原圖像的信息，最終得到與原始圖像分辨率相同的分割結果。同時，解碼器中每層都與對應的下采樣層的特征進行融合，這樣解碼器可以學習到編碼器中丟失了的低級特征。最終解碼器獲得更準確的上下文信息，提高分割的準確性。解碼器由4層組成，每層包括反卷積、批量歸一化和ReLU激活。最后一層通過1×1卷積后得到對應的分割結果。

1.2.2檢測路徑解碼器

將融合后的特征輸入到檢測路徑解碼器，依次經過池化層、全連接層從而將多模態特征進一步融合。檢測的結果分別包括分類結果和定位框，因此融合特征分成兩支處理：1) 第一支經過全連接層和Softmax對目標進行分類；2) 第二支經過全連接層和邏輯回歸得到生成框，回歸結果為:

tu=(tu,x,tu,y,tu,w,tu,h) .

(4)

式中：(x,y)代表生成框的中心點坐標；w和h分別代表生成框的寬和高。

1.3 多任務聯合損失

Mt-C-Mmf的多任務聯合損失由分割損失Lseg和檢測損失Ldet組成。因此，聯合損失可以表示為：

(5)

式中，

Lcls(p,u)=-lgpu.

(6)

Lloc(tu,v)=∑i∈{x,y,w,h}smooth(tu-v) .

(7)

式中，p=(p0,p1,…,pk)代表目標的概率分布；u代表類別；pu代表目標屬于第u類的概率值；tu代表邏輯回歸輸出值；v代表生成框的金標準。

2 實驗

2.1 數據

實驗數據來源于由麥吉爾大學健康中心批準后獲得的 255名受試者(125名肝血管瘤受試者和130名肝細胞癌受試者)的臨床數據集。每個受試者都經過標準的臨床肝臟MRI檢查后收集無造影劑和造影劑序列圖像，具體包括無造影劑圖像(T1FS[256×256 px]，T2FS[256×256 px]，DWI[256×256 px])和多相造影劑增強圖像(T1-動脈期，T1-門靜脈期和T1-延遲期)[256×256 px].患者在注射釓布醇0.1 mmol/kg造影劑后在3T MRI掃描儀上得到多相的增強圖像。根據臨床標準，醫師使用ITK-SNAP工具[17]手動獲得造影劑增強MRI中T1-延遲期圖像的分割標簽,同時醫師人工診斷肝腫瘤，醫師標注和診斷結果作為金標準。

2.2 實驗細節

通過5倍交叉驗證測試對訓練好的網絡進行性能評估和比較。具體來說，使用2的批量大小來訓練Mt-C-Mmf，迭代次數為10 000，學習率為1×10-4.Mt-C-Mmf在Ubuntu 18.04平臺，Python v3.6，Pytorch v0.4.0和CUDA v9.0庫上執行，并在3.60 GHz的Intel○R CoreTM i9-9900K CPU和GeForce GTX 1080Ti 11GB GPU上運行。

2.3 評估指標

本文使用骰子系數(dice coefficient，DSC)和像素準確率(pixel accuracy，p-Acc，式中用pAcc表示)來評估分割的性能。使用交并比(intersection-over-union，IoU)來評估回歸框的性能。

(8)

(9)

(10)

3 結果和分析

3.1 網絡整體性能

Mt-C-Mmf網絡在無造影劑圖像中肝臟腫瘤的分割中取得了較好的結果。與其他方法的分割結果如圖3所示。圖3中，(a)和(b)分別是無造影劑MRI圖像：T2FS和DWI；(c)-(g)分別是4種不同方法的分割結果和金標準的局部放大圖；(h)是造影劑增強MRI：T1-延遲期。此外，分別用綠色箭頭和黃色箭頭在無造影劑圖像上指出醫師可以觀察到的腫瘤位置。通過4例受試者的MRI可以看到在無造影劑圖像上某些病變是肉眼無法觀察到的(圖3的第三行和第四行)。

如圖3所示，本文方法可以得到與金標準相近的分割結果。尤其對于無造影劑圖像中無法觀察到或者邊界較模糊的難分割的病變，在多模態圖像的互補信息、多任務間的相互約束以及多尺度特征提取塊的幫助下，Mt-C-Mmf能夠捕捉到表征病變的有效特征，完成較精準的分割。

此外，為了評估網絡整體性能，對網絡進行了定量實驗，結果如表1所示。在分割方面，Mt-C-Mmf的DSC為(81.98±1.07)%，pAcc為(93.72±0.97)%，在檢測方面，IoU達到了(80.19±1.46)%，分類的準確性為(90.36±0.61)%，敏感性為(90.83±1.76)%，特異性為(90.15±0.87)%.

3.2 消融實驗

為了驗證提出的每個模塊對分類和檢測結果的貢獻，進行了消融實驗。具體而言，包括無多模態數據(No multi-modality，No Mm)，即去除DWI編碼器，僅保留T2FS編碼器；無多尺度特征提取塊(No MsFEB)，即去除MsFEB，使用傳統卷積層代替它；無聯合損失函數(No multi-task，No Mt)，即每個任務單獨完成。

圖3 不同方法的分割結果對比圖Fig.3 Comparison of segmentation results of different methods

表1 TsA-MtMm的模塊消融實驗結果Table 1 TsA-MtMm module ablation experiment results %

消融實驗結果如表1所示，消融實驗驗證了模型中的多模態、多尺度特征提取塊和多任務提升網絡進行肝臟腫瘤同時分割和檢測的性能。其中，影響最大的是多模態數據。通過表1的第1行和第4行的比較，當沒有多模態數據(No mm)時，分割和檢測性能下降，其中DSC下降了6.71%，pAcc下降了3.83%，IoU下降了5.21%，準確性下降了4.41%， 敏感性下降了6.77%，特異性下降了6.45%.

3.3 與當前方法對比

為了驗證Mt-C-Mmf的有效性，將其與目前先進的算法進行對比。為了驗證分割的性能，Mt-C-Mmf分別與UNet[16]和Radiomics-guided GAN(XIAO et al[12])對比；為了驗證檢測的性能，Mt-C-Mmf分別與Tripariter-GAN(ZHAO et al[7])和Faster RCNN[18]對比；同時，為了驗證同時分割和檢測，與Mask RCNN[19]進行了對比。結果如表2所示，Mt-C-Mmf取得了當前最好的效果。其中分割DSC達到(81.98±1.07)%，pAcc達到(93.72±0.97)%，檢測的生成框與金標準的IoU達到(80.19±1.46)%，分類的準確率達到(90.36±0.61)%.

表2 TsA-MtMm與不同方法的對比結果Table 2 Comparison of TSA MTMM with other methods %

4 結語

肝腫瘤的精確分割和檢測對于提高患者生存率有著非常重要的作用。本文提出的一種聯合多模態特征的網絡，能夠同時實現肝腫瘤的分割和檢測，同時無造影劑MRI圖像又避免了造影劑的危害。通過對255例病人的數據進行了5折交叉驗證實驗，并和先進的Unet，Faster RCNN和Mask RCNN的實驗對比，表明了提出的方法能夠從無造影劑MRI圖像中分割出腫瘤，并且可以定位到腫瘤位置以及腫瘤的類別，從而為臨床醫師提供安全、省時和準確的輔助診斷工具。