基于同一特征空間的多模態(tài)腦腫瘤分割方法

陳 浩，秦志光，丁 熠

（電子科技大學(xué)信息與軟件工程學(xué)院，成都610054）（*通信作者電子郵箱qinzg@uestc.edu.cn）

0 引言

腦膠質(zhì)瘤是最常見(jiàn)的原發(fā)性腦腫瘤，具有很強(qiáng)的侵略性和很高的致死率。根據(jù)世界衛(wèi)生組織（World Health Organization，WHO）的腦腫瘤分級(jí)制度，可以將腦腫瘤分為四級(jí)，其中一、二級(jí)腫瘤被稱為低級(jí)別腫瘤，三、四級(jí)腫瘤被稱為高級(jí)別腫瘤。高級(jí)別腫瘤患者平均壽命往往只有兩年。因此，早發(fā)現(xiàn)、早治療往往能夠大幅提高病人壽命。在臨床中，核磁共振成像（Magnetic Resonance Imaging，MRI）技術(shù)是最常用的腦腫瘤診斷技術(shù)。目前，四種MRI 成像技術(shù)經(jīng)常用于實(shí)際臨床診斷上，分別是T1加權(quán)成像（T1-weighted MRI，T1）、釓增強(qiáng)對(duì)比的T1 加權(quán)（T1-weighted MRI with gadolinium enhancing contrast，T1c）、T2 加權(quán)成像（T2-weighted MRI，T2）和液體衰減反轉(zhuǎn)恢復(fù)的T2 加權(quán)成像（T2-weighted MRI with FLuid-Attenuated Inversion Recovery，F(xiàn)LAIR）。由于病人MRI圖像數(shù)量巨大，醫(yī)生手動(dòng)標(biāo)注腦腫瘤耗時(shí)且效率低下，因此基于機(jī)器學(xué)習(xí)的自動(dòng)腦腫瘤分割在輔助醫(yī)生診斷、手術(shù)規(guī)劃及術(shù)后恢復(fù)效果評(píng)估等方面具有巨大的作用。

近年來(lái)，許多基于機(jī)器學(xué)習(xí)的半自動(dòng)化或自動(dòng)化方法被用于腦腫瘤分割，這些方法往往基于聚類［1-4］、圖模型［5-8］以及隨機(jī)森林［9-11］等學(xué)習(xí)模型。但這些方法所依賴的特征常常是人工設(shè)計(jì)的特征。隨著深度學(xué)習(xí)在圖像、音頻及自然語(yǔ)言等很多領(lǐng)域取得一系列的成功，深度神經(jīng)網(wǎng)絡(luò)也廣泛應(yīng)用在腦腫瘤分割上。文獻(xiàn)［12］采用小的卷積核及減少下采樣層構(gòu)建了較深的卷積神經(jīng)網(wǎng)絡(luò)來(lái)分割腦腫瘤；在此基礎(chǔ)上，文獻(xiàn)［13-16］采用了多尺度卷積神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)腦腫瘤分割。此外基于U 型網(wǎng)絡(luò)（U-Net）［17］、全卷積網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）［18-19］及對(duì)抗生成網(wǎng)絡(luò)（Generative Adversarial Network，GAN）［20-21］等網(wǎng)絡(luò)結(jié)構(gòu)的腦腫瘤分割算法也被廣泛應(yīng)用。這些算法的訓(xùn)練及測(cè)試都是基于四種模態(tài)的腦腫瘤影像，也就是將輸入的四種模態(tài)數(shù)據(jù)經(jīng)過(guò)多層卷積及非線性激活函數(shù)映射到一個(gè)特征空間中，并利用提取到的特征完成腦腫瘤的分割，但在實(shí)際中，若缺少一種或多種模態(tài)數(shù)據(jù)時(shí)，會(huì)導(dǎo)致訓(xùn)練好的網(wǎng)絡(luò)無(wú)法正確提取特征，從而導(dǎo)致無(wú)法正確分割腦腫瘤，一種解決方式就是在訓(xùn)練時(shí)候隨機(jī)選取多種模態(tài)的數(shù)據(jù)，但這會(huì)增加訓(xùn)練時(shí)間。因此，本文提出了一種新的方法，就是將每一模態(tài)的圖像經(jīng)過(guò)同一個(gè)神經(jīng)網(wǎng)絡(luò)映射到同一個(gè)特征空間中，并將多個(gè)模態(tài)的特征結(jié)合起來(lái)進(jìn)行腦腫瘤分割。

本文詳細(xì)討論了基于同一空間的多模態(tài)腦腫瘤分割方法在腦腫瘤分割上的表現(xiàn)，并討論了在數(shù)據(jù)缺失及增加的情況下，常規(guī)多模態(tài)分割方法及本文方法在腦腫瘤分割上的表現(xiàn)。此外，本文詳細(xì)討論了常規(guī)多模態(tài)分割算法及本文方法使用隨機(jī)選擇模態(tài)的訓(xùn)練方法的結(jié)果表現(xiàn)。

1 相關(guān)工作

深度學(xué)習(xí)目前已廣泛應(yīng)用在腦腫瘤分割上，其中最常用的網(wǎng)絡(luò)為深度卷積神經(jīng)網(wǎng)絡(luò)。基于深度卷積神經(jīng)網(wǎng)絡(luò)的分割方法根據(jù)輸入及輸出方式，可以分為兩類：一類是基于塊的腦腫瘤分割；另一類是端對(duì)端的腦腫瘤分割。圖1 展示了目前常用的基于深度卷積神經(jīng)網(wǎng)絡(luò)多模態(tài)腦腫瘤分割方法的基本框架，在基于塊的腦腫瘤分割方法中，網(wǎng)路的輸入是以滑動(dòng)窗口方式從圖像中選取的固定大小的塊，然后使用多層卷積層獲取圖像塊的特征，并利用該特征分類該像素塊中心點(diǎn)的類別；端到端的腦腫瘤分割方法則是采用編碼-解碼的方式，輸入是整幅圖像或圖像塊，經(jīng)過(guò)卷積層編碼提取特征，然后通過(guò)解卷積層或卷積層進(jìn)行解碼，最終獲得整幅圖像或圖像塊中每個(gè)像素點(diǎn)的類別概率。文獻(xiàn)［12］提出了一個(gè)單尺度的二維卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了基于塊的腦腫瘤分割。但是單尺度特征并不能很好地表示不同的腦腫瘤組織，因此文獻(xiàn)［13-16］提出了使用不同大小的塊及采用不同大小的卷積核來(lái)獲取多尺度特征，并將多尺度特征聯(lián)合起來(lái)對(duì)中心像素點(diǎn)進(jìn)行分類。上述方法都是基于二維的塊，雖然可以減少大量的顯存占用，但是二維塊缺乏圖像之間的上下文信息，因此文獻(xiàn)［22］提出了三維多尺度卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取三維體素的多尺度特征。雖然基于塊的腦腫瘤分割方法占用顯存較少，但是由于滑動(dòng)窗口的原因，導(dǎo)致存在大量的重復(fù)計(jì)算，耗時(shí)較高。不過(guò)基于塊的方法可以通過(guò)平衡不同腫瘤組織塊及正常腦組織塊的數(shù)量，極大減輕數(shù)據(jù)不均衡問(wèn)題。

不同于基于塊的腦腫瘤分割方法，端到端的腦腫瘤分割方法則是將整幅圖片或部分圖片作為輸入，輸出同樣大小的概率圖。端到端的腦腫瘤分割方法主要基于FCN、U-Net 及GAN 等網(wǎng)絡(luò)。輸入圖像通過(guò)多層卷積層來(lái)獲取不同尺度的特征，然后網(wǎng)絡(luò)利用上采樣或者雙線性插值的方法來(lái)獲取每個(gè)像素點(diǎn)的特征，并利用這些特征獲取像素點(diǎn)的類別概率。文獻(xiàn)［17-19］給出了基于FCN 或U-Net 網(wǎng)絡(luò)的腦腫瘤分割方法。文獻(xiàn)［20-21］提出了基于GAN 的腦腫瘤分割方法，其中前一個(gè)利用GAN 生成多種虛擬的腦腫瘤圖像作為一種數(shù)據(jù)增強(qiáng)方法，后一個(gè)直接利用GAN 生成多個(gè)分割結(jié)果。類似于基于塊的多尺度方法，文獻(xiàn)［23-24］提出了多層次方法。在端到端的分割網(wǎng)絡(luò)中，低層卷積層獲取的特征往往是低級(jí)特征且對(duì)應(yīng)的輸入圖像區(qū)域較小，高層卷積層獲取的特征往往是高級(jí)特征且對(duì)應(yīng)較大的輸入圖像區(qū)域，因此，多層次方法是將低級(jí)特征同高級(jí)特征結(jié)合起來(lái)，從而得到更豐富的特征來(lái)分割腦腫瘤。相較于基于塊的分割方法，端到端的分割方法更加方便快捷，但端到端的方法易受數(shù)據(jù)不均衡問(wèn)題的困擾。

不論是端到端的多模態(tài)腦腫瘤分割方法還是基于塊的多模態(tài)腦腫瘤分割方法，這些方法都是將多模態(tài)的腦腫瘤影像聯(lián)合起來(lái)提取特征，若存在一個(gè)或多個(gè)模態(tài)缺失，將導(dǎo)致網(wǎng)絡(luò)無(wú)法正確提取特征。

2 網(wǎng)絡(luò)模型

本文提出的多模態(tài)分割方法不同于常用的多模態(tài)分割方法，本文是利用卷積神經(jīng)網(wǎng)絡(luò)的特征提取能力，采用相同的神經(jīng)網(wǎng)絡(luò)單獨(dú)獲取不同模態(tài)數(shù)據(jù)的特征，并將不同模態(tài)在同一特征空間下的特征結(jié)合起來(lái)用于分割腦腫瘤。因此，本文提出的模型包含兩個(gè)部分（如圖2 所示）：一個(gè)為特征提取部分；一個(gè)是融合分割部分。特征提取部分用來(lái)提取每一個(gè)模態(tài)的特征，融合分割部分則是將每一模態(tài)的特征結(jié)合起來(lái)用于分割腦腫瘤。

圖2 所提網(wǎng)絡(luò)總體框架Fig.2 Overall framework of the proposed network

2.1 特征提取

特征提取部分采用了編碼-解碼的方式來(lái)提取不同模態(tài)的特征，網(wǎng)絡(luò)主要包含兩個(gè)部分，分別是自底而上的特征提取過(guò)程和自上而下的特征提取過(guò)程。如圖3 所示，自底而上的特征提取過(guò)程的輸入為單一模態(tài)的圖像數(shù)據(jù)，輸入圖像經(jīng)過(guò)多個(gè)3×3 卷積層來(lái)獲得不同層次的特征，其中底層卷積層獲取的特征往往是低級(jí)特征，高層卷積層獲取的特征往往是高級(jí)特征。為了更好地獲取不同層次的特征，本文采用了最大池化的下采樣方法來(lái)壓縮低層特征，并將低層特征同高層特征結(jié)合起來(lái)，從而更加有效地融合不同層次的特征。自上而下的特征提取過(guò)程可以看作是解碼過(guò)程，也就是利用高層特征逐步獲取每一個(gè)像素點(diǎn)的特征。該過(guò)程由一系列的3×3解卷積層組成。此外，類似于自底而上的特征提取過(guò)程，自上而下的過(guò)程同樣采用了多層次的方法，高層特征通過(guò)雙線性插值的方式得到高分辨率特征，并同該層特征連接起來(lái)獲取下一層特征，最終經(jīng)過(guò)Sigmoid激活函數(shù)得到輸入圖像每個(gè)像素點(diǎn)對(duì)應(yīng)的特征，最后一層的特征圖數(shù)就是特征空間大小。

圖3 特征提取Fig.3 Feature extraction

2.2 融合分割

本文采用了四種模態(tài)的腦腫瘤影像，每一模態(tài)的影像通過(guò)特征提取部分得到其在同一特征空間下的每個(gè)像素點(diǎn)的特征，設(shè)四種模態(tài)影像同一位置的像素點(diǎn)經(jīng)過(guò)特征提取部分得到的特征向量為{a11，a12，…，a1M，a21，a22，…，a2M，…，a4M}，其中{ai1，ai2，…，aiM}表示第i（i∈[1，4]）種模態(tài)影像經(jīng)過(guò)特征提取模塊提取的特征向量，M表示特征空間大小。將該特征向量作為輸入，經(jīng)過(guò)一層全連接層后采用softmax 分類獲得最終分割結(jié)果。由于本文采用softmax 分類，因此，損失函數(shù)選擇為softmax交叉熵?fù)p失函數(shù)，其表示為：

其中：yi為標(biāo)簽的真值；pi為像素點(diǎn)被分成正確類別的概率；N為單個(gè)模態(tài)樣本的數(shù)量。

此外，在本文中，將每一個(gè)模態(tài)影像通過(guò)網(wǎng)絡(luò)映射到同一特征空間，該特征空間具有多個(gè)屬性，本文希望每個(gè)模態(tài)影像映射過(guò)來(lái)后具有確切的屬性，即盡量取0 或取1，因此加入了信息熵來(lái)迫使影像映射后具有特定的屬性。該損失函數(shù)為：

其中：pij為第i個(gè)像素點(diǎn)在第j屬性空間下的值。

因此綜上所述，網(wǎng)絡(luò)最終損失函數(shù)表示為：

其中：α1、α2為網(wǎng)絡(luò)超參數(shù)。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 數(shù)據(jù)集及評(píng)價(jià)指標(biāo)

本文實(shí)驗(yàn)的數(shù)據(jù)來(lái)源于腦腫瘤公開(kāi)數(shù)據(jù)集BRATS 2015，該數(shù)據(jù)集包含兩個(gè)子集，分別是訓(xùn)練集和測(cè)試集。其中，訓(xùn)練集分為高級(jí)別腫瘤和低級(jí)別腫瘤，高級(jí)別腫瘤有220 個(gè)病人影像，低級(jí)別腫瘤有57 個(gè)病人影像。測(cè)試集則是混合了高級(jí)別腫瘤和低級(jí)別腫瘤，共有110 個(gè)病人影像。無(wú)論是訓(xùn)練集還是測(cè)試集，每個(gè)病人影像有四種模態(tài)數(shù)據(jù)，每個(gè)病人的影像大小為155×240×240。本文所有方法都是在訓(xùn)練集上進(jìn)行訓(xùn)練，然后在測(cè)試集上測(cè)試，所有測(cè)試集的分割結(jié)果上傳到Brats網(wǎng)站，并由網(wǎng)站評(píng)估結(jié)果。

本文方法的輸入數(shù)據(jù)為4 模態(tài)MRI 圖像，由于采集的設(shè)備不同以及不同模態(tài)MRI 圖像的采集參數(shù)不同，因此不同MRI 圖像的最大灰度值范圍在300～4 000。為了使網(wǎng)絡(luò)更好地工作，對(duì)數(shù)據(jù)進(jìn)行了預(yù)處理。本文采用了文獻(xiàn)［23］中的數(shù)據(jù)預(yù)處理方法：首先對(duì)MRI 圖像中的腦組織區(qū)域數(shù)據(jù)進(jìn)行零均值標(biāo)準(zhǔn)化，其次對(duì)所有數(shù)據(jù)進(jìn)行截取，將其截取到［-5.0，5.0］，然后將數(shù)據(jù)縮放到［0.0，1.0］，最后將原始MRI 圖像中灰度值為0的像素點(diǎn)設(shè)為0。

本文方法是將腦影像分為5 類，分別是正常組織或背景、水腫、壞死、非增強(qiáng)腫瘤和增強(qiáng)腫瘤。但在測(cè)試時(shí)，是進(jìn)行三分類測(cè)試，其中壞死、非增強(qiáng)腫瘤和增強(qiáng)腫瘤稱為核心腫瘤，核心腫瘤加上水腫區(qū)域?yàn)橥暾[瘤，三分類測(cè)試就是評(píng)估完整腫瘤、核心腫瘤和增強(qiáng)腫瘤的分割。

本文采用Dice 系數(shù)來(lái)定性地描述分割結(jié)果，令A(yù)和B分別代表了真值和方法的分割結(jié)果，則Dice系數(shù)定義為：

3.2 網(wǎng)絡(luò)超參數(shù)及訓(xùn)練

本文網(wǎng)絡(luò)具體結(jié)構(gòu)已在圖2及圖3中給出，卷積層和解卷積層采用了3×3 卷積核，其中最后一層卷積層的特征圖數(shù)量設(shè)為384，其他卷積層和解卷積層的特征圖數(shù)量設(shè)為128。此外，除了第一層卷積層和最后一層解卷積層，其他卷積層及解卷積層都接一個(gè)batch norm 層［25］，網(wǎng)絡(luò)激活函數(shù)采用LReLU函數(shù)。本文采用了Adam 優(yōu)化算法［26］，其momentum設(shè)為0.9。在訓(xùn)練時(shí)，網(wǎng)絡(luò)超參數(shù)α1與α2分別設(shè)為1.0 和0.1。網(wǎng)絡(luò)的batch 大小設(shè)為5，網(wǎng)絡(luò)的卷積核參數(shù)由高斯分布N～（0，0.02）進(jìn)行初始化，網(wǎng)絡(luò)的偏置參數(shù)初始化為0。網(wǎng)絡(luò)的初始學(xué)習(xí)率設(shè)為0.003，epoch設(shè)為32，學(xué)習(xí)率采用指數(shù)衰減的方式，衰減基數(shù)為0.55，衰減步數(shù)為每4個(gè)epoch衰減1次。

3.3 結(jié)果分析

本節(jié)將給出具體的實(shí)驗(yàn)結(jié)果，從三個(gè)方面對(duì)本文方法進(jìn)行討論：首先，討論特征空間大小及全連接層大小對(duì)結(jié)果的影響；然后，給出數(shù)據(jù)缺失下，在四種模態(tài)上訓(xùn)練的聯(lián)合特征網(wǎng)絡(luò)及本文方法的表現(xiàn)；最后給出隨機(jī)選取不同模態(tài)數(shù)據(jù)訓(xùn)練下的各方法表現(xiàn)。

此外，為了更好地對(duì)比，本文將特征提取模塊單獨(dú)抽離出來(lái)作為基準(zhǔn)網(wǎng)絡(luò)，該基準(zhǔn)網(wǎng)絡(luò)輸入的是四模態(tài)影像，并提取四模態(tài)影像的聯(lián)合特征用來(lái)分割腦腫瘤。

3.3.1 特征空間大小與全連接層大小對(duì)網(wǎng)絡(luò)的影響

本文提出的網(wǎng)絡(luò)首先是將多個(gè)模態(tài)的影像映射到同一特征空間，因此特征空間大小對(duì)網(wǎng)絡(luò)將有一定的影響，本節(jié)首先討論特征空間大小對(duì)網(wǎng)絡(luò)的影響。

為了討論特征空間大小對(duì)網(wǎng)絡(luò)分割結(jié)果的影響，本文首先固定了全連接層大小，將連接層的神經(jīng)元數(shù)目設(shè)為160，特征空間大小改變的結(jié)果展示在圖4中。

圖4 特征空間大小的影響Fig.4 Influence of feature space size

從圖4中可以看出，即使特征空間大小為1，依然可以實(shí)現(xiàn)腦腫瘤圖像的分割任務(wù)。當(dāng)特征空間大小從1 增加到15時(shí)，網(wǎng)絡(luò)核心腫瘤和增強(qiáng)腫瘤分割上的表現(xiàn)持續(xù)增加；當(dāng)繼續(xù)增大特征空間時(shí)，有輕微降低，但總體呈上升趨勢(shì)。如表1中展示，當(dāng)全連接層大小為160時(shí)，相比選擇大小為25的特征空間，特征空間大小為40 的模型在核心腫瘤和增強(qiáng)腫瘤分割的表現(xiàn)上都有很大的提升。當(dāng)全連接層大小為200時(shí)，特征空間大小為40 的模型在核心腫瘤和增強(qiáng)腫瘤分割的表現(xiàn)上仍然強(qiáng)于特征空間大小為25 的模型。隨著空間大小增加，整體腫瘤的分割結(jié)果則趨于不變，核心腫瘤和增強(qiáng)腫瘤的分割則有上升趨勢(shì)。但隨著空間大小的增加，顯存占用也在增加。

此外，在融合分割部分，所有模態(tài)圖像經(jīng)過(guò)映射后的特征串聯(lián)在一起，經(jīng)過(guò)全連接層，最后得到分類結(jié)果，因此，全連接層的大小對(duì)結(jié)果有一定的影響。表1 給出了不同全連接層大小的結(jié)果，當(dāng)特征空間大小定為25時(shí)，隨著全連接層大小的增加，核心腫瘤和增強(qiáng)腫瘤結(jié)果會(huì)有所提升，當(dāng)特征空間大小為40時(shí)，全連接層大小增加，也提升了增強(qiáng)腫瘤的分割結(jié)果。

表1 不同的全連接層大小的DSC結(jié)果Tab.1 DSC results of fully connected layers of different sizes

雖然特征大小及全連接層大小的增加會(huì)提升腫瘤的分割效果，但不能無(wú)限增加，隨著大小的增加，結(jié)果會(huì)達(dá)到一定的上限。

3.3.2 數(shù)據(jù)缺失下網(wǎng)絡(luò)的表現(xiàn)

目前，絕大多數(shù)腦腫瘤分割算法是基于四種模態(tài)影像來(lái)訓(xùn)練的，但當(dāng)測(cè)試時(shí)，有一種或多種模態(tài)缺失時(shí)，網(wǎng)絡(luò)結(jié)果有什么變化呢？本節(jié)主要討論使用四種模態(tài)影像訓(xùn)練好的網(wǎng)路在數(shù)據(jù)缺失下的表現(xiàn)情況。

首先討論網(wǎng)絡(luò)完全使用四種模態(tài)數(shù)據(jù)訓(xùn)練結(jié)果，表2 反映了基準(zhǔn)網(wǎng)絡(luò)和本文方法經(jīng)過(guò)四種模態(tài)影像后在缺失FLAIR模態(tài)數(shù)據(jù)時(shí)的表現(xiàn)結(jié)果。在該實(shí)驗(yàn)中，本文方法的特征空間大小選為10，全連接層大小選為160，基準(zhǔn)網(wǎng)絡(luò)同本文方法都是經(jīng)過(guò)全部四種模態(tài)影像訓(xùn)練，在測(cè)試時(shí)，以去掉FLAIR模態(tài)影像為例，結(jié)果如表2 所示。結(jié)果反映了聯(lián)合提取四種模態(tài)影像特征的方法在數(shù)據(jù)缺失時(shí)不能正常地完成分割，而本文方法雖然表現(xiàn)下降較多，但是對(duì)數(shù)據(jù)缺失有一定的抵抗能力。

表2 網(wǎng)絡(luò)在缺失FLAIR模態(tài)數(shù)據(jù)時(shí)的DSC結(jié)果Tab.2 DSC results of networks without FLAIR modal data

為了抵抗數(shù)據(jù)缺失，對(duì)于基準(zhǔn)網(wǎng)絡(luò)，可以采用在訓(xùn)練時(shí)隨機(jī)選取不同模態(tài)的數(shù)據(jù)進(jìn)行訓(xùn)練，但這種方式會(huì)導(dǎo)致訓(xùn)練時(shí)間增加，在同時(shí)采用四種模態(tài)數(shù)據(jù)訓(xùn)練時(shí)，基準(zhǔn)網(wǎng)絡(luò)的epoch大小選為32，當(dāng)隨機(jī)選取不同模態(tài)的數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)，epoch大小選為80，訓(xùn)練時(shí)間提升了一倍多。本文方法則是采用了另外一種方式，首先使用完整的四種模態(tài)數(shù)據(jù)進(jìn)行訓(xùn)練，然后采用隨機(jī)選取模態(tài)數(shù)據(jù)的方式對(duì)全連接層進(jìn)行再訓(xùn)練，由于只有一層全連接層，因此大幅度縮減了訓(xùn)練時(shí)間。在該實(shí)驗(yàn)中，本文方法的特征空間大小選為40，全連接層大小為200，表3 給出了在隨機(jī)選取四種模態(tài)數(shù)據(jù)訓(xùn)練后，采用四種模態(tài)數(shù)據(jù)進(jìn)行測(cè)試的結(jié)果。

表3 網(wǎng)絡(luò)采用不同訓(xùn)練方式的DSC結(jié)果Tab.3 DSC results of networks with different training strategies

由表3 的結(jié)果可以看出，當(dāng)采用隨機(jī)選取模態(tài)數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)，本文方法和基準(zhǔn)方法相對(duì)于普通訓(xùn)練方式，在核心腫瘤分割的表現(xiàn)上都有下降，采用所有四種模態(tài)數(shù)據(jù)訓(xùn)練在沒(méi)有數(shù)據(jù)缺失時(shí)，表現(xiàn)要好于隨機(jī)選取模態(tài)數(shù)據(jù)進(jìn)行訓(xùn)練，此外，訓(xùn)練時(shí)間也較短。從表3中看出，本文方法通過(guò)隨機(jī)訓(xùn)練全連接層，在整體腫瘤分割上達(dá)到了基準(zhǔn)方法的表現(xiàn)。

上述討論了網(wǎng)絡(luò)在隨機(jī)選取模態(tài)訓(xùn)練后使用四種模態(tài)數(shù)據(jù)測(cè)試的結(jié)果，接下來(lái)討論網(wǎng)絡(luò)在隨機(jī)選取模態(tài)訓(xùn)練后在缺失不同模態(tài)數(shù)據(jù)下的表現(xiàn)，其結(jié)果由表4 給出。從結(jié)果中可以看出，不同模態(tài)數(shù)據(jù)的缺失對(duì)網(wǎng)絡(luò)有不同的影響，其中整體腫瘤分割更加依賴FLAIR 模態(tài)，而核心腫瘤和增強(qiáng)腫瘤分割更加依賴T1c 模態(tài)。此外，從結(jié)果看，本文方法相比基準(zhǔn)方法更加依賴FLAIR 模態(tài)與T1c模態(tài)，容易忽略掉T1和T2模態(tài)的特征，在缺失T1 模態(tài)或T2 模態(tài)時(shí)，本文方法在整體腫瘤分割表現(xiàn)上要優(yōu)于基準(zhǔn)方法，同時(shí)本文方法雖在核心腫瘤及增強(qiáng)腫瘤分割中的表現(xiàn)弱于基準(zhǔn)方法，但本文在訓(xùn)練上較基準(zhǔn)方法更靈活且在數(shù)據(jù)缺失時(shí)調(diào)整網(wǎng)絡(luò)更加方便。

表4 數(shù)據(jù)缺失下網(wǎng)絡(luò)采用隨機(jī)數(shù)據(jù)選取訓(xùn)練方式的DSC結(jié)果Tab.4 DSC results of networks with random data selection training methods under data missing

此外，本方法比基準(zhǔn)方法更靈活，當(dāng)新增模態(tài)數(shù)據(jù)時(shí)，基準(zhǔn)方法需要重新訓(xùn)練整個(gè)網(wǎng)絡(luò)，而本文方法則只需訓(xùn)練融合分割層。從表5中可以看出，在增加新的模態(tài)數(shù)據(jù)時(shí)，雖然本文方法效果并不理想，但本文方法僅通過(guò)重新訓(xùn)練融合分割層即可應(yīng)對(duì)新增模態(tài)下的腦腫瘤分割。

表5 新增模態(tài)數(shù)據(jù)時(shí)本文方法的DSC結(jié)果Tab.5 DSC results of the proposed method when adding new modal data

4 結(jié)語(yǔ)

在實(shí)際應(yīng)用中，腦腫瘤分割面臨一個(gè)模態(tài)數(shù)據(jù)缺失及增加的問(wèn)題，本文主要研究了網(wǎng)絡(luò)在數(shù)據(jù)缺失及增加下的表現(xiàn)情況。因此，不同于現(xiàn)有網(wǎng)絡(luò)通過(guò)提取多模態(tài)數(shù)據(jù)的聯(lián)合特征來(lái)實(shí)現(xiàn)腦腫瘤分割，本文提出了一種將不同模態(tài)影像數(shù)據(jù)通過(guò)同一網(wǎng)絡(luò)映射到同一特征空間并聯(lián)合這些特征實(shí)現(xiàn)腦腫瘤分割的方法。當(dāng)選取所有模態(tài)數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，多模態(tài)聯(lián)合的神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)缺失時(shí)無(wú)法正常分割，而本文方法依舊可以實(shí)現(xiàn)腦腫瘤分割；當(dāng)隨機(jī)選取不同模態(tài)數(shù)據(jù)訓(xùn)練時(shí)，多模態(tài)聯(lián)合的方法雖然效果整體都不錯(cuò)，但往往消耗較長(zhǎng)的訓(xùn)練時(shí)間，而本文方法則僅僅通過(guò)訓(xùn)練調(diào)整融合分割層來(lái)實(shí)現(xiàn)。此外，本文方法在新增模態(tài)數(shù)據(jù)下也有靈活的調(diào)整方式。然而，本文方法在分割網(wǎng)絡(luò)中針對(duì)特定任務(wù)往往依賴于某一模態(tài)數(shù)據(jù)，因此在未來(lái)工作中，將研究如何在融合分割層中更好地融合不同模態(tài)的特征。