多尺度特征融合全卷積神經(jīng)網(wǎng)絡(luò)腦腫瘤MR圖像分割

席歡歡，賀 松，黃 旭，張 碩，張 慧

(1貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院，貴陽550025；2貴州大學(xué) 醫(yī)學(xué)院，貴陽550025)

0 引 言

腦腫瘤（又稱為顱內(nèi)腫瘤），常發(fā)病于中樞神經(jīng)系統(tǒng)。據(jù)統(tǒng)計，2015年中國新發(fā)惡性腫瘤患者高達(dá)392.9萬例，發(fā)病率為285.83／10萬，惡性腫瘤死亡病例為233.8萬，死亡率為170.5／10萬。其中，惡性腦腫瘤患者占新發(fā)病例的2.7%，占死亡病例的2.4%，是國內(nèi)目前發(fā)病率和死亡率較高的惡性腫瘤之一［1］。核磁共振成像（MRI）技術(shù)可以生成高質(zhì)量的顱內(nèi)影像，并且具有很強(qiáng)的軟組織分辨能力，是輔助腦腫瘤診斷與治療的重要技術(shù)手段。中國每年可以產(chǎn)生大量的醫(yī)學(xué)影像數(shù)據(jù)，這其中就包括腦腫瘤影像；腦腫瘤影像雖然可以為疾病的診斷與治療提供支撐，但需要閱片醫(yī)師有著豐富的經(jīng)驗(yàn)。由于中國醫(yī)療資源的緊缺以及分布不均衡，因此，利用現(xiàn)有技術(shù)手段精準(zhǔn)定位與分割腦腫瘤病變組織，可以有效減少醫(yī)師工作量和提高患者治愈機(jī)會。近年來，為了提高腦腫瘤檢測和分割的精準(zhǔn)度，利用計算機(jī)技術(shù)自動分割腦腫瘤MR圖像病變區(qū)域，成為當(dāng)前研究熱點(diǎn)之一。由于MR圖像的復(fù)雜特性，要精準(zhǔn)分離正常組織與病變組織十分困難，因此高效的病變區(qū)域特征提取方法顯得尤為重要。

傳統(tǒng)的腦腫瘤MR圖像分割方法，如閾值法、像素分類法、模型法等，因分割邊界不清晰、精度過低、魯棒性差等原因，逐漸被其它算法所替代，或者成為其它分割算法的一部分。近幾年，基于卷積神經(jīng)網(wǎng)絡(luò)的分割方法已經(jīng)逐漸實(shí)現(xiàn)了腦腫瘤MR圖像的自動分割。Pereira等人［2］使用強(qiáng)歸一化對MR圖像進(jìn)行預(yù)處理，并搭建以3*3小卷積核為主的卷積神經(jīng)網(wǎng)絡(luò)，以此來降低過擬合現(xiàn)象的影響和減少參數(shù)權(quán)值數(shù)量；Jonathan等人［3］提出的全卷積神經(jīng)網(wǎng)絡(luò)，將以往神經(jīng)網(wǎng)絡(luò)常用的全連接層全部替換為卷積層，使之可以接受任意尺寸的輸入，從而解決了語義級的圖像分割問題；Myronenko等人［4］提出一個編碼器-解碼器架構(gòu)，并且為網(wǎng)絡(luò)添加變分自動編碼器分支，以重建原始輸入圖像與特征聚類結(jié)果的優(yōu)化，為編碼器輸出結(jié)果增加額外的導(dǎo)向與正則化，該算法獲得了Brats2018挑戰(zhàn)賽的第一名；顧軍華等人［5］提出一種多尺度特征融合網(wǎng)絡(luò)，引入SEResNet模塊，有效解決特征提取不全面、信息丟失等問題，以此達(dá)到肺結(jié)節(jié)良惡性分類，在LIDC-IDRI（肺圖像聯(lián)合數(shù)據(jù)庫）上取得了很好的準(zhǔn)確率。

現(xiàn)有方法中，大多雖然對腦腫瘤MR圖像分割取得了很好的結(jié)果，但有的算法模型可能隨著網(wǎng)絡(luò)層數(shù)的增加，導(dǎo)致無法提取圖像一些淺層的原始特征，造成分割結(jié)果的邊界模糊、不夠精確；而過多的網(wǎng)絡(luò)層數(shù)也導(dǎo)致訓(xùn)練參數(shù)量過大，訓(xùn)練費(fèi)時費(fèi)力和出現(xiàn)梯度消失問題，若層數(shù)過少，淺層的特征無法表達(dá)出來［6］。

針對上述問題，本文提出一種多尺度特征融合全卷積神經(jīng)網(wǎng)絡(luò)（MFF-FCN）模型，來實(shí)現(xiàn)腦腫瘤MR圖像的分割。該網(wǎng)絡(luò)主要完成以下工作:

（1）為了更好的利用MR圖像的特征信息，采用多通道輸入，對不同通道輸入的圖像采用大小不同的卷積核，以此達(dá)到提取不同尺度特征信息的目的。將提取到的不同尺度的特征信息進(jìn)行融合，可以有效降低因網(wǎng)絡(luò)層數(shù)增多等造成的特征提取不全、信息丟失等問題。

（2）由于全卷積神經(jīng)網(wǎng)絡(luò)（FCN）可以實(shí)現(xiàn)任意尺寸圖像的輸入，并且利用反卷積將最后一層的特征圖進(jìn)行上采樣實(shí)現(xiàn)同樣尺寸的輸出，該算法主要應(yīng)用全卷積神經(jīng)網(wǎng)絡(luò)，并將其它輸入通道的卷積結(jié)果融合后添加到主線網(wǎng)絡(luò)，以實(shí)現(xiàn)監(jiān)督的作用，加強(qiáng)特征信息的提取。

本文算法在國際醫(yī)學(xué)圖像計算和計算機(jī)輔助干預(yù)協(xié)會（MICCAI）的BraTS2018數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，相比一些算法，MFF-FCN網(wǎng)絡(luò)在特征提取和分割精度上都有較好的表現(xiàn)。

1 網(wǎng)絡(luò)模型與算法理論

本文提出的MFF-FCN網(wǎng)絡(luò)模型，旨在獲得更多層次的特征信息以及更全面的細(xì)節(jié)特征。該網(wǎng)絡(luò)模型主要采用多個輸入通道的網(wǎng)絡(luò)架構(gòu)，對于不同輸入通道使用大小不同的三種卷積核，每個輸入通道主要使用全卷積神經(jīng)網(wǎng)絡(luò)（FCN）來進(jìn)行特征提取，最終將得到的MR圖像卷積結(jié)果進(jìn)行融合。采用跳躍連接，將不同輸入通道的某層卷積輸出結(jié)果作為其它通道卷積的輸入，以此加強(qiáng)特征信息的提取。為了獲得更加精準(zhǔn)的分割結(jié)果，將多個通道的不同卷積層的結(jié)果融合，作為最終的結(jié)果。本文提出的多尺度特征融合腦腫瘤MR圖像分割模型如圖1所示。

圖1 MFF-FCN網(wǎng)絡(luò)模型結(jié)構(gòu)圖Fig.1 Structure diagram of MFF-FCN network model

1.1 多尺度特征提取

卷積神經(jīng)網(wǎng)絡(luò)的提出可以追溯到上世紀(jì)末期。1998年，LeCun等人提出的LeNet［7］，是現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)的雛形，因其局部感受野、權(quán)值共享、下采樣等優(yōu)點(diǎn)，使卷積神經(jīng)網(wǎng)絡(luò)成為當(dāng)時的研究熱點(diǎn)，之后各種各樣的變種卷積網(wǎng)絡(luò)層出不窮。通用的深度學(xué)習(xí)網(wǎng)絡(luò)模型大多采用單通路結(jié)構(gòu)，這種單通路結(jié)構(gòu)有著難以兼顧對局部特征與全局特征學(xué)習(xí)的缺點(diǎn)［8］。在卷積神經(jīng)網(wǎng)絡(luò)中，卷積核的尺寸大小決定了感受野的大小。當(dāng)卷積核尺寸越大，感受野就越大，過大的卷積核容易提取圖像的全局信息，有助于分割尺寸較大的目標(biāo)。但過大的卷積核，也會導(dǎo)致學(xué)習(xí)的參數(shù)增多，并且目標(biāo)的局部信息容易丟失；反之，當(dāng)卷積核過小時，會使網(wǎng)絡(luò)忽略輸入圖像的全局信息，易使分割區(qū)域的邊界不夠清晰等。因此，為了加強(qiáng)圖像全局與局部特征信息的提取，本文采用3條通路的網(wǎng)絡(luò)架構(gòu)，對于不同的輸入通路采用不同尺寸的卷積核，其依次為3×3、5×5、7×7。這樣不同的卷積核會提取不同層次的特征信息，如圖1前半部分所示。多尺度的特征提取可以學(xué)習(xí)不同感受野的尺度特征，從而有效提取腦腫瘤MR圖像的病變區(qū)域邊緣信息等細(xì)節(jié)；另一方面，也可以作為監(jiān)督，將不同通道的多尺度特征提取過程的卷積結(jié)果作為其它通道卷積的輸入，這樣可避免因網(wǎng)絡(luò)層數(shù)增多導(dǎo)致的過擬合現(xiàn)象，以及信息丟失等問題，有助于特征的提取。

文獻(xiàn)［9］中研究表明，在第三次卷積后，進(jìn)行第四次卷積，網(wǎng)路模型的Dice（相似系數(shù)）沒有發(fā)生太大的變化，但卷積層數(shù)的增加，反而導(dǎo)致了更多的訓(xùn)練時間和更慢的收斂速度，并且網(wǎng)絡(luò)參數(shù)也會增多。因此，在本文提出的MFF-FCN網(wǎng)絡(luò)模型中，為了加強(qiáng)特征信息的提取，減少不必要的參數(shù)以及模型訓(xùn)練時間，其中2條通路只進(jìn)行3次卷積操作；之后網(wǎng)絡(luò)模型使用跳躍結(jié)構(gòu)，將不同通路的卷積結(jié)果進(jìn)行融合，并將融合后的結(jié)果作為其它通路的卷積輸入和最終結(jié)果的一部分。融合方法詳見1.3節(jié)。

1.2 改進(jìn)的全卷積神經(jīng)網(wǎng)絡(luò)(FCN)

1998年LeCun等人提出LeNet，2012年Alex Krizhevsky、Ilya Sutskever和Geoffrey E.Hinton等人提出了一種非常重要的卷積神經(jīng)網(wǎng)絡(luò)模型AlexNet［10］，獲得了ILSVRC圖像分類的冠軍。通常，卷積神經(jīng)網(wǎng)絡(luò)都是由卷積層、池化層、全連接層組成。然而，2015年，Long等人［3］提出的全卷積神經(jīng)網(wǎng) 絡(luò)（Fully Convolutional Network，F(xiàn)CN）卻 將AlexNet網(wǎng)絡(luò)的全連接層改為卷積層，還引入包含上采樣層和反卷積層等其它具有空間平移不變形式的層，實(shí)現(xiàn)端對端的像素分類。

傳統(tǒng)的全卷積神經(jīng)網(wǎng)絡(luò)模型是將卷積神經(jīng)網(wǎng)絡(luò)中的全連接層改為卷積層，使輸入與輸出尺寸保持一致。

但是，傳統(tǒng)的全卷積神經(jīng)網(wǎng)絡(luò)也存在存儲開銷大、大量冗余計算、感受野被限制等缺點(diǎn)。FCN可以接受任意尺寸圖像的輸入，為使網(wǎng)絡(luò)的輸出和輸入尺寸保持一致，利用反卷積對特征圖進(jìn)行上采樣恢復(fù)到原圖大小，并且采用跳躍結(jié)構(gòu)（skip architecture），可以融合多層的卷積結(jié)果，使得分類的預(yù)測結(jié)果更為精確。FCN雖然通過全卷積、跳躍結(jié)構(gòu)等方式提高了圖像分類的預(yù)測準(zhǔn)確率，仍然存在一些問題:一是得到的結(jié)果不夠精確，8倍上采樣的結(jié)果雖然比32倍上采樣的結(jié)果好一些，結(jié)果依然存在比較模糊和平滑，對圖像中的細(xì)節(jié)不夠敏感；二是沒有考慮像素之間的關(guān)聯(lián)性，缺乏空間一致性。因此，為了提高腦腫瘤MR圖像的分割精準(zhǔn)度，邢波濤等人［11］將腦腫瘤3種模態(tài)的MR圖像，經(jīng)灰度歸一化后，利用灰度圖像融合技術(shù)得到的融合圖像進(jìn)行預(yù)處理，將預(yù)處理得到的圖像經(jīng)過改進(jìn)的全卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行粗分割，最后融合全鏈接條件，隨機(jī)細(xì)化粗分割結(jié)果中的腦腫瘤邊界。該結(jié)果在BraTS2015數(shù)據(jù)集上取得了很好的驗(yàn)證，平均相似系數(shù)（Dice）達(dá)到了91.29%；Zhou等人［12］為了克服深度卷積神經(jīng)網(wǎng)絡(luò)在腦腫瘤全自動分割中存在的2個問題，（一是為克服重復(fù)的池化（pooling）和步幅（striding），采用3D單步稀疏卷積來替代傳統(tǒng)卷積中的池化（pooling）和步幅（striding），作為特征學(xué)習(xí)的主要方式，二是為克服多尺度病灶處理能力薄弱造成的空間信息丟失問題。）提出了一個3D稀疏卷積特征金字塔，添加到卷積網(wǎng)絡(luò)的末端。該結(jié)構(gòu)可以結(jié)合上下文的特征，提高模型的分辨能力，最后利用3D全連接條件隨機(jī)處理網(wǎng)絡(luò)的輸出，得到外觀和空間上結(jié)構(gòu)的一致性，該算法在BraTS2013、2015、2018數(shù)據(jù)集上進(jìn)行了驗(yàn)證；Shen等人［9］提出一種改進(jìn)的全卷積神經(jīng)網(wǎng)絡(luò)（FCN），該網(wǎng)絡(luò)主要由一個下采樣路徑和3個上采樣路徑構(gòu)成，通過連接每個上采樣路徑的層次特征來提取多層次的上下文信息，同時提出了利用對稱差分圖像實(shí)現(xiàn)對稱驅(qū)動的FCN，該算法在BraTS2013數(shù)據(jù)集上取得了很好的效果。

本文所用的卷積網(wǎng)絡(luò)則是在FCN的基礎(chǔ)上進(jìn)行了一定的改進(jìn)。在FCN網(wǎng)絡(luò)的主體結(jié)構(gòu)中，卷積層的結(jié)構(gòu)參數(shù)為3×3的卷積（conv）核、步長（stride）為1、填充（pad）為1；池化層的結(jié)構(gòu)參數(shù)為2×2的池化（pool）核、填充（pad）為0、步長（stride）為2。本文的網(wǎng)絡(luò)模型主要存在3個通路:第一通路的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)與傳統(tǒng)的FCN相同；第二通路的卷積層采用大小為5×5的卷積核；第三通路的卷積層采用大小為7×7的卷積核。因?yàn)?個通路使用大小不同的卷積核，在邊緣填充Pad不變的情況下，卷積塊的輸出尺寸就會不同。為了方便最后網(wǎng)絡(luò)的特征融合以及結(jié)果顯示等，本文以3×3卷積核通路的卷積塊輸出尺寸為基準(zhǔn)，在第二、三通路中使用不同大小的填充（pad）和步長（stride），使得每一次卷積、池化的輸出與第一通路的卷積、池化保持一致。MFFFCN網(wǎng)絡(luò)模型的具體結(jié)構(gòu)參數(shù)見表1。其中，Layer為每一層的名字；Conv表示卷積層；Pool表示池化層；Kernal表示卷積核或者池化核的尺寸；Stride表示卷積運(yùn)算過程中滑動窗口的步長；Pad表示卷積計算前后對輸入矩陣進(jìn)行邊緣填充的大小。在原FCN網(wǎng)絡(luò)中，共有放大8倍、16倍、32倍上采樣的預(yù)測結(jié)果。本文所提出的MFF-FCN網(wǎng)絡(luò)中，為與最終輸出的分割結(jié)果進(jìn)行對比，第一通路即原FCN網(wǎng)絡(luò)只輸出8倍上采樣的結(jié)果。但僅僅使用尺寸大小不一的卷積核來加強(qiáng)特征信息的提取，效果還不夠明顯；尺寸較大的卷積核可以提取輸入圖像的全局信息，但對于圖像的局部信息就很容易丟失，導(dǎo)致分割結(jié)果不夠精準(zhǔn)；而尺寸較小的卷積核可以提取輸入圖像的局部信息，但對圖像的全局信息不夠敏感，容易造成分割輪廓邊界模糊。為了補(bǔ)充3個通路因卷積核大小不一所造成的特征信息缺失，MFF-FCN網(wǎng)絡(luò)模型使用跳躍結(jié)構(gòu)（skip architecture），加強(qiáng)不同通路所缺失的特征信息。將第二、三通路的第三次卷積輸出結(jié)果進(jìn)行融合后，與第一通路第三次卷積輸出融合，作為第一通路第四次卷積的輸入；同時，第二、三通路第三次卷積融合的結(jié)果也是模型最終結(jié)果的輸入之一。并且，第二、三通路的輸入輸出尺寸都與第一通路保持一致，這樣有助于減少計算量、特征融合以及最后的分割結(jié)果。最后的腦腫瘤MR圖像分割結(jié)果輸出也是采用跳躍結(jié)構(gòu)。使用反卷積、上采樣使得輸出達(dá)到相互融合的尺寸，并且得到類似FCN網(wǎng)絡(luò)幾種不同的分割結(jié)果，并將結(jié)果經(jīng)過裁剪統(tǒng)一尺寸。

表1 MFF-FCN網(wǎng)絡(luò)模型結(jié)構(gòu)參數(shù)Tab.1 Structural parameters of MFF-FCN network model

1.3 特征融合

在計算機(jī)視覺研究領(lǐng)域，特征融合是常用的方法之一，尤其是在圖像分割方面，融合不同尺度的特征是提高分割效果的一種重要手段。底層特征分辨率更高，包含更多的位置、細(xì)節(jié)信息，但是由于經(jīng)過的卷積少，其語義性更低，噪聲更多；而高層特征具有更強(qiáng)的語義信息，物體輪廓更分明，但是分辨率較低，對細(xì)節(jié)的感知能力較差。因此，利用一定的方法將兩者進(jìn)行融合，有利于改善和提高分割模型的性能。

在全卷積神經(jīng)網(wǎng)絡(luò)中，本文融合多層卷積的結(jié)果取得的預(yù)測結(jié)果是最好的。在卷積過程中使用的跳躍結(jié)構(gòu)以及為得到最終的分割結(jié)果，都是用add特征融合方法；在通道數(shù)不變的情況下，add方法使描述圖像特征的信息量增加了，計算量更小。其計算方式如下:

式中，Z表示單通道輸出結(jié)果；i表示通道數(shù)；X、Y表示2個通道的輸入；K表示系數(shù)。其中K的取值范圍為［0，1］，K值大小代表不同通道的輸入特征在特征融合過程中所占的權(quán)重有所區(qū)別，K值越大代表該部分特征所占權(quán)重越大，一般在分割的邊緣區(qū)域K值越大。

1.4 反卷積(上采樣)

為了使最終輸出結(jié)果與輸入保持相同尺寸，本文使用FCN網(wǎng)絡(luò)中提出的反卷積（即上采樣），對最后卷積的輸出進(jìn)行放大，維度計算方法如下:

式中，nout表示反卷積輸出的尺寸大小；nin表示反卷積的輸入尺寸大小；s表示步長（stride）；k表示卷積核尺寸大小；p表示填充（padding）。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集

本文提出的MFF-FCN網(wǎng)絡(luò)模型是基于Pytorch的深度學(xué)習(xí)框架，實(shí)驗(yàn)所用硬件配置為Intel Core i7-9700KF＠3.60 GHz八核CPU，以及NVIDIA GeForce RTX 2070 SUPER GPU；系統(tǒng)環(huán)境為Windows 10專業(yè)版64位操作系統(tǒng)。實(shí)驗(yàn)數(shù)據(jù)來自國際醫(yī)學(xué)圖像計算和計算機(jī)輔助干預(yù)協(xié)會（MICCAI）BraTS2018挑戰(zhàn)賽的訓(xùn)練集，而BraTs2019訓(xùn)練集則在BraTS2018訓(xùn)練集的基礎(chǔ)上增加了50例。因此，本文將BraTs2019訓(xùn)練集增加的50例作為網(wǎng)絡(luò)模型的測試集，避免了拆分BraTS2018訓(xùn)練集造成的數(shù)據(jù)過少。試驗(yàn)中訓(xùn)練集共有285例腦腫瘤患者的MR影像，其中210例為HGG（高級別神經(jīng)膠質(zhì)瘤）患者M(jìn)R影像，75例為LGG（低級別神經(jīng)膠質(zhì)瘤）患者M(jìn)R影像；測試集共有50例腦腫瘤患者M(jìn)R圖像，其中49例為HGG患者，1例為LGG患者。每一例腦腫瘤患者都有FLAIR、T1、T2和T1C 4種模態(tài)的MR圖像，并且都已配準(zhǔn)，并且每一例腦腫瘤患者的MR圖像都包含已經(jīng)分割好的真實(shí)標(biāo)簽。數(shù)據(jù)集中數(shù)據(jù)類型為XX.nii.gz，分別對應(yīng)flair、t1、t2、t1ce、seg，其中seg是分割圖像。

2.2 評價標(biāo)準(zhǔn)

按照常規(guī)腦腫瘤MR圖像分割標(biāo)準(zhǔn)，需將圖像分 割 為 全 腫 瘤（whole tumor，WT）、增 強(qiáng) 腫 瘤（enhance tumor，ET）、腫瘤核心（tumor core，TC）。對于每種腫瘤區(qū)域，將采用相似系數(shù)（Dice Similarity Coefficient，DSC）、靈敏度（Sensitivity）以及陽性預(yù)測值（Positive Predictive Value，PPV）3種指標(biāo)來評價腦腫瘤MR圖像分割結(jié)果。其中，相似系數(shù)用來描述模型分割結(jié)果與標(biāo)簽分割結(jié)果之間的重疊（相似）程度，即:

靈敏度描述的是模型分割后，正確腫瘤點(diǎn)占真值腫瘤點(diǎn)的比例，即:

陽性預(yù)測值描述的是模型分割后，正確腫瘤點(diǎn)占分割結(jié)果為腫瘤點(diǎn)的比例，即:

式（5）中，P表示模型分割結(jié)果，T表示腦腫瘤分割的真實(shí)標(biāo)簽。

2.3 預(yù)處理

考慮到腦腫瘤MR圖像的特殊性，卷積神經(jīng)網(wǎng)絡(luò)僅通過單一模態(tài)圖像提取的特征，不足以精確分割腦腫瘤不同病變組織，并且BraTs數(shù)據(jù)集中MR圖像4個序列分別代表不同的模態(tài)，對比度存在差異。因此，本文利用Z-Score來對每個模態(tài)的圖像進(jìn)行歸一化處理，即對不同模態(tài)的圖像標(biāo)準(zhǔn)化為零均值和單位標(biāo)準(zhǔn)差，對每個MR圖像進(jìn)行裁剪，并拋除沒有病灶的切片，以減少背景對單幅圖像最終分割結(jié)果的影響，降低數(shù)據(jù)背景區(qū)域造成的無效計算，最終將4個不同模態(tài)合并成4個通道，可以使MFFFCN網(wǎng)絡(luò)模型學(xué)習(xí)到不同模態(tài)的特征。

2.4 模型訓(xùn)練與調(diào)參

2.4.1 模型訓(xùn)練

在模型訓(xùn)練中，使用VGG-19對模型進(jìn)行初始化。考慮到Sigmoid等激活函數(shù)容易造成梯度消失，MFF-FCN網(wǎng)絡(luò)模型選擇ReLU作為激活函數(shù)，并采用常規(guī)的損失函數(shù)SoftMax計算損失；同時，在網(wǎng)絡(luò)模型中加入模型訓(xùn)練時，學(xué)習(xí)率的選取對網(wǎng)絡(luò)模型的性能有著至關(guān)重要的作用。MFF-FCN模型綜合考慮訓(xùn)練時長和收斂情況等因素，選取并比較了不同學(xué)習(xí)率下模型收斂情況。當(dāng)學(xué)習(xí)率為0.000 03時，模型訓(xùn)練時的損失變化情況如圖2所示。此時，模型的訓(xùn)練時長以及損失程度達(dá)到最佳。

圖2 MFF-FCN最優(yōu)模型訓(xùn)練損失程度Fig.2 Degree of training loss in the optimal MFF-FCN mode

2.4.2 調(diào)參

Adam優(yōu)化在權(quán)值和偏值更新中，傳統(tǒng)的梯度下降算法需要遍歷所有的訓(xùn)練樣本，當(dāng)訓(xùn)練樣本很大時，需要耗費(fèi)巨大的計算資源和時間；而隨機(jī)梯度下降算法（SGD）則是計算單個訓(xùn)練樣本的損失來近似平均損失，大大加快了模型參數(shù)的更新效率和訓(xùn)練速度。本文在比較幾種優(yōu)化算法的基礎(chǔ)上，選用小批量隨機(jī)梯度下降法和Adam［13］優(yōu)化算法，來對網(wǎng)絡(luò)模型進(jìn)行優(yōu)化。模型中batch＿size大小為18，基準(zhǔn)學(xué)習(xí)率為3e-5，權(quán)重衰減系數(shù)0.000 1，最佳迭代次數(shù)為180次。

2.5 結(jié)果分析

為了驗(yàn)證本文所提算法的性能，MFF-FCN給出2種輸出結(jié)果:原始FCN融合多尺度特征信息的輸出結(jié)果FCN-8s，以及改進(jìn)的FCN模型MFF-FCN模型的輸出結(jié)果。同時，為了更充分對比模型的分割性能，將文獻(xiàn)［2，9，15］等提出的方法在Dice、Sensitivity、PPV等指標(biāo)上進(jìn)行比較，具體結(jié)果見表2。從表2中可見:

表2 不同算法的分割性能評估Tab.2 Segmentation performance evaluation of different algorithms

（1）就相似系數(shù)（Dice）指標(biāo)來看，MFF-FCN網(wǎng)絡(luò)模型對全腫瘤（WT）的分割效果比改進(jìn)的FCN-8s算法有一定的提升；盡管最終結(jié)果比其它算法效果低，但MFF-FCN網(wǎng)絡(luò)模型對增強(qiáng)腫瘤（ET）和核心腫瘤（TC）的分割效果更優(yōu)。圖3為各算法Dice對比折線圖。

圖3 各算法Dice對比折線圖Fig.3 DICE comparison line chart of each algorithm

（2）從靈敏度（Sensitivity）指標(biāo)來看，MFF-FCN網(wǎng)絡(luò)模型對全腫瘤（WT）以及增強(qiáng)腫瘤（ET）的分割效果相比其它算法好，但對核心腫瘤（TC）的分割效果卻低于改進(jìn)的FCN-8s算法。圖4為各算法Sensitivity對比折線圖。

圖4 各算法Sensitivity對比折線圖Fig.4 Broken line diagram of Sensitivity comparison among algorithms

（3）就陽性預(yù)測值（PPV）指標(biāo)來看，MFF-FCN網(wǎng)絡(luò)模型相比改進(jìn)的FCN-8s算法對全腫瘤（WT）以及增強(qiáng)腫瘤（ET）的分割效果都有一定的提升，并且優(yōu)于其它文獻(xiàn)提出的算法；但對核心腫瘤（TC）的分割效果卻不盡人意。圖5為各算法PPV對比折線圖。

圖5 各算法PPV對比折線圖Fig.5 PPV comparison line diagram of each algorithm

為對本文所提算法的分割性能有直觀的感受，選取5例腦腫瘤患者的MR圖像，將本文算法的分割結(jié)果與專家分割結(jié)果進(jìn)行展示對比，結(jié)果如圖6所示。從圖6可以看出，MFF-FCN網(wǎng)絡(luò)模型的分割結(jié)果和專家分割結(jié)果相比還是有一定的差距，雖然MFFFCN網(wǎng)絡(luò)融合了多尺度的特征信息，在分割各組織邊緣有了很大的改進(jìn)，準(zhǔn)確率等有一定的提升，但是在不同病變區(qū)域分割結(jié)果還是存在一定的混淆。

圖6 5例腦腫瘤MR圖像MFF-FCN網(wǎng)絡(luò)模型及專家分割結(jié)果Fig.6 MFF-FCN network model and expert segmentation results of MR images of five cases of brain tumors

綜上所述，經(jīng)過不同分割算法性能指標(biāo)結(jié)果的比較展示，驗(yàn)證了本文所提算法在不同病變區(qū)域都具有一定的效果，尤其是對不同組織邊緣區(qū)域的分割，表現(xiàn)更優(yōu)。

3 結(jié)束語

針對傳統(tǒng)分割算法特征信息提取不全、準(zhǔn)確率過低等情況，提出一種多尺度特征融合全卷積神經(jīng)網(wǎng)絡(luò)的腦腫瘤MR圖像分割算法，在FCN的基礎(chǔ)上，引入卷積核大小不同的卷積通路以及跳躍連接，融合多尺度的特征信息，已達(dá)到更佳的分割效果。實(shí)驗(yàn)結(jié)果表明，本文算法能夠在節(jié)省資源和時間的基礎(chǔ)上，提升算法的分割性能；相比其它算法，在不同病變組織區(qū)域以及邊緣分割上有更出色的變現(xiàn)。但是該算法存在分割結(jié)果混淆、分割不夠精確以及個別圖像分割效果更差等情況，這些都將是接下來工作的重點(diǎn)，并進(jìn)一步完善。