三維卷積網(wǎng)絡在腦海馬體分割中的應用*

劉 辰，肖志勇，吳鑫鑫

江南大學 物聯(lián)網(wǎng)工程學院，江蘇 無錫214122

1 引言

海馬體位于大腦丘腦和內(nèi)側(cè)顳葉之間，主要負責長時記憶的存儲。同時海馬體的體積和功能的異常與阿爾茲海默病（Alzheimer's disease，AD）等精神疾病緊密相關[1-2]。因此，為了輔助醫(yī)生對相關的精神疾病進行診治和治療，需要對海馬體進行精確的分割。

針對腦磁共振成像（magnetic resonance imaging，MRI）海馬體的分割方法主要分為以下幾類：手動的分割方法[3-4]、基于圖譜的分割方法[5-7]、基于形變模型的分割方法[8-9]和基于深度學習的方法[10-12]。通常手動的分割方法很繁瑣、耗時，而且容易出錯。基于圖譜和形變模型的方法通常依賴于分類器、優(yōu)化器等其他的輔助技術(shù)，往往分割精度也不是很高。

近幾年，隨著深度學習的不斷發(fā)展，卷積神經(jīng)網(wǎng)絡在醫(yī)學圖像處理領域中得到了廣泛的運用[13]。Chen等人[10]首先通過U-Seg-Net 對MRI 圖像的2D 切片進行分割，然后通過2D 切片圖像序列重建得到3D 海馬體的分割結(jié)果。Chen 等人[11]采用全卷積網(wǎng)絡與循環(huán)神經(jīng)網(wǎng)絡結(jié)合的方法實現(xiàn)了海馬體的分割。雖然這些方法達到了相對較高的分割精度，但由于它們都是對MRI 圖像的2D 切片進行處理的，從而不能充分考慮到切片間的相關性，容易產(chǎn)生不連續(xù)、不光滑的分割結(jié)果。Cao 等人[12]通過改進3DUnet[14]網(wǎng)絡，實現(xiàn)了海馬體的分割，但該網(wǎng)絡沒有高效地結(jié)合MRI圖像的深層和淺層特征，因此分割精度不是很高。

為了高效地結(jié)合MRI 圖像的深層和淺層特征，實現(xiàn)海馬體的三維精確分割，同時避免參數(shù)模型過大以及計算負擔較大的現(xiàn)象，本文對3DUnet 網(wǎng)絡進行改進，提出了Dilated-3DUnet 網(wǎng)絡模型。Dilated-3DUnet 由編碼和解碼兩部分組成。為了精簡網(wǎng)絡模型，同時又不降低網(wǎng)絡的性能，本文對原3DUnet網(wǎng)絡進行改進。在編碼部分中，采用金字塔結(jié)構(gòu)的通道數(shù)分布。考慮到3DUnet網(wǎng)絡的深層和淺層特征結(jié)合得不夠充分，本文增加了級聯(lián)卷積層，代替原來的級聯(lián)操作。考慮到普通卷積層的感受野固定，在級聯(lián)卷積層中，使用空洞卷積代替一般的卷積操作，這樣不僅高效地結(jié)合腦MRI 圖像的深層特征和淺部特征，而且在不擴大參數(shù)規(guī)模的同時，能夠擴大卷積層的感受野，提取多尺度信息，使得Dilated-3DUnet 網(wǎng)絡能夠捕捉更多的淺層特征，從而提升網(wǎng)絡的分割性能。

本文的主要流程如圖1 所示，首先為了提高分割精度，對數(shù)據(jù)集中的樣本進行了預處理，預處理主要包括對圖像進行裁剪和歸一化。之后將預處理的圖像輸入到Dilated-3DUnet 中進行訓練，從而得到海馬體的分割模型。再將每個圖像送到已經(jīng)訓練好的新型三維網(wǎng)絡中，得到分割結(jié)果。

2 相關工作

2.1 3DUnet模型

生物醫(yī)學影像如CT(computed tomography)、MRI往往都是三維的，如果采用全卷積神經(jīng)網(wǎng)絡[15]和UNet[16]，需要先對三維圖像進行切片處理，然后再送到全卷積神經(jīng)網(wǎng)絡或U-Net 網(wǎng)絡中進行分割。這種方法不僅效率低下，而且容易丟失2D 切片之間的相關性，影響分割精度。為此?i?ek 等人[14]提出了3DUnet模型，3DUnet 的模型是基于U-Net 創(chuàng)建而來的，它同樣包含了一個編碼部分和一個解碼部分，編碼部分使用卷積層進行特征提取，使用最大池化層來縮小特征圖的尺寸。解碼部分使用反卷積來放大特征圖，再通過級聯(lián)操作獲得更大的特征圖的范圍，然后使用卷積提取更有效的特征。與U-Net 不同的是，3DUnet 使用的是三維的卷積、池化和反卷積。由于3DUnet 是對三維圖像中的體素直接進行處理的，這樣充分考慮了三維圖像中的空間信息，大大提升了分割精度。

2.2 空洞卷積

Fig.1 Flow chart of proposed algorithm圖1 本文算法的流程圖

為了增加卷積層的感受野，二維空洞卷積（2D dilated convolutions）[17]在醫(yī)學圖像分割領域得到了廣泛的運用。普通二維的卷積和空洞卷積的對比如圖2 所示。圖2 左邊顯示的是經(jīng)典的3×3 的卷積核的視野效果，相當于卷積核為3，膨脹系數(shù)r=1 的空洞卷積；圖2 右邊對應的卷積核為3，膨脹系數(shù)r=2 的空洞卷積。但是卷積核的計算視野增大到了7×7，而實際上卷積核的大小仍然是3×3，實際參數(shù)只有3×3。感受視野公式如下：

其中，r表示膨脹系數(shù)，F(xiàn)r表示最終的感受視野。因此空洞卷積在保持參數(shù)個數(shù)不變的情況下增大了卷積核的感受野，同時它可以保證輸出的特征映射（feature map）的大小不變。

Fig.2 2D ordinary convolution and dilated convolution圖2 二維普通卷積和空洞卷積

3 本文算法原理

3.1 網(wǎng)絡模型

為了簡化3DUnet規(guī)模，且能夠更多地捕捉腦MRI圖像的淺層特征，使得分割效果更好，本文在3DUnet網(wǎng)絡的基礎上，構(gòu)建了Dilated-3DUnet 分割模型，其網(wǎng)絡結(jié)構(gòu)圖如圖3 所示。與3DUnet 相似，Dilated-3DUnet 由編碼部分和解碼部分兩部分組成，編碼部分中包括4 組卷積和3 次下采樣操作。與之對應的是，解碼部分中包括4 組卷積和3 次上采樣操作。Dilated-3DUnet 結(jié)構(gòu)中使用的卷積核的大小都為3×3×3，卷積的步為1×1×1，為了加速網(wǎng)絡的收斂，防止網(wǎng)絡的過擬合，卷積層之后添加了Batch-normalization[18]，激活函數(shù)采用了ReLU[19]。最大池化層的大小為2×2×2，步長為2×2×2。最后輸出層使用的卷積核的大小為1×1×1，激活函數(shù)為sigmoid 函數(shù)。

考慮到隨著網(wǎng)絡層數(shù)的加深，3DUnet 存在著參數(shù)規(guī)模較大、計算負擔較大的問題，本文借鑒文獻[20]的思想。文獻[20]提出，在醫(yī)學圖像處理中，并不需要按照傳統(tǒng)的3DUnet 網(wǎng)絡進行參數(shù)設置，適當改變卷積的通道數(shù)，縮小參數(shù)規(guī)模，亦可以取得不錯的效果。本文將這種思想運用在Dilated-3DUnet 網(wǎng)絡的編碼部分。與3DUnet 網(wǎng)絡的編碼部分不同的是，本文中編碼部分的通道數(shù)分布呈現(xiàn)“金字塔”結(jié)構(gòu)，如圖4 所示。每組卷積層的通道數(shù)從上到下依次為32、64、128、256。相對于原始的3DUnet 網(wǎng)絡，Dilated-3DUnet 網(wǎng)絡模型變得更加精簡，大大縮減了參數(shù)的規(guī)模。

Fig.3 Structure of proposed Dilated-3DUnet圖3 Dilated-3DUnet網(wǎng)絡結(jié)構(gòu)

Fig.4 “Pyramid”structure in CNN model圖4 卷積模型中的“金字塔”結(jié)構(gòu)

為了更好地結(jié)合網(wǎng)絡中深層特征和淺層特征，在3DUnet 網(wǎng)絡的基礎上，本文算法加入了級聯(lián)卷積層，代替原有的級聯(lián)操作。與普通的卷積層相比，空洞卷積不僅沒有增大參數(shù)的規(guī)模，而且還能擴大感受野，從而獲取多尺度信息，這樣可以提取更多的淺層特征，有利于特征融合，提升分割精度。因此，本文使用空洞卷積作為級聯(lián)卷積層。

為了實現(xiàn)海馬體的三維全自動分割，本文將二維空洞卷積拓展和延伸到三維立體圖像中，圖5 展示了三維空洞卷積模型，在參數(shù)保持不變的情況下，大大增加了三維卷積層的感受野。對卷積核為3×3×3的卷積層而言，隨著膨脹系數(shù)逐漸增加，卷積層的感受野也隨之增加。膨脹系數(shù)r=2 的三維空洞卷積，感受野為7×7×7；膨脹系數(shù)r=4 的三維空洞卷積，感受野為15×15×15，但是參數(shù)的個數(shù)沒有變，依舊是3×3×3=27。通過多次實驗比較，本文最后使用的是卷積核為3×3×3，膨脹系數(shù)r=2 的三維空洞卷積。

Fig.5 3D ordinary convolution and dilated convolution圖5 三維普通卷積和空洞卷積

3.2 損失函數(shù)

常用的softmax 損失函數(shù)是基于像素點的，與之不同，Dice 損失函數(shù)[21]是基于區(qū)域的損失函數(shù)，醫(yī)學圖像分割中，Dice 指標常被用來衡量目標區(qū)域和檢測區(qū)域的重合程度，Dice 值越大，兩者重合度越高，分割效果越好。Dice 函數(shù)是Dice 指標的改進版，Dice 函數(shù)是對每個區(qū)域獨立評價后對網(wǎng)絡參數(shù)進行反饋的函數(shù)，該函數(shù)的計算形式和計算過程都很好地契合腦MRI 海馬體分割。因此，本文使用的是Dice 損失函數(shù)。其定義如下：

其中，g代表真實值（Ground-truth）；p代表網(wǎng)絡的預測值（predicted value）；n代表每個圖像塊的體素點的個數(shù)。由于使用Dice 作為損失函數(shù)，因此在將概率圖譜與專家標記進行比較時，標簽值為0 的背景部分將不會被計算到損失中，從而避免了類別不均衡的情況，同時能夠加速網(wǎng)絡的收斂，提升分割精度。

4 實驗結(jié)果與分析

4.1 實驗數(shù)據(jù)集

本文的數(shù)據(jù)集來自ADNI（Alzheimer’s disease neuroimaging initiative）數(shù)據(jù)庫（http://adni.loni.usc.edu/），ADNI 主要用于阿爾茨海默病的早期發(fā)現(xiàn)與追蹤。本實驗從ADNI 庫中獲得100 組腦部MRI 圖像和已分割的海馬體標簽，該數(shù)據(jù)的格式均為NIFTI 格式。其中包括41 組輕度認知障礙（mild cognitive impairment，MCI）和59 組正常（controls normal，CN）。從中隨機選取80 組用于交叉驗證，本文使用的是十折交叉驗證，剩下的20 組用于測試。

為了提高分割精度，本文對數(shù)據(jù)進行了預處理操作，主要包括兩部分。第一部分，考慮到海馬體部分只占整幅圖像的小部分，其他的大部分均為無效區(qū)域，本文對MRI 圖像進行了裁剪，將所有的圖像均裁剪成尺寸為80×80×40 的圖像。這樣不僅丟棄了混雜的背景信息，同時還解決了背景部分體素值遠遠大于海馬體部分而引起的分類不平衡的問題。第二部分，考慮到數(shù)據(jù)集中MRI 圖像的體素值不一致，同時為了加速網(wǎng)絡的收斂，本文采用均值和標準差的方法對圖像進行了歸一化。

為了驗證數(shù)據(jù)集中樣本的個數(shù)對實驗結(jié)果的影響，構(gòu)造了兩組數(shù)據(jù)集：第一組為進行預處理以后的100 組數(shù)據(jù)集；由于數(shù)據(jù)集中樣本數(shù)量較少，對預處理以后的100 組MRI 圖像采用左右翻轉(zhuǎn)和旋轉(zhuǎn)的方法進行了數(shù)據(jù)增強，最終得到400 組MRI 圖像，并將其作為第二組數(shù)據(jù)集。

4.2 參數(shù)設置

本實驗中，使用glorot 正態(tài)分布的方法對權(quán)重進行初始化，采用3.2 節(jié)中提到的Dice 損失函數(shù)，使用Nadam 優(yōu)化器，其中Nadam 的參數(shù)為lr=0.001，beta1=0.9，beta2=0.999，epsilon=1E-8，decay=0.004，學習率設置為0.001，訓練的batch size 取16。為了驗證本文提出的新型三維卷積網(wǎng)絡的性能，采用十折交叉驗證的方法，實驗的硬件環(huán)境為NVIDIA GTX1080Ti單個GPU，Intel Corei7處理器，軟件環(huán)境為Keras2.2.4。

4.3 評價指標

為了定量評估新算法的性能，本文選用相似性系數(shù)（dice similarity coefficient，DSC）、靈敏度（sensitivity，SEN）和陽性預測率（predictive positivity value，PPV）作為海馬體的分割結(jié)果的評價指標。相似性系數(shù)表示了實驗分割結(jié)果和真實海馬體之間的重疊程度，靈敏度描述了正確分割的海馬體占真實海馬體的比例，陽性預測率表示分割正確的海馬體占分割結(jié)果為海馬體的比例，這些都是常用的分割海馬體的評價指標，定義如下：

其中，P表示算法分割的海馬體區(qū)域，T表示專家手動分割的海馬體區(qū)域；P?T代表算法的分割區(qū)域與專家手動分割區(qū)域交集部分的體素區(qū)域。

4.4 比對實驗

為了驗證本文提出的Dilated-3DUnet 網(wǎng)絡模型的優(yōu)越性，進行了3 組比對實驗：（1）原來的3DUnet模型；（2）按照“金字塔”分布的方式，更改原3DUnet網(wǎng)絡中的通道數(shù)，構(gòu)建新的Pyramid-3DUnet 模型；（3）在Pyramid-3DUnet 網(wǎng)絡模型的基礎上，添加級聯(lián)卷積層，其中級聯(lián)卷積層使用的是普通的卷積核大小為3×3×3，步為1×1×1 的三維卷積，得到新的模型3DUnet-C 模 型。3DUnet-C模型與Dilated-3DUnet 模型相比，只有級聯(lián)卷積層不一樣，一個是三維普通卷積，一個是三維空洞卷積。

4.5 實驗結(jié)果

4.5.1 樣本的數(shù)量對實驗結(jié)果的影響

本文對數(shù)據(jù)增強前的100 組數(shù)據(jù)集和數(shù)據(jù)增強后的400 組數(shù)據(jù)集，分別采用Dilated-3DUnet 網(wǎng)路進行分割，采用4.3 節(jié)中的評價指標進行評估，得到的結(jié)果如表1 所示。

從表1 中可以看出，數(shù)據(jù)增強能夠大大提升分割的精度。這也充分證明了深度學習模型構(gòu)建過程中數(shù)據(jù)集的重要性，數(shù)據(jù)集的大小能直接影響模型的性能。

Table 1 Segmentation results on 100 datasets and 400 datasets表1 100 組和400 組數(shù)據(jù)集上的分割結(jié)果

4.5.2 網(wǎng)絡模型對實驗結(jié)果的影響

使用4種網(wǎng)絡模型3DUnet、Pyramid-3DUnet、3DUnet-C 和Dilated-3DUnet 在400 組數(shù)據(jù)集上采用交叉驗證得到分割結(jié)果，具體如表2 所示。從表中可以看出，Dilated-3DUnet 的性能是最優(yōu)的。Pyramid-3DUnet 較3DUnet 而言，不僅減少了參數(shù)數(shù)量，分割精度也得到了提升。3DUnet-C 與Pyramid-3DUnet相比，雖然添加了級聯(lián)卷積之后，整體的參數(shù)規(guī)模有所擴大，但是整體的參數(shù)的個數(shù)還是比3DUnet少很多，而且DSC、SEN、PPV均高于Pyramid-3DUnet，說明級聯(lián)卷積層可以更高效地組合特征圖，提高分割精度。

Table 2 Comparison of segmentation results of various network structures表2 各種網(wǎng)絡結(jié)構(gòu)的分割結(jié)果比較

與3DUnet-C 相比，Dilated-3DUnet模型的整體參數(shù)個數(shù)沒變，但分割精度更高。這也證實了空洞卷積在不增加參數(shù)的情況下，能擴大卷積核的感受野，提取了多尺度信息，使得網(wǎng)絡能夠捕捉更多的海馬體特征，從而提升了分割性能。

為了更直觀地對3DUnet 和Dilated-3DUnet 模型進行比較，對兩種模型上的測試結(jié)果進行分析，結(jié)果如圖6 所示。從中可以看出，Dilated-3DUnet 模型的DSC、SEN和PPV指標都優(yōu)于3DUnet。說明本文方法可以更好地從混雜的背景中識別出海馬體區(qū)域，從而使分割精度更高。

除此以外，隨機挑選了兩個測試案例，分別使用3DUnet和Dilated-3DUnet模型進行分割，得到的三維分割結(jié)果如圖7 所示。由于Dilated-3DUnet模型中使用了三維空洞卷積，擴大了感受野，提取了多尺度的信息，因此能夠捕捉更多海馬體區(qū)域，特別是一些細小的邊緣區(qū)域。如圖中白色虛線框所示的一些邊緣區(qū)域，3DUnet 模型在這些地方的分割結(jié)果相對平滑，而本文的Dilated-3DUnet 模型能夠很好地捕捉這些細小區(qū)域的形狀變化，從而實現(xiàn)更精確的分割。

4.5.3 與其他算法比較

為了更好驗證本文的性能，本文對ADNI 數(shù)據(jù)集上各種海馬體分割算法進行了比較，所提出的方法主要與文獻[11]和文獻[12]對比，采用文獻[11]和文獻[12]中的方法，對本文的數(shù)據(jù)集進行分割，得到的結(jié)果如表3 所示。文獻[11]首先對3個視圖下的2D 切片進行分割，然后將3個視圖下的分割結(jié)果重建得到最終的分割結(jié)果。這樣會丟失大部分的MRI 圖像的立體信息。文獻[12]通過多任務的神經(jīng)網(wǎng)絡，實現(xiàn)了海馬體的分割和臨床評分回歸，但是分割網(wǎng)絡中只是簡單地改進了3DUnet，因此結(jié)果沒Dilated-3DUnet的好。文獻[22-23]是對ADNI 數(shù)據(jù)集中不同的案例進行的，僅用于參考。文獻[22-23]采用的都是半自動的分割方法，此類方法由于不同個體間差距較大，因此在分割精確性和效率上往往不是很理想。

Fig.6 Comparison of segmentation results between 3DUnet and Dilated-3DUnet圖6 3DUnet和Dilated-3DUnet的分割結(jié)果比較

Fig.7 Segmentation results of different models圖7 不同模型的分割結(jié)果

Table 3 Comparison of various segmentation algorithms on ADNI datasets表3 ADNI數(shù)據(jù)集上各種分割算法的比較

為了更直觀地體現(xiàn)本文算法的精確性，隨機選取了3個測試案例的分割結(jié)果進行分析，結(jié)果如圖8所示。圖8 中第1 列為預處理后尺寸為80×80×40 的原圖，第2 列為專家手動標記的結(jié)果，第3 列為采用Dilated-3DUnet 模型分割的結(jié)果，第4 列為分割出來的海馬體的三維渲染圖。通過對比第2 列和第3 列可以發(fā)現(xiàn)，本文的分割與專家手動標記的結(jié)果非常接近。

為了進一步驗證本文算法的有效性，從ADNI 數(shù)據(jù)集上重新下載了25 組數(shù)據(jù)集，與之前下載的100組不同的是，這25 組均來自阿爾茨海默病（AD）患者。研究發(fā)現(xiàn)，AD 患者一般都有海馬體萎縮的病理表現(xiàn)，因此與正常人相比，AD 患者的海馬體體積明顯減少，這大大增加了AD患者海馬體分割的難度[24]。文獻[25]中表明，與正常(CN)組相比，AD 組的分割精度平均下降了1%。

使用之前已經(jīng)訓練好的4種模型3DUnet、Pyramid-3DUnet、3DUnet-C 和Dilated-3DUnet，分 別 對25 組AD 患者的海馬體進行分割。除此以外，還與文獻[25]中傳統(tǒng)的基于形變模型的方法進行比較，結(jié)果如表4 所示。

從表4 中可以看出，與4.5.2 小節(jié)中的結(jié)果相同，Dilated-3DUnet 的性能是最優(yōu)的。文獻[25]中的傳統(tǒng)方法是基于先驗模型實現(xiàn)的，因此由于不同個體間的差異，分割精度往往不是很好。本文方法不會出現(xiàn)類似的問題，因此分割精度得到了大大的提升。表4 的分割結(jié)果更加驗證了本文算法的有效性和泛化性。

Fig.8 Hippocampus segmentation results圖8 海馬體分割結(jié)果

Table 4 Comparison of various segmentation algorithms on AD group表4 AD 組上各種分割算法的比較

5 結(jié)束語

針對腦MRI 圖像中海馬體的分割，本文提出了一種新型的三維卷積網(wǎng)絡Dilated-3DUnet。該網(wǎng)絡可以實現(xiàn)海馬體的三維全自動分割。采用“金字塔”結(jié)構(gòu)的通道數(shù)分布方式，大大縮減了參數(shù)的規(guī)模。然后通過使用三維空洞卷積，擴大了卷積感受野，提取了多尺度的信息，從而捕捉了更多的海馬體特征，對邊緣部分小區(qū)域分割效果更優(yōu)。實驗結(jié)果證明，本文算法在分割性能上相比傳統(tǒng)方法有了一定程度的提升。