基于多尺度卷積神經網絡的磁共振成像腦腫瘤分割研究

李 健羅 蔓羅 曉藍 威周懷恒陳榮耀

?

基于多尺度卷積神經網絡的磁共振成像腦腫瘤分割研究

李 健①羅 蔓①羅 曉①藍 威①周懷恒①陳榮耀①

李健,男,(1983- ),碩士，工程師。廣東省農墾中心醫院腫瘤放射治療中心，從事放射腫瘤物理師的工作，研究方向：腫瘤放射治療臨床應用中的圖像處理。

目的：針對腦腫瘤形狀、位置及大小等多變性，提出一種適合磁共振成像(MRI)腦腫瘤分割的卷積神經網絡模型的改進方法。方法：將卷積神經網絡應用到腦腫瘤分割上，并針對腦腫瘤的特點，提出多尺度卷積神經網絡模型(MSCNN)，通過多尺度的輸入與多尺度下的采樣，克服腦腫瘤的個體差異，同時適應腦腫瘤不同圖像層之間的大小位置差異，弱化腫瘤邊緣與正常組織灰度相近的影響。結果：通過對30例患者的多模態磁共振圖像進行分割，得到平均Dice系數為83.11%；平均靈敏度系數為89.48%；平均陽性預測值(PPV)系數為78.91%。結論：MRI腦腫瘤分割的改進方法可使分割精度得到明顯提高，多尺度卷積神經網絡能自適應腦腫瘤的差異性，并準確有效地分割腦腫瘤。

腦腫瘤分割；多尺度；卷積神經網絡；磁共振成像

①廣東省農墾中心醫院腫瘤放射治療中心 廣東 湛江 524002

[First-author’s address] Department of Medical Equipment, Zhanjiang Tumor Hospitl, Zhanjiang 524002, China.

腦膠質瘤是一種嚴重危及患者生命的常見腦部惡性腫瘤，而磁共振成像(magnetic resonance imaging，MRI)具有高分辨率、多參數成像等特點，是腦腫瘤診斷常用的檢查設備。腫瘤的分割對于前期診斷、手術治療和放射治療起著至關重要的作用。由于腦膠質瘤與正常組織灰度差異不明顯，腫瘤周圍邊界不清晰且周圍通常存在水腫，人工分割工作繁瑣且主觀性強，不同專家對同一患者分割結果差異較大，同一專家在不同時刻對同一患者的分割結果亦不盡相同，而使用計算機能夠有效精確地實現腦腫瘤的自動分割，已成為國內外眾多學者不斷研究與探索的熱點[1-4]。本研究根據腦腫瘤的特性提出一種改進的卷積神經網絡(convolutional neural network，CNN)結構模型—多尺度卷積神經網絡(multi-scale convolutional neural network，MSCNN)模型，以實現對腦腫瘤的自動分割。

1 材料與方法

1.1 資料及工具

所用的MR圖像來自在線圖庫MICCAl2012(http：// www.imm.dtu.dk/projects/BRATS2012)，其中包括蘇黎世聯邦理工學院、伯爾尼大學、德布勒森大學和猶他州大學在內的機構提供完全匿名的患者數據，人工分割結果由網站提供，為多名專家共同完成。圖庫中給出患者FLAIR、T1、T2和T1C的4種已配準圖像(512×512×176，1 mm×1 mm×1 mm)。

對圖像庫所有30例真實患者數據進行腦腫瘤分割試驗，計算環境為Matlab2011a，CPU3.40 GHz，RAM4.00 GB，Windows XP Professional。

1.2 評價指標

采用Dice相似系數(dice similarity coefficient，DSC)法、靈敏度和陽性預測值(predictive positivity value，PPV)等[5]技術指標評價分割結果，其中Dice系數為試驗分割結果與專家手動分割結果的相似程度，靈敏度為分割正確的腫瘤點所占真值腫瘤點比例，PPV為分割正確的腫瘤點所占分割結果為腫瘤點的比例。

1.3 MSCNN結構模型

(1)多模態三維CNN模型。文獻[6]對經典的二維CNNs做出改進，提出一種多模態三維CNN結構模型。其核心是用對4個模態的相同位置的小鄰域如14×14(具體鄰域大小根據訓練數據網格尋優所得)，組成三維(14×14×4)原始輸入層，用3×3×2的三維卷積模板對原始輸入層進行卷積，通過4個層次的三維卷積與二維下采樣，實現腦腫瘤的特征提取與分割(如圖1所示)。

圖1 多模態三維CNN結構圖

(2)MSCNN結構模型。本研究對多模態三維CNN模型做出改進，提出MSCNN模型。MSCNN輸入層由3個尺度(10×10、20×20和34×34)構成，分別經過3條不同的通道卷積下采樣，3條通道都采用3×3×2的多模態三維卷積模板進行特征學習，然后各自通過不同尺度的下采樣進行特征抽取。多尺度的輸入能從不同的角度提取豐富的鄰域特征，無論訓練層腫瘤大小與否，無需再通過網格尋優來確定鄰域的尺度，多尺度同時學習能自適應的提取最有利的分類特征，不同層次的下采樣能夠有效去除由于尺度過大而帶來的鄰域干擾特征，即使測試層與訓練層腫瘤差異很大，因鄰域信息豐富仍能取得較好的分割結果(如圖2所示)。

圖2 MSCNN結構圖

1.4 分割方法

基于MSCNN模型的MRI腦腫瘤分割系統對患者采用參考文獻[7]方法進行預處理。①移除1%最高灰度和最低灰度；②對T1和T1C模態運用N4ITK偏差糾正[8]；③對每個模態各自歸一化。預處理后，隨機抽取一層含腫瘤層作為訓練層，腫瘤內外各取相同的點數作為訓練樣本，得到符合此患者特點的MSCNN模型，用此模型對此患者剩余腫瘤層進行分割。為表明MSCNN的分割性能，本研究中所用到的分割方法均未做任何后處理(如圖3所示)。

圖3 研究方法系統流程圖

2 結果

在本研究中，采用試驗說明多模態三維CNN中鄰域大小對分割結果的影響；然后用MSCNN模型對30例真實患者數據進行分割，并與多模態三維CNN模型試驗結果進行對比；最后同支持向量機分割模型[9]結果進行對比，以驗證本研究方法的有效性與必要性。

2.1 多模態三維CNN不同鄰域分割結果

編號為HG0006的患者不同二維層圖像，不同層的腫瘤大小差異較大，且周圍水腫面積也大不相同，灰度紋理差異很大，因此，在訓練層取得最佳分割結果的鄰域尺度，在測試層并不能夠獲得最佳的分割結果(如圖4所示)。

圖4 編號為HG0006患者不同二維層圖像

為驗證鄰域尺度對分割結果的影響，用不同鄰域尺度對同一患者進行訓練和分割，編號為HG0006的患者基于多模態三維CNN模型的分割結果表明，不同鄰域尺度對訓練層和測試層的分割精度影響較大，同時，訓練層和測試層的最佳鄰域尺度并不相同，在訓練層，鄰域為26×26×4時獲得最佳Dice系數，而測試層的最佳鄰域為30×30×4。試驗證明，鄰域尺度對測試層和訓練層均有較大影響(如圖5所示)。

圖5 編號為HG0006患者不同鄰域尺度三維CNN分割結果示圖

2.2 MSCNN與多模態三維CNN分割結果對比

為驗證多尺度輸入的有效性，分別用MSCNN模型和多模態三維CNN模型對30例真實患者圖像進行分割實驗(如圖6所示)。

表1 30例患者的平均分割結果(%)(±s)

表1 30例患者的平均分割結果(%)(±s)

S 三V MM維方SC-C 法NRN NBNF 8 992 51.D..0 i077 c64 e± ±± 系1 47 數4...24 0 490 999 884...靈訓076 049敏練 ±±±度層114...748 287 87 964 3...58 554 P0±± P±V11 7 19...599 593 76 827 3..D.68 i187 c2e±±± 系12 9 數50...3 49 150 88 844 9...測靈40 487 8試敏 ±±±層度11 853...758 766 765 869...967 P111 ±±± PV 112 473...199 246

圖6 編號為HG0001患者分割結果示圖

圖6顯示編號為HG0001的患者分割結果，a為真值圖像，b為基于MSCNN模型的分割結果，c為基于三維CNN模型的分割結果，第一排為訓練層的分割結果，第二排為測試層的分割結果，從圖6a中可以看出，不同的腫瘤層腫瘤大小及周邊水腫差異較大，兩種方法對于訓練層都能取得很好的分割結果，但由于輸入尺度不一樣，MSCNN在測試層上分割精度明顯高于多模態三維CNN模型。這是由于測試層腫瘤很小，且與周圍正常組織在灰度和紋理上都非常接近，單一鄰域特征難以將腫瘤與正常組織區分開來。

對30例患者的平均分割結果顯示，其中對三維CNN模型的鄰域參數均采用網格尋優確定，與多模態三維CNN模型方法相比較，MSCNN模型方法的訓練層分割精度略有提高，Dice系數從91.74%到95.06%，測試層的分割精度則有明顯提高，Dice系數從72.68% 到83.12%，精度提高了10.44%，見表1。

表1數據表明，相對于三維CNN模型，MSCNN模型采用了不同尺度的輸入，既能適應不同患者在腫瘤大小位置上差異及周邊水腫的差異，同時針對同一患者在不同空間上腫瘤大小的差異，豐富的鄰域信息能極大提高分割精度。

2.3 MSCNN與其他分割方法對比

為了驗證基于MSCNN模型分割方法的優勢，將本研究方法與文獻[9]方法進行對比試驗。通過試驗證明，基于徑向基核函數(radial basis function，RBF)的支持向量機分類器是具有優勢的分類器，同時統計特征和Gabor特征適用于腦腫瘤分割，故以統計信息和Gabor小波為基本特征，用支持向量機(support vector machine，SVM)-RBF做分類器，構成本研究的對比試驗。試驗結果如表1所示，為30個患者圖像采用兩種不同分割方法的平均結果值，表1顯示，SVM-RBF方法的Dice系數為67.87%，MSCNN為83.12%，具有非常明顯的優勢。

3 討論

在以往的研究中，通過人的主觀意識去理解圖像，從而提取特定的特征信息，如灰度信息、紋理信息及對稱信息等實現腦腫瘤的分割，結果只能針對特定的圖像有比較好的分割結果[9]。CNN自1998年首次提出后便作為高效識別方法受到研究者的廣泛重視，隨著2006年深度學習概念的提出，CNN作為有監督學習的代表，再一次成為總舵科學領域的研究熱點之一[10-11]。CNN直接輸入原始圖像，而不需要對圖像進行復雜的前期預處理，通過局部感受野提取方向線段、端點及角點等初級視覺特征；通過權值共享減少訓練數據；通過次抽樣來實現對位移、縮放和其他形式扭曲的不變性，因而得到了廣泛的應用。在MRI腦腫瘤圖像的分割上，CNN有監督學習方法實現了針對不同患者差異信息提取不同的分類特征；下采樣使得特征提取包含更多的結構邊緣信息，同時剔除冗余信息和噪聲，適合腦腫瘤的多變性，逐漸成為腦腫瘤分割的主流方法之一[5-6,12-13]。

為充分利用MR的多參數成像的特點，自動提取4個模態(T1、T1C、T2和FLAIR)序列的差異信息。Lyksborg等[5]采用MR的4個二維多模態鄰域灰度作為原始數據，為了避免不同層腫瘤差異大的問題，其選取特定的腫瘤層來實現腫瘤的分割。經典的二維CNN模型運用到MRI腦腫瘤分割會出現如下問題：①MR圖像的每個模態強調不一樣的信息，如何提取差異信息同時去除冗余信息，實現更高精度的分類；②不同患者的腫瘤大小不一，同一患者的不同腦圖像層腫瘤大小也不一，如何確定原始輸入尺寸的大小。

Urban等[12]提出二通道卷積神經網絡(two path convolutional neural network，TWCNN)模型，一條通道提取局部詳細特征，另一條通道提取更大范圍的全局特征；Havaei等[13]在TWCNN的基礎上提出了更加復雜的二通道模型，使得分割精度取得較大提高，但不同患者腦腫瘤的大小各異；即使是同一患者，在二維圖像上，不同的圖像層腫瘤大小差異顯著。以上模型的原始輸入層的大小單一，在不同大小腫瘤的分割上，不同患者的分割結果有很大差異。

羅蔓等[6]提出一種多模態三維CNN模型，將MR 的4個模態序列圖像組成三維的原始輸入圖像，用三維的卷積模板進行特征提取。多模態三維CNN原始輸入層由4個模態共同構成，通過三維卷積，自動提取各個模態之間的差異信息，同時剔除冗余信息。然而，多模態三維CNN模型仍然未解決鄰域大小的取值問題，面對尺寸差異很大的腫瘤仍然有其局限性。由于每個患者的腦腫瘤大小及其邊緣復雜程度不同，必須通過訓練確定鄰域的大??；不同鄰域大小對分割精度有較大影響，通過窮舉算法來確定輸入尺寸的大小，訓練層的高精度并不代表適合整個大腦的腫瘤分割。

CNN模仿人類視覺處理過程，作為優秀的深度學習方法被廣泛應用于各個領域，但由于腦腫瘤的灰度、紋理、位置、大小及形狀等多變性，常規的CNN模型仍不能取得很好的分割結果。為此，本研究提出一種MSCNN模型，在多模態三維CNN模型的基礎上，輸入層由3個不同尺度的鄰域構成。多尺度的輸入，不同尺度的次抽樣，能從不同角度來獲得更多有利于分割的特征，在增加鄰域信息的同時去掉冗余信息，以得到最佳的分類特征；通過多尺度的輸入，克服需要根據腫瘤的大小來選擇特定的輸入尺度，從各個角度容納更多的鄰域信息，同時適應不同腫瘤大小、灰度及紋理等的變化差異，從而提高腦腫瘤的分割精度。

4 結語

本研究結果表明，MSCNN模型方法能夠準確有效地分割腦腫瘤。在接下來的研究中，將進一步分析如何在保證精度不變甚至提高的基礎上，加快分割速度，以保證分割的實時性，以期進一步完善本研究所提出的分割策略。

[1]Li Y,Dou Q,Yu J,et al.Automatic brain tumor segmentation from MR images via a multimodalsparse coding based probabilistic model[C].Pattern Recognition in Neuro Imaging(PRNI),2015 International Workshop on.IEEE,2015:41-44.

[2]Mohan J,Krishnaveni V,Huo Y.Automated brain tumor segmentation on MR images based on neutrosophic set approach[C].Electronics and Communication Systems(ICECS),2015 2nd International Conference on IEEE,2015:1078-1083.

[3]Ben George E,Rosline G J,Rajesh D G.Brain tumor segmentation using Cuckoo Search optimization for Magnetic Resonance Images[C].GCC Conference and Exhibition (GCCCE),2015 IEEE 8th.IEEE,2015:1-6.

[4]Huang M,Yang W,Wu Y,et al.Brain tumor segmentation based on local independent projectionbased classification[J].IEEE Trans Biomed Eng,2014,61(10):2633-2645.

[5]Lyksborg M,Puonti O,Agn M,et al.An ensemble of 2D convolutional neural networks for tumor segmentation[J].Lecture Notes Computer Science,2015,9127:201-211.

[6]羅蔓,黃靖,楊豐.基于多模態3D-CNNs特征提取的MRI腦腫瘤分割方法[J].科學技術與工程,2014(31): 78-83.

[7]Menze BH,Jakab A,Bauer S,et al.The Multimodal Brain Tumor Image Segmentation Benchmark(BRATS)[J].IEEE Trans Med Imaging,2014,34(10): 1993-2024.

[8]Avants BB,Tustison NJ,Song G,et al.A reproducible evaluation of ANTs similarity metric performance in brain image registration[J].Neuroimage,2011,54(3): 2033-2044.

[9]Nabizadeh N,Kubat M.Brain tumors detection and segmentation in MR images:Gabor wavelet vs.statistical features[J].Computers Electrical Engineering,2015,45:286-301.

[10]Le Cun Y,Bottou L,Bengio Y,et al.Gradientbased learning applied to document recognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.

[11]Hinton GE,Osindero S,Teh YW.A fast learning algorithm for deep belief nets[J].Neural computati on,2006,18(7):1527-1554.

[12]Urban G,Bendszus M,Hamprecht FA,et al.Multi-modal brain tumor segmentation using deep convolutional neural networks[J].MICCAI BraTS (Brain Tumor Segmentation)Challenge.Proceedings, winningcontribution,2014:31-35.

[13]Havaei M,Davy A,Warde-Farley D,et al.Brain tumor segmentation with deep neural networks[J].Medical Image Analysis(in revision),2015.

Research on tha application of brain tumor segmentation of MRI based on multi-scale convolutional neural networks

LI Jian, LUO Man, LUO Xiao, et al// China Medical Equipment,2016,13(2):25-28.

Objective: In view of these tumors can appear anywhere in the brain and have almost any kind of shape and size, a new segmentation method of MRI based on intelligent convolutional neural network is developed.Methods: The convolutional neural network is applied in brain tumor segmentation, according to the features of the brain tumor, the multi-scale convolutional neural network is proposed and conducted multi-scale input and multi-scale down sampling to overcome the individual differences of brain tumor.At the same time it adapted any kind of size, shape and contrast of the difference layers.Results: Data from 30 patients showed that the proposed algorithm is effective.The average Dice is 83.11%, the average sensitivity coefficient is 89.48%.the average predictive positivity value coefficient is 78.91%.Conclusion: It can improve the segmentation accuracy obviously.The multi-scale convolution neural network can adaptively the differences of brain tumor, have more effective segmentation for more images.

Brain tumor segmentation; Multi-scale; Convolutional neural network; Magnetic resonance imaging

10.3969/J.ISSN.1672-8270.2016.02.008

1672-8270(2016)02-0025-04

R445.2

A

2015-12-26