基于3D卷積神經網絡的腦腫瘤醫學圖像分割優化

曹祺煒 王峰 牛錦

摘? 要： 針對2D卷積神級網絡不能夠較好地提取各模態之間的差異信息，不同的圖像層腫瘤大小差異顯著，且分割精度低，單模態MRI無法清晰地反映GBM的不同組織結構，提出一種基于3D多池化卷積神經網絡擬解決以上實際問題。將卷積神經網絡應用到腦腫瘤分割上，并針對腦腫瘤的特點，提出3D多池化卷積神經網絡模型，通過多尺度的輸入與多尺度的下采樣，且在后端使用條件隨機場（CRF）使圖片盡量在邊界處分割，增加圖像的分割精度，克服腦腫瘤的個體差異，同時適應腦腫瘤不同圖像層之間的大小位置差異。通過對100例患者的多模態磁共振圖像進行分割，Dice系數達到91.64%;MRI腦腫瘤分割的改進方法可使分割精度得到明顯提高，可更好地提取各模態之間的差異信息，實現適應范圍更廣的MRI腫瘤分割，并準確有效地分割腦腫瘤。

關鍵詞： 腦腫瘤; 醫學圖像分割; 多模態MRI; 差異信息提取; 多尺度采樣; 3D卷積神經網絡

中圖分類號： TN911.73?34; TP399? ? ? ? ? ? ? ? ? ? 文獻標識碼： A? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）03?0074?04

Optimization of brain tumor medical image segmentation

based on 3D convolutional neural network

CAO Qiwei， WANG Feng， NIU Jin

（School of Information and Computer Science， Taiyuan University of Technology， Taiyuan 030024， China）

Abstract： A 3D?based multi?pooling convolutional neural network is proposed in view of the facts that the 2D convolutional neural network can′t extract the difference information among different modes with satisfaction， the differences of tumor size for different image layers are obvious， the image segmentation accuracy is low， and the single?mode MRI （magnetic resonance imaging） fails to clearly reflect the different tissue structures of GBM （glioblastoma multiforme）. The convolutional neural network is applied to brain tumor segmentation， and a 3D multi?pooling convolutional neural network model is proposed according to the characteristics of brain tumors. In the proposed model， multi?scale input and multi?scale down?sampling are implemented and CRF（conditional random field） is used at the rear?end to segment the image at the boundary as far as possible， so as to improve the image segmentation accuracy， eliminate the individual differences of brain tumor images and adapt to the size and position differences in different image layers of brain tumors. The Dice coefficient reached 91.64% by segmenting the multi?mode magnetic resonance images of 100 patients. The improved MRI brain tumor segmentation method can significantly improve the segmentation accuracy， better extract the difference information among various modes， adapt to a wider range of MRI tumor segmentation， and accurately and effectively segment brain tumors.

Keywords： brain tumor; medical image segmentation; multi?mode MRI; difference information extraction; multi?scale sampling; 3D convolutional neural network

0? 引? 言

醫學圖像中病灶的分割和定量評估為神經病理學的分析提供了有價值的信息，在規劃治療策略，監測疾病進展和預測患者結果中扮演重要角色。因此，圖像的分割效率和準確性在醫學病例分析、臨床診斷以及治療方面具有重要意義。本文基于2D多池化卷積神經網絡基礎，采用數學模型和高維重建方法對2D?CNNs（2D Convolutional Neural Networks）進行改進，提出基于3D多池化卷積神經網絡解決以上實際問題。

本文提出一種多模態多池化3D卷積神經網絡腦腫瘤圖像分割方法。首先，將所有像素不一的圖像進行預處理，獲得統一像素為224×224的圖像;隨后，在前端使用3D?CCNs（3D Convolutional Neural Networks）進行特征提取，由于卷積和下采樣操作造成特征圖分辨率降低，采用多池化層的結果進行上采樣之后來優化輸出，后端使用CRF（Conditional Random Field）優化前端的輸出，CRF能夠使圖片盡量在邊界處分割，增加圖像的分割精度。通過從100例患者的多模態MRI圖像中提取信息，Dice系數為91.64%。結果表明，改進的MRI腦腫瘤分割方法顯著提高了分割的準確性，較好地解決了當前目標分割任務繁重的問題，具有效率高、分割準確的優勢。

1? 相關理論

醫學圖像分割技術的發展是一個從人工分割到半自動分割再到自動分割逐步發展的過程。人工分割的精度高，但其分割結果完全取決于操作者的經驗知識，存在一定的主觀性，且方法費時、費力。而自動分割是由計算機完成圖像分割的全過程，分割速度明顯提高，已成為國內外眾多學者不斷研究與探索的熱點[1?3]。

圖像分割是指將一幅圖像灰度、顏色、紋理和形狀等特征分成若干互不重疊的子區域，使得每個子區域具有一定的相似性，而不同子區域有較為明顯的差異。圖像分割是圖像識別、物體檢測等任務的基礎預處理工作。常用的圖像分割方法有：基于閾值的分割、基于邊緣的分割、基于區域的分割、基于圖論的分割、基于能量泛函的分割、基于小波的分割、基于神經網絡的分割等[4]。

2? 基本方法

卷積神經網絡CNN（Convolutional Neural Network）主要用來識別位移、縮放及其他形式扭曲不變性的二維圖形[5]。由于CNN的特征檢測層通過訓練數據進行學習[6];再者由于同一特征映射面上的神經元權值相同，所以網絡可以并行學習。卷積神經網絡以其局部權值共享的特殊結構在圖像處理方面有著獨特的優越性，其布局與實際的生物神經網絡相似，權值共享降低了網絡的復雜性，針對多維輸入向量的圖像，可以直接輸入網絡，避免特征提取和分類過程中數據重建的復雜度[7]。以圖像作為直接輸入，滑動的窗口在輸入的圖像上滑動時，窗口內的權值保持不變，參數的數量得到顯著降低。網絡的泛化能力得到提高，并且增加了計算效率[8]。

2.1? 圖像預處理

本文以100例腦腫瘤患者MRI圖像為研究實例，平均每個患者有15～21張不同角度的圖像序列，本文的多模態MRI主要包括T2，T1PRE，T1POST和FLAIR。在不同的模態下，組織圖像呈現出不同的特征：腫瘤在T1POST呈現高信號，壞死部分在T1POST呈現低信號，而水腫部分在T2和FLAIR呈現高信號。本文根據這些特征，把病變組織從正常的組織中標記或分割出來[9]。

選取任一患者所有圖像，對比度歸一化，均衡直方圖[10]，再將每三張灰度圖編為一組，將每張灰度圖的大小修改為224×224。3D腦部掃描的分割是通過獨立處理每個2D切片來實現的，經過預處理之后的圖像如圖1所示。

2.2? 3D卷積神經網絡模型

經過預處理之后的MRI圖像每個通道等同于一個二維矩陣，卷積核通過滑動窗口的方式，與輸入圖像的每個通道進行卷積運算，提取出不同類型的特征，稱為特征圖。本文的3D?CNNs模型結構如圖2所示，從圖2中可以看出，連續的3幀圖像共同作為輸入值，圖像的規格均為224×224×224，網絡的輸入大小為224×224×3，卷積層[C1]共含有5個大小為5×5×3的3D卷積核，經過池化與卷積計算后，輸出6幅特征圖，特征圖的大小為52×52×3，通過采樣層計算后獲得特征圖大小為26×26×3，[C2]層同樣共含有5個大小為5×5×3的3D卷積核，經過卷積后得24幅大小為22×22×1的特征圖，然后降采樣后得到24幅大小為11×11×1的特征圖像。

在3D卷積神經網絡整體模型結構中，為能縮小空間冗余的內容量，減少網絡中的參數和計算量，在卷積層之后插入池化層，如圖3所示。可在一定程度上避免過度擬合。

2.3? 全連接的CRF

CRF使用一個單獨的指數模型來表示在給定觀測序列條件下整個序列標簽的聯合概率，不同狀態下的不同特征能夠相互進行平衡。同時，可以把CRF當作一個具有非規范化的轉移概率的有限狀態模型，進行學習之后可以得到一個定義良好的可能標注的概率分布。同時，訓練的損失函數是凸函數，保證了全局收斂性。

CNN產生的分割標簽映射趨于平滑且相鄰體素共享較大的空間背景，訓練過程中輸入圖像中的噪聲仍可能導致一些輸出偏差，采用完全連接的CRF（Conditional Random Field）作為后續處理步驟，以“凈化”CNN結果并實現更加結構化的預測。CRF能夠模擬任意大的體素鄰域，計算效率高，適合處理3D多模式醫學掃描。本文將條件隨機場CRF的優勢與之前3D卷積神經網絡模型相結合，采用3D?CCNs+CRF模型分割結構（如圖4所示）對醫學圖像進行處理，可使分割精度得到明顯提高，較準確地分割腦腫瘤。

3? 實驗與分析