基于深度學習的醫學圖像分割研究進展

宮進昌，趙尚義，王遠軍

上海理工大學醫學影像工程研究所，上海200093

前言

隨著醫學影像技術的發展，影像診斷在疾病診斷中發揮的作用越來越重要。醫學影像技術主要包括X 線檢查、計算機斷層成像（Computed Tomography, CT）、超聲（Ultrasound）和磁共振成像（Magnetic Resonance Imaging,MRI）等。影像輔助使得臨床醫生可以更加直觀和清晰地觀察正常和病變組織的解剖結構，為臨床診斷、制定手術方案和生物醫學研究提供科學依據。由于醫學影像會輸出大量的數據，臨床醫生和研究者需要利用計算機進行醫學圖像的自動處理和分析，而圖像分割是醫學圖像處理和定量分析的關鍵步驟之一［1］。

圖像分割是把圖像分成若干個區域并把圖像中的解剖結構或感興趣區域提取出來。常用的傳統醫學圖像分割方法有：邊緣檢測法、閾值法和區域生長法等。其中，邊緣檢測法基于區域邊緣上的灰度值變化較大，通過檢測不同區域間的邊緣來分割圖像，該方法易產生過分割，也就是把圖像分割成過多的區域。閾值法的關鍵是確定閾值，如果只選一個閾值，該閾值將圖像分為目標和背景兩類；如果選取多個閾值，則圖像分為多個目標區域和背景。閾值法容易實現，但對圖像中灰度差異較小或灰度值有重疊的圖像難以準確分割。區域生長法需要先選取一個種子點，然后將種子點像素周圍具有相似性質的像素合并到種子像素所在的區域。區域生長法一般與其它分割方法一起使用，適用于分割小結構如傷疤等。總之，這些方法需要較多的人機交互過程完成目標提取，同時自我學習能力較弱，對噪聲、模糊等干擾抵抗力較弱。

目前，醫學圖像分割技術仍然不夠成熟，臨床實踐中沒有一種通用的醫學圖像分割方法，能夠對所有圖像都獲得令人滿意的分割結果，因此在實際應用中面臨的分割問題需要具體分析來決定采用何種分割方法。近年來，計算機技術和人工智能迅速發展，計算機輔助診斷在臨床醫學得到廣泛應用。深度學習作為機器學習的分支，源于人工神經網絡且應用前景十分廣闊，基于深度學習的醫學圖像分割也獲得廣泛關注［2］。深度學習具有自我學習能力、通用性和高效性等特點，可用于計算機輔助診斷。由于傳統的醫學圖像分割方法過多依賴醫學領域的先驗知識，同時在分割過程中耗費大量的人力和時間，因此提出基于卷積神經網絡（Convolutional Neural Network,CNN）的醫學圖像分割方法。CNN 是深度學習模型之一，它基于多層感知器的算法，主要采用局部感知、權值共享和空間下采樣的結構性思想來學習輸入和輸出之間的高度非線性映射，可應用于醫學圖像的分類、分割和去噪等特征提取，并且分割算法的穩定性和可重復較高。

本文旨在研究基于深度學習的定量分析醫學圖像病灶分割方法進展。首先介紹CNN的基本結構和基于CNN 的醫學圖像分割流程及評價指標；接著介紹深度學習在醫學圖像分割中的應用，包括肺結節、腦腫瘤和乳腺等病灶的分割；最后總結并討論對該領域的研究所面臨的問題和挑戰。

1 基于CNN的分割方法

1.1 CNN基本結構

傳統的多層神經網絡中輸入是一個矢量，但醫學圖像的矢量化會破壞圖像的結構信息。CNN的輸入層、卷積層、激活層、池化層、全連接層及輸出層的結構無需將輸入矢量化，從而更好地利用圖像的空間和結構信息［3］。卷積層是卷積核通過滑動窗口計算而得，將卷積核的各個參數與對應的局部像素值求加權，再加上一個偏置參數，即可得到卷積層上的結果。由于卷積操作是線性的，采用激活函數加入非線性因素，模擬更細微的變化，解決線性模型不能解決的問題。池化相當于一種“壓縮”方法，即每次將輸入層的圖像卷積后，通過下采樣來減小圖像的規模，提取主要特征。通過池化，圖像維度降低，減少計算量和過擬合現象。經過前面的操作把原始數據映射到隱層特征空間后，全連接層連接所有特征，把卷積輸出的二維特征轉化成一維向量送給分類器［4］。圖1為AlexNet CNN的一般結構。

圖1 AlexNet CNN的一般結構Fig.1 General structure of AlexNet CNN

CNN 的結構實現對輸入數據的位移、尺度及形變的不變性，提高了運算速度和精度［5］。目前，CNN處理圖像的架構主要有3種：一是從輸入圖像中提取每個像素周圍的N×N圖像塊作為網絡的輸入，在提取出來的圖像塊上訓練模型，并給出類標簽來識別正常組織和病灶；二是對輸入圖像的每個像素進行預測，得到每個像素所屬的類，進行像素級分割；三是級聯的CNN架構，該架構結合了上述兩個CNN架構，前者用于訓練模型，初始化預測類別標簽，后者用于微調前者的輸出而獲得分割結果［6］。采用CNN分割醫學圖像中的病灶，一般需要先提取病灶的形態特征對病灶進行分類，后對圖像進行分割。

1.2 分割流程

1.2.1 預處理目前，大多數深度學習算法都是在公共數據集上進行評估，如腦腫瘤分割（BRATS）數據集，該數據集主要用來對比和評估最新的腦腫瘤自動分割方法。但公共數據集的圖像數據有限，很難訓練出泛化能力強的網絡，因此通過數據增強的方法來增加數據集大小。數據增強是通過對原始數據進行旋轉、平移和變形等變換增加訓練數據的大小，且原始數據的隨機變換可以減少過擬合［7］。

由于醫學圖像存在灰度不均勻性、對比度變化大以及噪聲等缺點，因此，在分析之前需要對圖像進行預處理［3］。（1）灰度歸一化：將所有圖像的灰度映射到標準或者參考灰度（如：0～4 095 之間）的過程。常用的灰度歸一化方法是將圖像的灰度分段，線性映射到參考灰度［8］。深度學習中常用的歸一化技術是計算Z-分數，即將圖像中所有像素減去平均圖像灰度，并用像素值除以灰度的標準差。（2）去噪：減少醫學圖像中異常組織的Rician噪聲［9］。

1.2.2 訓練集創建及標注在深度學習中，將數據分為訓練、驗證和測試集。訓練集用來訓練模型或確定參數；驗證集用來做模型的選擇，即模型的最優化；測試集為了測試已訓練好模型對不可見數據的泛化能力。實際應用中一般將數據集分為兩類，即訓練集和測試集。由于醫學圖像的真實數據有限，可采用交叉驗證法。在k倍交叉驗證中，數據被隨機分成k個大小相等的部分，保留k個部分中的一個作為測試集，剩下的k-1個作為訓練集。

由于醫學圖像數據集已標注的樣本數量不足，不能滿足臨床需求，而且手動標注圖像需要耗費大量人力，因此需要對訓練集進行自動標注。我們可以利用CNN 在圖像特征自學習方面的優勢，對圖像進行自動標注。首先用無標注圖像訓練CNN，將圖像特征映射到隱層神經網絡，同時初始化CNN。再采用反向傳播算法標注誤差從而優化權重，該網絡的總體誤差可視為每個誤差的總和，最后標注圖像。

1.2.3 多層神經網絡的構建與優化多層神經網絡是相對于淺層神經網絡而言的，其中多層神經網絡含有多個隱藏層。淺層神經網絡不能精確表征圖像的特征，且會出現過擬合問題。構建多層神經網絡需要提供自己的圖片數據集，訓練網絡有3 種方法，一是利用已有的訓練效果較好的多層神經網絡如AlexNet、Inception 等從頭開始訓練。首先確定網絡框架，準備好需要訓練的數據集，然后隨機初始化神經元參數，把訓練好的數據按批次放入該網絡，最后得到多層神經網絡。但該方法需要大量數據集且耗時，可能會出現過擬合現象。二是利用一個已經訓練好的網絡模型，該網絡中卷積和池化的權重參數都是經過大量訓練和優化的，因此可以利用其權重參數直接進行特征提取。但由于已訓練好的網絡類別和我們需要的類別可能不同，因此需要用自己的數據集至少對最后一層進行訓練，得到分類結果。第三種也是訓練最后一層，但卷積和池化層的權重參數也參與訓練，可嘗試采用較小的學習率做微調。

構建多層網絡之后，網絡的效果可能不夠好，需要對網絡進行優化。由于網絡參數是影響網絡性能最重要的因素，包括隱藏層的層數、卷積核的大小、權重和迭代次數等。隱藏層的層數由訓練集的尺寸和卷積核的大小共同決定；權重是神經網絡通過反向傳播和優化算法進行優化；迭代是一個完整訓練集樣本通過網絡一次并返回一次的次數。迭代的次數越少，網絡的精度越低，但次數越多，計算量越大，因此選擇適當的迭代次數來優化網絡。

1.3 病灶檢測

病灶的檢測是計算機輔助疾病診斷的關鍵步驟之一，即從圖像中尋找病灶形狀、大小和所處的具體位置。由于醫學圖像受噪聲和成像質量的影響，圖像灰度不均勻，不同病人的同類病灶形態特征差異很大。針對這些問題，深度學習方法通過建立大樣本數據來提高病灶檢測的準確率，提高輔助診斷的效果。

目前，在深度學習中目標檢測使用較多的網絡是R-CNN［10］。R-CNN先用選擇搜索的方法提取疑似病灶區域，然后采用深度神經網絡提取病灶特征并分類，最后采用回歸器進行位置修正。Faster R-CNN使用區域建議網絡（Region Proposal Network, RPN）取代了R-CNN中選擇搜索方法，并把R-CNN中分類和位置修正放到同一個深度的網絡中，提高了運行速度并減少空間占用［11］。

1.4 基于測試集的病灶分割

基于深度學習的病灶分類使用一系列的病灶圖像即訓練集，訓練一個深層神經網絡，然后用測試集測試該網絡識別病灶的準確率，并進行多次優化訓練以提高準確度。訓練出來的網絡可以提取病灶的同類特征，最后利用該網絡識別輸入的疑似病灶圖像，并按其特征進行分類。實際上，利用深度學習進行計算機輔助診斷的過程就是要先訓練一個有效的分類器，后把提取出來的特征提供給分類器進行分類。

找到真正的病灶后，可采用傳統的分割方法，如閾值法和區域生長法來分割病灶。醫生通過病灶分割得到結果，結合病人的相關資料可提高診斷速度和準確度。表1總結了醫學圖像分割定量分析的參數。

2 深度學習在醫學圖像分割中的應用

2.1 肺結節

表1 病灶分割定量分析的參數Tab.1 Segmentation parameters for quantitative analysis of lesion segmentation

由于肺癌在癌癥中的發病率和死亡率占首位，肺結節是可以癌變的肺部組織，故分類和分割肺結節對臨床醫生診斷有重要意義。近年來，研究者們對深度學習輔助分割肺結節做了深入的研究。Hua等［12］首次將深度學習應用于肺結節分類問題的研究，他們引入深度信念網絡（Deep Belief Network,DBN）和CNN對肺結節的良惡性進行分類，結果表明基于深度學習的肺結節分類靈敏度和特異性均高于基于特征計算的方法。Cheng 等［13］將堆棧式去噪自編碼器（Stacked Denoising Auto-encoder,SDAE）算法應用于CT 圖像的肺結節分割，表明SDAE 算法優于傳統的輔助診斷方法，且SDAE適用于存在固有噪聲的醫學圖像。Ciompi等［14］提出了基于多流多尺度卷積網絡的深度學習系統，處理原始的CT圖像，它可自動分類肺結節類型。 Liauchuk 等［15］利 用GoogLeNet CNN 檢測肺結節，繪制了受試者工作特性（Receiver Operating Characteristic, ROC）曲線，同時發現基于CNN檢測病灶和傳統的基于特征提取方法的ROC面積分別為0.969和0.895。

以上研究表明，基于深度學習的肺結節診斷具有相對較高的靈敏度和特異性，并且隨著3D神經網絡發展，該輔助診斷方法將得到更加廣泛的應用。

2.2 腦腫瘤分割

腦腫瘤的定量分析包括測量已成像的生物標志物，如最大直徑、體積和數量來量化疾病，提取生物標志物取決于對腫瘤的準確分割。Havaei 等［16］提出基于CNN 的全自動腦腫瘤分割方法，該架構可利用圖像的局部和全局特征，且在最后一層采用卷積的全連接層，使運行速度提高40 倍。Pereira 等［17］提出基于CNN 的神經膠質瘤分割方法，與Havaei 等[16]相比，他們采用3×3 的小型卷積核但具有更深的網絡結構，該結構可降低過擬合和減少網絡參數，并獲得BRATS 2015挑戰賽的第二名。Zhang等［18］提出基于提取圖像塊的CNN 算法，采用嬰兒的多模態MRI 圖像，即T1、T2和部分各向異性圖像（Fraction Anisotropy, FA），分割正常腦結構。由于CNN 可以整合多模態腦圖像，他們將T1、T2和FA的圖像作為輸入，然后輸出分割圖。結果表明CNN 算法優于使用支持向量機（Support Vector Machine,SVM）和隨機森林（Random Forest,RF）的嬰兒腦組織分割方法。Nie等［19］提出完全卷積神經網絡（Fully Convolutional Neural Network,FCN）分割來自Zhang 等[18]相同數據集的嬰兒大腦圖像，使用FCN 進行端到端的像素級訓練，減少了網絡學習時間。Moeskops 等［20］使用多個卷積核的CNN 來分割嬰幼兒、年輕人和老年人的腦部圖像，并從有限的圖像數據中提取特征，采用數據增強提高網絡性能。

CNN可以自動學習多層次特征，結合局部感知、權值共享和下采樣來減少網絡參數，降低復雜度，實現對輸入信息的多層表達。CNN的這些特征能夠減少人工干預出現的評估錯誤且分割精度較高，把它應用于腦部MRI分割可以輔助醫生診斷和定量分析腦部病灶。

2.3 乳腺病灶分割

乳腺癌是女性中最常見的癌癥類型之一，研究表明乳腺癌占全球癌癥的22.9%，因此使用醫學影像技術對乳腺癌進行早期檢測對于提高存活率至關重要［21］。Dhungel 等［22］使用結構化支持向量機（Structured Support Vector Machine,SSVM）結合深度學習分割乳房腫塊，表明SSVM和深度學習提高了乳房圖像分割的準確性和有效性。Xu等［23］提出堆疊稀疏自動編碼器（Stacked Sparse Autoencoder,SSAE）用于乳腺癌組織病理學的自動化核檢測，發現SSAE優于基線方法。Liu 等［24］采用基于深度多項式網絡（Deep polynomial network, DPN）和 多 核 學 習（Multiple Kernel Learning,MKL）的分類框架檢測和診斷乳腺的超聲圖像，發現DPN-MKL算法在基于超聲圖像的小數據集腫瘤分類方面優于常用的深度學習算法。

綜上，深度學習在分割肺結節、腦腫瘤和乳腺癌等病灶時優于傳統的分割方法，且圖像具有較高的靈敏度和特異性。與傳統分割方法相比，深度學習能夠減少人工干預出現的評估錯誤且分割精度高，把它應用于醫學圖像病灶的分割可以輔助醫生定量分析和診斷疾病。

3 總結與展望

本文總結了基于深度學習的醫學圖像病灶分割方法和深度學習在醫學圖像分割中的應用，可幫助醫生準確、迅速地診斷疾病。研究的最新進展表明深度學習在醫學圖像病灶分割領域有很大的前景，將其應用于分割時明顯優于淺層神經網絡算法。盡管深度學習提高了計算機輔助診斷的準確率，但仍存在一些問題：（1）醫學圖像數據集較小，而深層神經網絡的訓練需要大量數據，因此訓練泛化能力強的深層神經網絡具有挑戰性；（2）醫學圖像中組織的血管很難分辨，增加臨床疾病診斷的難度；（3）醫學圖像的形成受到噪聲、偏移場效應和組織運動等影響，圖像具有模糊、不均勻性等特點，且人體解剖結構復雜給圖像分割帶來困難。

目前深度學習在病灶分割方面應用的發展方向集中為以下3 點：（1）對公共數據集采取數據增強的方法來增加數據集大小，且深層神經網絡的應用趨于三維化、網絡加深、跨數據集泛化等特點；（2）利用多模態數據做病灶分割可能改善圖像效果；（3）結合不同的深層神經網絡提取圖像的跟更多信息。因此，我們接下來將結合多種深層神經網絡應用于腦腫瘤多模態圖像以實現更加準確、快速的分割，提高其臨床診斷應用。