基于U-Net網絡的肺部組織分割

程立英, 高宣爽, 申 海, 黃丹陽, 覃文軍

(1. 沈陽師范大學 物理科學與技術學院, 沈陽 110034;2. 東北大學 醫學影像智能計算教育部重點實驗室, 沈陽 110189)

0 引 言

截至目前來說肺癌是影響中國居民生活和健康的最大問題之一。綜合研究數據得出結論,對肺部的病灶區域早期發現早期治療是提升肺癌的生存率最直接有效的方法。肺癌在早期階段的表現在肺部外周圍,其CT影像表現為孤立性的肺結節[1],在肺實質內存在單一且最大直徑不大于30 mm的類似圓形的病灶區域,在此特征下不容易和影像結果中的細小的氣、血管區分。然而,現有的CT技術能夠使肺部腫瘤的掃描圖像足夠清晰,從圖像中獲得大量的診斷結果,在肺癌的早期篩查和診斷分析中起著重要作用,但肺部疾病的種類及其圖像顯示復雜多樣,難以及時、準確地進行診斷[2-3]。肺實質分割作為肺部組織分割中的關鍵,在傳統圖像處理技術中特征提取算法的設計復雜性與應用局限性、穩定性,以及特定的特征提取算法與特定的分類器結合的多樣性制約著圖像分割技術的發展[4-5],本文在對傳統肺實質分割算法研究基礎上,結合深度學習方法,設計一個合理的網絡模型分割肺部CT圖像中的肺實質,提高了其分割的準確性,幫助醫師更加準確地判斷病變部位,及時發現病變區域,從而在一定程度上提高肺部疾病的診斷效率和準確率。

1 基于深度學習的醫學圖像分割

近年來,卷積神經網絡(CNN)在計算機視覺和醫學圖像分析等諸多領域的實驗效果都非常顯著。基于CNN的分類是其中最常見的應用,如GoogLeNet、VGG-Net,輸出的是圖像的類標簽。然而,在許多圖像分割任務中,特別是在醫學圖像分析中,一些特定的需要必須被滿足。自動分割是醫學圖像分析的支柱之一。在給定的背景下對邊緣檢測的高度依賴是成功分割醫學圖像的關鍵。因此,在許多方法中,獲取邊緣特征并搜索其位置是主要工作。幾十年來,構建有效的特征工程一直是醫學圖像分割的主流課題。例如,基于形狀的模型被廣泛應用于圖像分割。Yan等[6-7]提出了一種利用部分輪廓的先驗形狀分割前列腺的方法。所有這些方法都是利用特定的特征信息對醫學圖像進行分割。然而,正如本文前面所描述的,深度學習具有從數據中學習分層特征表示的良好能力,并且在各種應用中都取得了超越傳統方法的性能。

在醫學圖像分割工作方面,算法高度依賴于邊緣檢測技術。許多方法的主要工作是尋找相應組織的邊緣。深度學習可以有效地學習邊緣特征。基于此,深度學習逐漸被醫學圖像分割領域所重視,例如,Zhang等建議使用深度卷積神經網絡(CNN)用多模態磁共振圖像分割等強度階段腦組織。Cheng等提出了一種監督機器學習模型,該模型利用基于Atlas的主動外觀模型和深度學習模型在磁共振圖像上分割前列腺。這些方法都利用了深度學習的先進性,取得了顯著的成績[8]。在基于深度學習的醫學圖像分割中,許多網絡應用斑點(patch)到像素或斑點到斑點的策略來訓練和預測。然而,這種策略總是導致訓練和預測效率顯著降低。2015年,全卷積神經網絡(fully convolutional networks,FCN)第一次被 Long[9]公開提出。全卷積神經網絡(FCN)是一種使用多組圖像進行訓練的網絡,并且能夠同時訓練大量的樣本。U-Net作為一種深度卷積網絡,被采用來對圖像進行分割,這種網絡包含一個提取信息的收縮路徑和一個與之對應的恢復的擴展路徑,對圖像分割的精度較高,另外U-Net可以高效地利用訓練數據集,進而減少在需求樣本量上的壓力。現有方法大多數研究是采用合理的方式實現對原始圖像進行分割標定、圖像形變擴充和圖像歸一化等一系列的預處理,為網絡模型的訓練提供基礎數據,再利用合理的神經網絡模型對已經處理好的數據進行訓練提取出肺部輪廓[10]。但是基于深度學習的方法在醫學影像應用方面大多數研究還停留在識別問題(分類問題)上,如肺結節的診斷、特定組織的疾病判定等。在醫學圖像分割問題上特別是肺實質的研究比較少。本文針對肺實質分割,對基于U-Net的深度學習方法進行研究,并實現了基于U-Net的肺實質全自動分割算法,肺實質的分割取得了較好的效果。

2 基于U-Net的分割方法

2.1 U-Net架構

圖1 U-net架構Fig.1 U-net Architecture

U-Net網絡架構包括2個部分, 網絡的左側分為4個階段。 每個階段均由2個卷積層組成, 處理不同的分辨率特征圖。 左半部分執行的卷積使用3*3個內核, 每個內核后面都有一個用于校正的線性單元(Relu)。 每個階段結束, 都向下采樣一個步長為2的2*2最大池運算。 每個階段后, 特征通道的數量增加了1倍。 網絡的右側也分為4個階段, 并且與左邊部分相似。 右部分的每個階段包括2種操作。 第1種是上采樣, 使特征地圖的大小逐漸增大, 直至達到原始輸入圖像的大小。 第2個操作是將特征信道的數目減半, 這樣卷積核的數目在每一階段之后就會減半。 由于每次卷積后都會丟失一些圖像信息, 因此有必要從左側的早期提起特征傳遞到右邊部分。 為了實現這一功能,作者將左側部分與右側部分連接起來。 這樣, 網絡可以獲得一些細節, 否則在卷積過程中會丟失這些細節, 這將提高最終輪廓預測的質量。 此外, 這些連接將加速網絡的收斂。

2.2 基于U-net的肺部分割模型

本實驗采用U-Net的就是數據網絡模型,由左邊的1個收縮路徑以及右邊的1個擴張路徑構成,網絡的整體訓練是輸入一整套的經過預處理之后的訓練集圖像,輸出一整套分割好的肺部CT圖像。所有的訓練都是使用基于Keras的深度學習的模型框架,后端則是tensorflow。本次實驗采用了2套圖像,一套用于訓練,一套用于測試,在構建 U-net 神經網絡時,左邊的收縮路徑包括2次3*3卷積應用,并且均含有1個線性用于校正的單元(ReLU)以及1個2*2的最大池化法來進行下采樣,在下采樣中都增加了特征通道的數量,然后是將下采樣增加的特征通道數量降低1/2,采用1個2*2 的卷積和1個與左側收縮路徑相對應的連接端以及2次的3*3卷積,并且每次都會跟隨修正線性單元[11]。

本網絡計算每個像素點的soft-max值采用能量函數, 定義公式如下:

其中:pk(x)是表示相似的最大函數;ak(x) 是表示像素點在x位置時特征通道數量k的激活值。

本實驗訓練模型的方法是以單個像素的二進制值交叉熵為目標,卷積核的初始化操作以利用分布N(0,0.4)來進行的,損失函數的訓練以隨機梯度下降法進行操作,借此可以在最短時間內達到最小值[12]。更新策略如公式:

其中?為學習率,采用固定值0.03來進行學習。根據結果顯示,SGD能夠在相關方向上抑制震蕩,加快收斂速度。

3 實驗結果和分析

該模型評價采用3個指標:基于GT的圖像分割精度、欠分割率和過分割率。

GT圖像:通常是理論上的分割結果、分割圖像。

分割精度指的是實際運行結果得到的分割面積占理論上真實面積的比例系數,數學定義如公式:

其中:RS表示專家給出的分割圖像的參考準確面積(理論值);TS表示算法得到的圖像的面積;|RS-TS|表示理論與實際面積之間的誤差,即分割不同的像素點個數[13]。

欠分割率UR:指的是基于GT圖像結果下實際分割結果中缺失的像素點所占的比例,數學定義如公式:

其中US表示應該出現在分割結果而沒有出現在分割結果的面積,即US中的像素點出現于理論的分割圖像中,但未出現在于運行結果的分割結果中。

過分割率 OR:指的是基于GT圖像結果下實際分割結果中較之增加的像素點的所占比例,數學定義如公式:

其中OS表示不應該出現在分割結果事實上卻在實際分割結果中的面積,即OS中的像素點出現于實際運行結果的分割圖像中,但未出現在理論的分割圖像中。

本文算法實驗硬件環境: 1) CPU處理器型號: Intel(R) Core(TM) i5-10210U CPU@1.60GHz 2.11GHz; 2) 內存規格: 8GB。軟件環境為Windows 10 64位操作系統,編程環境為python 3.7 IDE pycharm。

算法采用的訓練數據為10組已標注好的近3 000張肺部CT圖像,測試數據是不含訓練數據的另外3組肺部CT圖像。本文算法在對網絡訓練的過程花費了近16 h,但分割測試數據只用了20 s,可以看出,訓練階段時間花費大量的時間進行迭代,但相對傳統的分割算法,進行測試分割時所用時間縮短。考慮在實際應用中,是利用訓練好的網絡模型對CT圖像進行分割處理,所以,基于U-Net網絡的肺部組織分割模型將會大大提高CT圖像分割的效率,簡化前期操作。本文算法最終運行的分割結果,與標準分割結果的圖像進行對比,分別從3組測試數據中選取不同圖層圖片展示與分析,如圖2所示。從圖中可以看出本文提出的算法對肺實質實現了較好地分割。

圖2 肺部不同圖層分割結果對比圖Fig.2 Comparison of segmentation results of different layers of lung

對肺部不同圖層肺實質的分割準確性、過分割率和欠分割率進行計算,計算結果如表1所示。

表1 肺部不同圖層的分割情況對比Table 1 Comparison of segmentation of different layers of lung

從表1可以看出來,針對3組不同切片圖層的肺部圖像,其分割結果的準確率都比較高,且過分割率和欠分割率都比較低。另外,第3組(c)圖的分割準確率較高,第1組(c)圖次之,分割效果較差的是第2組(c)圖,第2組(c)圖是由于大量的肺部血管以及周圍氣管等影響,導致分割效果較其他2組分割結果較差,欠分割率和過分割率也是最高的。

4 結 論

本文從分析圖像分割技術出發,研究了深度學習在醫學圖像中的應用現狀,提出了基于U-net神經網絡的肺部CT圖像的肺實質分割方法,通過對卷積神經網絡進行了改進,經過訓練后,這種模型能夠直接對原始圖像進行自動分割,且分割效果良好,這種模型加快了分割速度,簡化了醫學圖像分割的步驟,為后續肺部血管、氣管等其他組織的分割提供更好的基礎。