基于改進的U-Net肺結節分割方法研究

苗 語 豐振航 楊華民 蔣振剛 師為禮

(長春理工大學計算機科學技術學院 吉林 長春 130022)

0 引 言

目前，肺癌是發病率和死亡率最高的癌癥之一[1]。由于環境的日益惡化和吸煙人數的逐年增加，肺癌患者的數量不斷增長。文獻[1]的研究表明，如果能及時發現和治療肺癌，那么肺癌患者的5年存活率將提高50%左右。肺癌早期一般表現為結節，為了防止錯過最佳治療時間，需要提前進行肺結節檢測，而肺結節分割是肺結節檢測中最重要的步驟。

低劑量胸部電子計算機斷層掃描(CT)是目前在肺癌檢查中最常用的方法，但僅靠醫生進行人工檢測，不僅工作量很大，而且會因假陽性等問題而容易出錯，因此對肺部CT等醫學圖片的檢測和分割是非常熱門的研究方向[2]。目前，對醫學圖片進行分割的傳統方法很多，其中比較經典的有支持向量機[3]、閾值分割法[4]、區域增長法[5]、聚類問題[6]等。John等[7]使用多閾值法提取候選結節，但其他組織的灰度值與肺結節的灰度值范圍重疊，提取的候選結節含有肺結節小區域，不利于假陽性的去除。Boroczky等[8]將提取了疑似肺結節的23個特征送入SVM分類器進行訓練。但SVM需要人工提取結節特征，算法的準確率很大程度取決于提取方法的選擇。

傳統肺結節檢測方法過程復雜，結果依賴于各個階段的運行效果，并且不能實現端到端的檢測。近年來，深度學習的迅猛發展給肺結節分割帶來了新的可能。卷積神經網絡是一種以端到端的形式識別特征的網絡，與傳統的機器學習方法相比，其優勢在于特征提取不需要人工參與，各層的特征提取都是在通用的學習過程中進行。Ronneberger等[9]提出了U-Net網絡結構，極大地促進了對醫學圖像分割的研究，并且有了一定應用。隨后，利用深度網絡分割肺結節成為當前醫學圖像處理領域的研究熱點。Hwang等[10]提出了一種多階段訓練策略，以更少的模型參數實現了更先進的分割性能。但該模型在訓練集和測試集的分布發生變化時，分割結果可能不穩定。Setio等[11]提出了一種基于多視角卷積網絡的檢測算法，它對不同類型的肺結節設計了不同的檢測器，通過融合檢測器生成的不同候選區域得到候選結節，提高了檢測的靈敏度。但該模型需要區分不同類型的肺結節，對數據集要求較高，且模型所需參數較多，在實際應用中實時性較差。

本文提出了一種改進的U-Net網絡，應用于肺結節檢測的候選結節分割部分。首先在網絡解碼器部分加入了密度連接模塊，增強了特征的復用率。然后，將U-Net網絡與卷積條件隨機場(ConvCRF)端到端結合，使分割結果更好地體現了肺結節的邊緣特征。最后，為了緩解了正負樣本的不平衡問題，進一步提高分割的準確度，改進了基于focal loss的損失函數。

1 改進的U-Net分割模型

肺結節分割是肺結節檢測系統的重要步驟之一，目的是在CT圖像的檢測任務中提取肺結節，并保證高敏感度和準確度。本研究采用改進的U-Net分割模型作為結節的分割方法，此模型在基本框架U-Net網絡的基礎上，為防止出現過擬合的趨勢，在網絡的編碼部分添加了Batch-Normalization模塊，用Leaky-ReLU代替了ReLU激活函數，使用了dropout策略。其次，為提高結節的檢出率和增強結節的邊緣特征，對U-Net模型做了以下幾點改進。

1.1 密集連接方法

DenseNet[12]的特點是可以將圖像特征進行多次重復利用。它以前饋的方式將前面層所獲得的特征圖映射到其他傳遞的后續層，這種緊湊的結構可以在相同的網絡深度下，保證了各層之間的信息流最大、較輕梯度消失的問題，并對過擬合現象有一定抑制作用。圖1為DenseNet的示意圖，主要由Dense Block和Transition layers組成。

圖1 密集連接網絡

由圖可知，Dense Block的第l層是將前面所有層x0,…,xl-1的特征圖作為輸入，可由式(1)表示。

xl=Hl([x0,x1,…,xl-1])

(1)

式中：Hl(·)表示卷積等非線性轉化操作。由此可知，擁有k層網絡的Dense Block模塊中有k×(k+1)/2個連接。

本文根據DenseNet結構特點，在傳統U-Net網絡解碼一側將淺層特征與深層特征互連。由于淺層特征圖與深層特征圖的面積各不相同，本文通過不同個數的轉置卷積將淺層特征進行上采樣以適應不同尺寸的深層特征圖，結構見圖2。

圖2 密集連接與U-Net結合

1.2 卷積條件隨機場

由于卷積神經網絡沒有充分考慮空間上下文信息，也沒有考慮到因缺少平滑項而使圖像邊緣模糊的問題，所以分割的肺結節邊緣比較粗糙，需要對結果進一步處理。全連接條件隨機場把分割任務看作是已知觀測值求取標記值的問題，通過求解最大后驗概率來確定分割結果，它既考慮了空間信息，也能夠一定程度上解決邊緣模糊和噪聲等問題，它的能量函數為：

(2)

式(2)包含一階和二階勢函數兩部分。一階勢函數用于衡量當像素點i的顏色值為yi時，該像素點屬于類別標簽xi的概率，本文將U-Net網絡學習得到的肺結節概率圖定義為隨機場模型的一階勢函數。二階勢函數定義了一系列特征向量的高斯核函數，計算公式為：

(3)

式中：u(xi,xj)表示兩個標簽之間的一個兼容性度量。它考慮了相鄰像素的相互作用。肺結節分割的目的就是求得最小化能量函數。

但由于全連接條件隨機場訓練速度慢、模型內的參數學習困難等問題，其已經不能滿足研究的需求。而卷積條件隨機場(ConvCRF)[13]以條件獨立性的假設補充全連接條件隨機場。假設兩個像素i、j的曼哈頓距離為d(i,j)>k，則它們的標簽分布是有條件獨立的，從而可以進行高效的GPU計算和完整的特征學習，將信息傳遞步驟配置為帶截斷高斯核的卷積。

一個形狀為[b,c,h,w]的輸入圖像P，其中b、c、h、w分別表示批大小、類別數量、輸入高度和寬度。對于由特征向量f1，f2，…，fd定義的高斯核函數g，圖像的核矩陣為：

(4)

式中：θi是可學習的參數。對于一組高斯核g1,g2，…,gs，我們定義經合并的核矩陣K為:

(5)

所有s個核的組合信息傳遞的結果Q如下：

P[b,c,x+dx,y+dy]

(6)

這種信息傳遞操作類似于卷積神經網絡中標準的二維卷積，可以將大部分推斷重新表達為可以在GPU上實現的卷積操作。通過反向傳播訓練卷積條件隨機場的所有參數，與全連接隨機場相比速度得到很大提升。

1.3 改進的loss函數

在肺結節分割中，CT圖像中肺結節所占的比例會遠遠小于肺部其他區域。在傳統的樣本分類中，將肺結節和肺部其他區域分為正樣本和負樣本兩類。由于負樣本過多，會造成它的loss太大，容易把正樣本的loss遮蓋從而不利于整個目標函數的收斂。

圖像分割的一種常見的評價指標是Dice系數，其物理含義為兩個樣本之間的重疊程度的度量。度量范圍從0到1，Dice系數為1表示完全重疊。其計算公式為：

(7)

式中：|A∩B|表示集合A、B之間的共同元素；|A|、|B|表示A、B中的元素的個數。為了計算預測的分割圖，Dice系數被改為soft dice loss,計算公式如下：

(8)

式中：pi為sigmoid激活后的輸出值，取值介于0和1之間；gi為真實值，取值為0或1。

Dice損失對類不平衡問題會有比較好的效果，但是其在誤差反向傳播過程中梯度會產生大幅震蕩，所以在訓練過程中不穩定。而focal loss[14]是在交叉熵損失函數基礎上進行的修改，不僅穩定性好，還加大了前景和背景的過渡區等hard negative的損失值,計算公式如下：

(9)

式中：r是為減少易分類樣本的損失，使得更關注于困難的、錯分的樣本；α用來平衡正負樣本本身的比例不均。

本文結合focal loss和Dice損失的特點，提出了一種改進的focal loss損失，計算公式如下所示：

Lens=-logLDice+αLfl

(10)

式中：對數函數和α的目的是平衡兩種損失函數的結果大小。

2 實驗設計和結果分析

2.1 實驗數據集

LUNA16數據集來源于LIDC/IDRI數據集，它從LIDC/IDRI數據集中抽取層間度大于2.5 mm的CT圖像,一共獲得了888幅CT圖片,共包含1 186個肺結節。每幅圖像包含了4名有經驗的放射科專家在LIDC/IDRI數據庫上兩階段的標注注釋[15]。圖3所示為數據庫中不同尺寸的肺結節圖像。

圖3 不同尺寸的肺結節圖像

2.2 圖像預處理

由于CT原始圖片肺實質部分并不突出，為突出肺實質，需要對圖像做直方圖均衡化處理；隨后因肺實質灰度值與周邊組織差距較大，對圖像進行二值化處理，初步分出肺實質；其次使用膨脹和腐蝕兩種數學形態學方法消除肺實質內部噪聲和平滑肺實質邊緣；最后通過肺實質掩模提取ROI區域。圖4為數據處理流程。圖5為各個階段處理后的圖像。

圖4 預處理流程

(a) 原始圖片 (b) 直方圖均衡化 (c) 二值化

(d) 膨脹腐蝕 (e) 生成掩模 (f) ROI區域圖5 各階段圖像

2.3 模型訓練

為了驗證模型的準確性，將數據集分成10份,運用10折交叉驗證法，輪流將其中9份作為訓練數據，1份作為測試數據，進行實驗。每次實驗都會得出相應的準確率(或差錯率)。10次結果的準確率(或差錯率)的平均值作為對算法精度的估計。模型反向傳播采用的方法是隨機梯度下降法，學習率為0.000 1，每迭代一次衰減0.005，總共運行50個epoch，批量大小為2。圖6所示為模型在訓練過程中的測試準確率曲線，經過50個epoch后準確率總體趨于穩定。所用模型在GPU上使用Python的TensorFlow深度學習庫實現。

圖6 改進的U-Net網絡的準確率曲線

2.4 實驗結果與分析

為了求取式(9)改進的損失函數中參數α的最優取值，本文進行了4個模型的5組對比實驗，α分別設置為0.1、025、0.4、0.6、0.75，這5組實驗分別用Dice系數進行比較，得出結果如表1所示。通過評價指標可看出，參數α在0.25至0.4之間模型表現最佳。

表1 不同參數下模型的Dice系數測試結果

為了驗證在最優取值下，改進的focal loss損失函數比傳統的交叉熵損失函數更具有優勢，本文分析了它們的Dice系數和敏感度，結果如表2所示。

表2 不同損失函數結果比較

圖7展示了本文算法不同改進步驟的肺結節分割效果圖，其中：(a)為肺部CT圖片；(b)為提取的肺實質灰度圖；(c)為數據集中醫師標注的肺結節位置分布圖；(d)為利用標準的U-Net模型進行的肺結節分割圖；(e)為利用U-Net網絡和密集連接網絡相結合的算法進行的肺結節分割圖；(f)算法是在E算法的基礎上運用了改進的focal loss損失函數；(g)是利用本文算法進行的肺結節分割圖。圖7(d)與圖7(g)在圖上可知，(d)與本文算法相比，因為運用的特征相對較少，所以分割的肺結節相對較暗，干擾因素較為嚴重；而圖7(e)因為正負樣本比例不平衡，導致有較為嚴重的假陽性肺結節；圖7(f)雖然比前兩列效果好，但分割結果較粗，而本文算法分割出的肺結節含有較多的邊緣信息，更貼近CT圖像中的肺結節形狀。綜上所述，隨著對傳統算法的改進，得到的肺結節圖像更明顯、假陽性更少、邊緣特征更顯著等特點。進一步說明了本文算法在保持較高精度與靈敏度的情況下，能分割出較好的肺結節結果，具有一定的臨床價值。

圖7 本文算法逐步改進的分割對比圖

為了系統的分析本文算法分割結果的性能，采用ROC曲線作為衡量標準。如圖8所示，(a)為傳統U-Net網絡肺結節分割結果的ROC曲線，(b)為本文算法的ROC曲線。由ROC曲線可知，本文算法總體性能較高，假陽性低，真陽性高，可以更好地分割出肺結節。

(a) 傳統U-Net的ROC曲線

(b) 本文算法的ROC曲線圖8 不同算法的ROC曲線對比圖

最后，為了評估肺結節分割的性能，將本文算法與肺結節分割階段相同研究工作的其他算法在LUNA16數據集下進行評估對比。主要分為以下三個指標：(1) 準確性；(2) 敏感性；(3) 每個CT掃描件中檢測出的候選結節個數。性能突出的模型應在較低的候選結節個數下有較高的敏感性。敏感性(S)和準確性(A)的計算公式如下：

(11)

(12)

式中：TP是真正類；TN是真負類；FN是假負類；FP是假正類。對比結果如表3所示。

表3 不同算法的分割性能對比

從表3可知，在使用相同數據集的情況下，本文算法在準確度的指標下優于其他算法。相比于文獻[18]的算法，本文算法雖然速度較慢，但通過密集連接等方法的特征重利用，改善了特征漏檢的缺陷，識別準確率提高了7%左右；而卷積神經網絡+VGG模型雖然網絡深度深于本算法，但缺少網絡結構的trick，所以準確率也略微低于本算法。在敏感度方面，雖然本文算法的敏感度略低于Ding等的算法，但在每個CT掃描件檢測的候選結節的數量低于該算法。在每個CT掃描件檢測的候選結節的數量方面，U-Net雖然低于本文算法，但本文算法有較高的敏感度和準確度，對下一階段結節分類和整個肺結節檢測系統的性能提升都更有優勢。

3 討 論

使用本文提出的肺結節分割算法，其表現性能在LUNA16數據集上得到驗證。本文算法是在U-Net網絡的基礎上做了改進和優化。首先，結合傳統的U-Net和DenseNet的優點，獲得了高敏感度的檢測結果，原因是DenseNet結構本身的特征再利用的性質，使得它比傳統的U-Net學習到更高效的特征；其次，相比于傳統的全連接條件隨機場，本文模型所用的卷積條件隨機場不僅增強了肺結節的邊緣特征，提高了肺結節特征的保留度，還更有利于與卷積神經網絡的端到端的結合，極大地促進了模型的運行速度，保證了模型的實時性。最后，與傳統的交叉熵損失函數比，本文改進的focal loss損失函數不僅保留了交叉熵函數的穩定性，還解決了類不平衡的問題，提高了肺結節識別的準確性。

實驗中還對Dropout和batch size兩個參數進行多次調整，對改進的模型進行優化。Dropout的作用是防止網絡出現過擬合現象，它通過隨機將網絡隱含層某一部分節點重置為0，使每一批訓練樣本進入不同的網絡結構的方法來增加網絡的泛化能力。本文在改進的網絡結構上，多次調整Dropout的比例，尋找最優Dropout值。表4為不同Dropout比例所求得的準確率趨勢，可以看出，當Dropout取值為0.6時，準確率最高。

表4 Dropout對訓練精度的影響

batch size的選擇決定了訓練過程中梯度下降的方向。取值過大不僅對GPU的顯存是一個考驗，還容易使梯度無法修正，而過小則使梯度難以收斂。因此選擇合適的batch size值對訓練的準確率至關重要。本文在同樣的模型下，使Dropout的值固定為0.6，多次改變batch size的大小，由于GPU對2的冪次的batch size可以發揮更佳的性能，所以batch size分別取16、32、64、128來找出最優的值。表5是不同batch size值所求得的準確率趨勢。由表5可知，最佳的batch size值為32。

表5 batch size對訓練精度的影響

本研究雖然得到了較好的結果，但也有其局限性。首先，數據集中的肺結節標簽是以中心坐標為圓心，一定大小為半徑的類圓形，雖然能準確地定位肺結節的位置，但對于肺結節的邊緣特征表現的比較粗糙，對深度學習造成一定影響。其次，在復雜情況下，直接通過卷積網絡定位小結節效果不理想。最后，本文算法只用到了結節的二維信息，而三維的上下文信息能為網絡的自主學習提供空間維度的信息，對肺結節的準確識別十分重要。在以后的研究中將通過與醫院影像科洽談合作，獲得不同類型的肺結節數據集和更能精確體現邊緣特征的肺結節標簽；通過粗糙集設計出一種適應更小尺度輸入的卷積網絡結構來進一步識別小結節；最后在分割階段加入三維的圖像信息。通過這些方法，可能一定程度上對敏感度和準確度的提高具有積極意義。

4 結 語

肺結節分割對醫生的輔助診斷意義重大。本文針對傳統肺結節分割算法中分割敏感度和準確度低的問題提出了基于改進的U-Net網絡的肺結節分割算法。實驗結果表明，在相同的步長下，在肺結節分割上是有效的，并取得不錯的分割效果。但本文算法也存在一定的局限性，需要在以后的研究中進行改進。由于肺結節種類較多和判斷標準復雜多樣，本文數據集并不能充分體現肺結節的多樣性，因此還沒有應用在臨床上進行肺結節檢測任務。隨著技術的進步，計算機輔助診斷系統(CAD)將在肺結節檢測中發揮重要作用。