基于遷移學習和三維卷積神經(jīng)網(wǎng)絡檢測肺結節(jié)

唐思源，劉燕茹，楊 敏

(內蒙古科技大學包頭醫(yī)學院，內蒙古 包頭 014040)

CT是檢查肺部疾病的重要影像學方法之一，精確檢出病變是診斷的關鍵[1]。深度學習(deep learning， DL)在計算機視覺領域的突破[2]帶動了其在醫(yī)學圖像處理方向的應用，其中卷積神經(jīng)網(wǎng)絡(convolutional neural network， CNN)是較好的網(wǎng)絡模型，無需人工設計，可根據(jù)現(xiàn)有數(shù)據(jù)自動學習并提取圖像特征，適用于處理大數(shù)據(jù)量醫(yī)學圖像[3]。為解決人工標注數(shù)據(jù)困難的問題，本研究引入遷移學習[4]輔助檢測肺結節(jié)，并提出基于遷移學習的多尺度3D CNN檢測肺結節(jié)方案，以三維空間信息提取并生成更具有代表性的特征，利用多尺度結構檢測肺結節(jié)，構建多尺度特征檢測模型，提升網(wǎng)絡特征的表達能力。

1 設計與方法

綜合采用多種方法分割肺實質區(qū)域。①粗分割出胸腔輪廓區(qū)域；②重建肺氣管，去除與肺實質相連的主氣管和支氣管；③判別左、右肺相連情況，分離左、右肺；④修復肺區(qū)邊界，完整分割肺實質。提取三維候選結節(jié)ROI：①為避免受噪聲影響而遺漏肺結節(jié)，采用閾值法對肺實質區(qū)進行二值化；②利用幾何特征(面積、體積及最大直徑)提取候選結節(jié)；③采用公式(1)提取三維候選結節(jié)：

ω=V(x-16：x+15，y-16：y+15，z-4：z+3)

(1)

式中ω為提取的三維候選結節(jié)，V為肺實質灰度數(shù)據(jù)，x，y，z為候選結節(jié)質心坐標。檢測流程見圖1。

為減少肺部其他組織對實驗結果帶來的干擾，根據(jù)XML文件中對肺結節(jié)位置的標注信息，將含有肺結節(jié)的512×512×512原始CT圖像裁剪成128×128×128圖像。

1.1 多尺度3D CNN 網(wǎng)絡傳遞時，經(jīng)過層數(shù)越多，輸入信息和梯度信息的影響力越小，易出現(xiàn)梯度消失現(xiàn)象，可通過縮短初始輸入與損失函數(shù)之間的連接距離加以解決。密集連接塊可直接連接每層網(wǎng)絡與輸入和損失，減輕梯度消失現(xiàn)象及正則化效果，抑制網(wǎng)絡過擬合[5]。本研究于3D CNN中加入可重復利用圖像特征的密集連接塊，通過較少卷積核產(chǎn)生大量特征，降低網(wǎng)絡參數(shù)數(shù)量。

多尺度3D CNN見圖2。輸入128×128×128三維肺結節(jié)特征圖像，通過3×3×3卷積操作得到32個128×128×128的特征層Conv1，再經(jīng)64×64×64特征圖最大池化操作，連接到128個64×64×64密集塊1，得到96個32×32×32特征圖的特征層Conv2。經(jīng)過32×32×32特征圖的最大池化操作，將Conv2連接到384個32×32×32密集塊2，得到224個16×16×16特征圖的特征層Conv3。Conv3經(jīng)過16×16×16特征圖的最大池化操作，連接到896個16×16×16密集塊3，得到480個8×8×8特征圖的特征層Conv4，形成多尺度特征結構；以特征層Conv2、Conv3、Conv4為代表，構成低、中、高3類尺度特征，通過構建的下采樣多尺度特征結構提取肺結節(jié)圖像特征。

圖1 檢測肺結節(jié)流程圖

圖2 多尺度3D CNN結構圖

隨后行上采樣以恢復特征圖的分辨率。該操作為下采樣的逆操作，包含密集塊和反卷積層，每個反卷積層由密集塊連接，每經(jīng)過一次反卷積操作，圖像尺寸即增大一倍，可得到與輸入圖像尺寸相同的特征圖，再通過卷積操作獲得輸出結果(圖2)。通過512個4×4×4的特征層Conv5與密集塊4進行特征融合，得到480個8×8×8的特征層Conv6；將Conv6與密集塊5進行特征融合，得到224個16×16×16的特征層Conv7；再對Conv7與密集塊6進行特征融合，得到384個32×32×32的特征層Conv8；將Conv8與密集塊7進行特征融合，生成與原圖像大小一致的特征層Conv9，最后通過卷積操作獲得輸出結果。

1.2 實驗環(huán)境 Tensorflow DL框架與Python語言編程環(huán)境，硬件及軟件配置見表1。

表1 軟硬件環(huán)境配置

1.3 遷移學習微調網(wǎng)絡結構 針對較難獲得帶有合理標注的訓練數(shù)據(jù)的問題，本研究通過遷移學習方法引入遷移學習思想，微調不同層三維網(wǎng)絡模型參數(shù)，以優(yōu)化訓練過程。采用基于權值的遷移學習方法訓練及測試網(wǎng)絡模型(圖3)：①對圖像進行水平、垂直翻轉及90°、180°和270°旋轉以增強數(shù)據(jù)[6],在原數(shù)據(jù)基礎上將增強6倍后的肺結節(jié)數(shù)據(jù)集送入三維模型進行訓練，以所獲權值作為數(shù)據(jù)集中特征提取層的初始權值；②采用隨機梯度下降最優(yōu)化方法[7]微調權值，自后向前微調網(wǎng)絡模型參數(shù)，獲得數(shù)據(jù)特征。

1.4 網(wǎng)絡訓練 CT圖像來源為包頭市腫瘤醫(yī)院，采用Siemens SOMATOM Definition AS雙源多層螺旋CT掃描儀行胸部平掃或增強掃描，掃描參數(shù)：管電壓120 kV，管電流110 mA，矩陣512×512，橫截面像素分辨率0.7 mm×0.7 mm，螺距l(xiāng) mm，掃描層厚1 mm，重建層厚0.7 mm；該組數(shù)據(jù)復雜且難以大量標記標簽，不足以訓練出可靠的分類模型。本研究采用肺結節(jié)分析16(lung nodule analysis 16, LUNA 16)數(shù)據(jù)集[7]進行數(shù)據(jù)訓練，其來源為肺部圖像數(shù)據(jù)庫聯(lián)盟(lung image database consortium, LIDC)數(shù)據(jù)集，包括1 010幅包含肺部病變的1 018組CT圖像，去除切片厚度大于3 mm、切片不一致及部分缺失的圖像，最后保留888幅，構成LUNA 16數(shù)據(jù)集。由3～4名具有5年以上工作經(jīng)驗的放射科醫(yī)師分別標注并復核圖像(圖像格式DICOM)，明確肺結節(jié)的中心位置及直徑。共采集170例已標注的可用樣本、444個結節(jié)，包括151個良性結節(jié)和293個惡性結節(jié)；惡性結節(jié)中，196個影像學與病理學診斷一致，97個以病理學診斷為標準。根據(jù)肺結節(jié)最大直徑分為3組：>15 mm為大結節(jié)；直徑≥5 mm且≤15 mm為中等結節(jié)；直徑在<5 mm為小結節(jié)。經(jīng)實驗[8]驗證，選取40×40×26的3D圖像塊可將結節(jié)完全包含在內，這種方法可增大對于小結節(jié)的感受野，提升小結節(jié)檢出率。

訓練方法：①預處理LUNA 16數(shù)據(jù)集；②提取80%數(shù)據(jù)集訓練三維模型；③以增強后的數(shù)據(jù)集訓練微調后的模型；④以剩余20%數(shù)據(jù)集作為測試集，驗證網(wǎng)絡模型性能。每經(jīng)過10 000次訓練保存一個模型，共進行50 000次訓練，出現(xiàn)過擬合時提前停止訓練。采用五折交叉驗證，每折驗證隨機抽樣，按照4∶1劃分數(shù)據(jù)集，取驗證集的5次準確率的平均值作為結果。

采用訓練準確率(training accuracy， TrainAcc)及過擬合比率(over fitting ratio， OverRatio)評價網(wǎng)絡模型。TrainAcc(%)=正確檢測圖像的數(shù)量/訓練集圖像的總量×100；OverRatio=TrainAcc/驗證集準確率。

1.5 評估標準 采用準確率(accuracy， ACC)、敏感度(sensitivity， SN)、特異度(specificity， SP)及無限制受試者特征(free-response receiver operating characteristic， FROC)曲線下面積(area under the curve， AUC)評估實驗結果[9]。SN越高，誤診率越低；SP越高，漏診率越低；AUC越大，檢測效能越好。

2 結果與分析

2.1 數(shù)據(jù)集 隨訓練次數(shù)增加，TrainAcc明顯提高，OverRatio逐漸下降，于30 000次時趨于穩(wěn)定，且模型的訓練效能最優(yōu)，見表2。提取LUNA 16中數(shù)據(jù)集，共分成10個子集，各子集及子集中所含肺結節(jié)的切片數(shù)量等分布情況見表3。

表2 不同訓練次數(shù)結果

圖3 基于權值的遷移學習方法訓練及測試網(wǎng)絡模型流程圖

圖4 不同尺寸肺結節(jié)檢測結果實例(箭示結節(jié))

2.2 實驗結果 由三維立方體橫切面下不同大小肺結節(jié)檢測的效果圖(圖4)可見，本方案檢測大、中肺結節(jié)的準確率達97.28%，檢測小結節(jié)準確率達92.31%，提示多尺度特征三維網(wǎng)絡模型可有效檢出不同大小肺結節(jié)，適用性較強。

2.3 實驗結果對比 將本方案與既往研究[10-14]所用檢測方法進行比較，以進一步評估其可行性，結果見表4。KHOSRAVAN等[10]將密集連接塊加入網(wǎng)絡結構，以避免丟失低層信息，但未引入遷移學習，準確率略低。ZHU等[11]將雙路徑塊及U-net解碼器加入3D CNN中，以獲得更詳細的結節(jié)特征，但數(shù)據(jù)量略少，敏感度略低。DOU等[12]提出以混合損失的三維全卷積網(wǎng)絡模型檢測肺結節(jié)，特異度較高而敏感度略低。AKRAM等[13-14]采用傳統(tǒng)方法檢測肺結節(jié)，整體性能低于DL方法。

3 結論

本研究在保證數(shù)據(jù)量的基礎上實現(xiàn)了相對較好的檢測效能，綜合效能優(yōu)于傳統(tǒng)方法；引入多尺度特征結構及遷移學習訓練后，評價指標高于已有DL方法，可在保證高敏感度及低假陽率基礎上自動精確檢出肺結節(jié)。

表3 各子集中含肺結節(jié)數(shù)

表4 不同肺結節(jié)檢測方法

基于遷移學習的多尺度3D CNN檢測不同大小肺結節(jié)的準確率均較好。應用遷移學習思想訓練網(wǎng)絡模型，并微調網(wǎng)絡模型結構以提取圖像特征，可解決少量數(shù)據(jù)難以訓練深度模型以及數(shù)據(jù)集過小所致過擬合問題。通過逐層遷移訓練可提高小樣本條件下檢測準確率，引入數(shù)據(jù)增強變換后，隨機梯度下降算法自動更新學習率進行仿真實驗，可提高網(wǎng)絡結構的特征提取能力和抗過擬合性。