基于CNN遷移學習的甲狀腺結節檢測方法

葉 晨，趙作鵬，馬小平，胡延軍，劉 翼，趙海含

1.中國礦業大學 計算機科學與技術學院，江蘇 徐州 221116

2.中國礦業大學 信息與控制工程學院，江蘇 徐州 221116

1 引言

甲狀腺結節是指多種原因導致甲狀腺內出現一個或多個組織結構異常的團塊，是人群中最常見的結節性病變之一，總發病率平均在19%～46%[1]。在臨床上，在做胸部CT掃描的同時會產生頸部和肩部即包含甲狀腺的CT圖像，因此在數據上支持醫生在診斷胸部疾病的同時檢查甲狀腺。醫院每天接待大量患者，產生大量CT圖像，醫生可能由于工作的緊迫以及經驗的不足，無法找出所有潛在的甲狀腺結節患者。

為了輔助醫生發現潛在的甲狀腺患者以減輕工作量并減少漏診及誤診率，近年來大量研究者在計算機輔助診斷方向上做了許多研究。傳統的計算機輔助診斷方法通常是對各種醫療圖像如超聲圖像、CT圖像、MRI圖像、X光片、病理切片染色圖像等進行處理，并設計相應的算法進行疾病目標分類[2]或目標分割[3]。如Singh和Jindal[4]首先在甲狀腺結節超聲圖像中提取出13個灰度共生矩陣（Gray-Level Co-occurrence Matrix，GLCM）特征，然后利用支持向量機對甲狀腺結節進行分類，最大分類精度為84.62%。Nugroho等人[5]通過分析超聲圖像中結節的邊緣特征來分類甲狀腺結節，最終準確率為92.30%。盡管以上研究在超聲圖像上取得了不錯的成果，但是由于甲狀腺CT圖像復雜度高、甲狀腺區域小等特點，上述方法并不適用于CT圖像。如彭文獻等人[6]的研究所示，基于CT圖像統計紋理特征的識別方法僅有76%的準確率。此外，以上方法都是在一系列人工參與的預處理后從醫學圖像中提取特征進行分類。如何提取有效的特征以及如何將特征與分類器集成是兩大難點，而且如何在眾多特征中選擇最重要的特征也是一項挑戰。

為了解決上述困難，本文引入深度卷積神經網絡（Convolutional Neural Network，CNN）。CNN是一種經典的深度學習模型[7-9]，在各種視覺識別任務（如物體檢測和圖像分類[9]）中被廣泛使用并且表現優異。最近，CNN在醫學領域進行了探索，如通過CNN[10-11]在乳腺癌組織學圖像中進行有絲分裂檢測，使用無監督預訓練CNN[12]對肺組織分類和通過多尺度CNN對肺結節進行分類[13]。但是，一般CNN由數百萬個節點和權重組成，而且通常數量越多，CNN的性能越好，這意味著只有大型數據集才能支持其訓練過程。由于難以獲得高質量的大型數據集，CNN在醫學領域的應用遇到諸多限制。初步研究表明，遷移學習可以通過將訓練有素的深層模型應用于其他圖像數據集來進行特征提取，從而克服這一問題，因為CNN本質上是學習捕捉視覺對象的固有特征[14-16]。本文根據兩種不同結構CNN的特點以及遷移學習的思想，設計出融合簡單CNN與VGG-16的網絡。本文的主要貢獻有以下幾方面：

（1）第一次將CNN應用于甲狀腺CT圖像以及甲狀腺結節檢測任務。

（2）提出了一種新的甲狀腺結節檢測方法，應用遷移學習并融合了兩種不同的CNN結構。

2 融合兩種CNN的甲狀腺結節檢測方法

2.1 方法概述

本文將深度卷積網絡應用于甲狀腺CT圖像，同時根據遷移學習的思想，利用在ImageNet數據集上訓練完畢的VGG-16網絡[17]提取CT圖像的特征并對VGG-16進行微調，以獲得更好的檢測效果。另外本文將兩個結構不同的CNN融合為一個網絡CNNf（Fusion of CNN1 and CNN2）以兼顧二者的特點并提高性能。首先，對CT圖像數據集進行簡單的預處理。其次，用數據集訓練CNN以及對VGG-16進行微調。最后，融合兩個CNN的結構。

2.2 數據來源和預處理

本文所使用的甲狀腺CT圖像由當地一家醫院提供。這些CT圖像來自于421位患者共4 013張，其中有102位患者確診為患有甲狀腺結節，共有599張CT圖像，319位患者的甲狀腺是健康無結節的，共有3 414張圖像。這些圖像最終診斷依據是細針穿刺活檢（FNA），除非患者接受手術，否則FNA結果將用作基礎事實，因此可以認為這些數據是準確無誤的。

不同于傳統方法在超聲圖像上進行的繁瑣預處理過程，本文僅對原始CT圖像進行簡單剪裁以減少儀器設備和人體其余組織所帶來的干擾，如圖1所示。根據甲狀腺在CT圖像中所占的比例，按220×200和350×350兩種尺寸對原始圖像進行裁剪。

圖1 CT圖像的裁剪

2.3 CNNf結構

不同的CNN架構可以學習不同的特性，淺層網絡適合學習低級特性，深層網絡經充分訓練后可以學習到高級特性。而且隨著網絡層數的增加，CNN可以學習更復雜的功能。因此，本文為了融合淺層和深層網絡提出CNNf（見圖2），CNNf由CNN1和CNN2并聯組成，圖像數據由輸入端同時輸入CNN1與CNN2，經兩個網絡處理后通過融合層（Sumlayer）融合，最后由Softmax層輸出結果。這種結構可以利用CNN1捕獲細微的低級特征，利用CNN2捕獲甲狀腺結節的復雜高級特征，從而可以從甲狀腺CT圖像中學習多個特征級別。

圖2 CNNf的結構

圖2中淺層網絡CNN1詳細結構如圖3所示。此網絡利用四層卷積層對輸入的圖像進行特征提取，最后由兩層全連接層和Softmax層進行分類。

具體而言，第一層卷積層擁有32個大小為3×3的卷積核，卷積步長為1，輸出為198×198×32的特征圖。第二層和第三層卷積層參數相同，擁有64個大小為3×3的卷積核，步幅為一個像素，分別生成64個97×97和64個46×46的特征圖。最后一層卷積層擁有128個卷積核，大小為3×3，步幅為1，輸出128個21×21大小的特征圖。所有卷積層采用的激活函數均為線性整流函數（ReLu）。

另外，CNN1中還使用了其他類型的層。在每個卷積層后都會經過窗口大小為2×2，步幅為2的最大池化層處理，處理后特征圖尺寸減少一半。此外，在所有池化層之后都應用批規范層（Batch Normalization）[18]，該層在每個Batch上將前一層的激活值重新規范化，即使得其輸出數據的均值接近0，其標準差接近1，作用為加速收斂，控制過擬合，降低網絡對初始化權重的敏感性，允許使用較大的學習率。

在四個卷積層后有一層Flatten層，將輸入的特征圖“壓平”至一維，用于從卷積層過渡到全連接層。之后為三層全連接層，前兩層之間有Dropout層[19]，之后有批規范層，用于控制過擬合，節點數均為64，使用ReLu激活函數；最后一層節點為2，使用Softmax函數來生成標簽預測。

圖3 CNN1的詳細結構

CNNf中CNN2為VGG-16的微調。VGG-16[17]在2014年由牛津大學的視覺幾何組（Visual Geometry Group）提出。該網絡共有五段卷積塊，每段之后緊接著最大池化層，最后為三層全連接層，節點數分別為4 096、4 096和1 000。本文只使用VGG-16的卷積部分，頂部三層全連接層替換為節點數為128的全連接層。CNN2詳細結構如圖4所示。

2.4 CNNf訓練方法

由于CT圖像數據集中正負樣本不均衡，達到了正∶負=1∶6的比例，導致訓練過程中網絡的收斂速度慢，性能下降等問題。因此，本文對較少的正樣本進行過采樣，使之與負樣本數量一致或近似。

為了減少數據量少帶來的過擬合影響，本文用ImageNet數據集中的一組2.5萬幅自然圖像對CNN1進行預訓練。通過30次迭代來初始化CNN1的權重，隨后用預處理過的CT圖像訓練第一個網絡。同時，在把數據輸入網絡進行訓練前進行實時的數據增強，如隨機剪切、隨機旋轉等。

圖4 CNN2的詳細結構

對于CNN2，本文在載入由ImageNet數據集訓練過的權重后，為了在之后使用CT圖像數據對VGG-16卷積層部分進行微調時不破壞卷積層的權重，采取先凍結卷積層并訓練頂層的全連接層，再對VGG-16最后的卷積塊進行微調的訓練方法。本文只對最后的卷積塊進行微調而不是整個網絡，目的是為了防止過擬合，因為整個網絡具有極高的熵容量，對于小數據集來說具有很高的過擬合傾向。之所以不選擇前面三個卷積模塊是因為底層的卷積模塊學習到的是低級的、具體的特征，而頂層的卷積模塊處理的則是高級抽象的特征。

為了方便兩個CNN進行融合，其圖像輸入尺寸大小相同，均為（200，200，3），讀取方式為RGB模式。

3 實驗仿真與結果

3.1 參數選擇

訓練過程中，CNN1采用的目標函數為多類交叉熵函數（Categorical Crossentropy），優化方法為Adam[20]。其中Adam的學習率設置為0.001，一階矩估計的指數衰減率設置為0.9，二階矩估計的指數衰減率為0.999。CNN2采用的目標函數同樣是多類交叉熵函數，不同的是在對頂層預訓練時采用Adam優化算法，之后對CNN2進行微調時采用帶動量的隨機梯度下降優化算法（Stochastic Gradient Descent，SGD）。其中SGD的學習率設置為0.000 01，動量參數為0.9，目的是慢慢調整訓練好的權重而不破壞權重。

3.2 實驗平臺

所有實驗都是在一臺筆記本電腦上進行的。該電腦擁有一顆Intel Core i7-4710MQ（2.5 GHz）CPU處理器，8 GB RAM，一個2 GB的Nvidia Geforce GTx860m圖形處理器，操作系統為64位Windows 10。運行環境為Python和以TensorFlow為后端的Keras。

3.3 評價指標

本文檢測性能通過準確性、敏感性、特異性和接收者操作特征（ROC）[21]進行評估。靈敏度為有結節正確識別為有結節的百分比。特異性表示正確識別為健康的健康甲狀腺的百分比。準確度衡量正確分類甲狀腺的百分比。

3.4 不同網絡結構的性能

本文首先研究了不同網絡結構的影響，詳細配置在表1中進行了描述。這些網絡結構的分類性能以平均分類準確性、靈敏度和特異性以及標準偏差（表2）表示。圖5展示了不同網絡結構的ROC曲線，結果表明，兩種CNN的融合可以顯著提高網絡的性能。

3.5 與其他方法比較

為了對CNNf進行全面而準確的評估，本文與彭文獻等人[22]采用基于一階紋理特征的方法進行比較。從表2可以看出，本文方法在準確率、靈敏度方面都勝過手工提取特征的方法。表3給出了不同方法的ROC曲線下面積AUC，可以發現本文方法在所有方法里效果最好。

表1 CNN1與CNN2的詳細結構

表2 不同方法的性能

圖5 不同方法的ROC曲線

4 討論

本文CNN被用于解決甲狀腺結節檢測問題，是一種典型的基于深度學習的結節檢測方法。雖然目前已有一些基于深度學習的醫學圖像的研究，并且在甲狀腺結節超聲圖像上也有研究[23]，但是本文首次嘗試使用CNN在甲狀腺CT圖像上進行檢測。與傳統方法[4-6]相比，CNN可以從二維甲狀腺CT圖像中自動提取有效特征，而無需設計任何視覺特征提取的算法。具體來說，CNN可以充分利用每一幅圖像的圖像特征，如邊緣、紋理、顏色等自動地訓練出合適的卷積濾波器（filter），對圖像進行特征提取。

表3 不同方法的性能

由表2所示，本文采用融合深層網絡和淺層網絡以提高性能的方法是有效的。通過整合CNN1捕獲細微的低級特征和CNN2捕獲的復雜高級特征，使CNNf從甲狀腺CT圖像中學習到多個級別的特征。最終準確率從90.83%和88.63%提升到91.60%。但是相應地也會提高計算成本，以32個圖像為一批用GPU進行分類的時間從平均0.502 s增加到0.546 s。這點影響在實際應用中可以忽略不計。

為了評估本文方法的泛化性能，實驗中利用來自于不同CT成像系統的4 013張圖像進行了10次五折交叉驗證。從表2可以看出，基于CNN的方法可以有效地檢測出甲狀腺結節。另外本文選取了一些分類正確與錯誤的圖像進行分析，圖6（a）（b）（c）顯示本文方法對于那些結節不明顯、微小、難以診斷的圖像也有著良好的分類效果，但是目前對于那些甲狀腺微?。ㄈ鐖D6（d）所示）以及有過多血管軟組織干擾（如圖6（e）所示）的情況還無法有效識別。另外在健康甲狀腺圖像中，骨頭軟骨等組織也會干擾CNNf的判斷，分類為患病一側（如圖6（f）所示），因此本文所采取的方法還需要進一步研究。

圖6 實驗結果

此外，為了評估基于CNN的方法與傳統方法相比的優勢，本文與基于一階紋理特征的方法進行比較。表2所示的結果表明，不管是單獨的CNN還是CNNf都優于基于一階紋理特征的SVM。這表明CNN可以學習出有效的特征來分辨健康與不健康的甲狀腺圖像。

目前，在CNNf中沒有設計超參數的分析方法（例如學習率和動量參數、卷積單位數、卷積核大小等），它們主要是通過經驗獲得的。另外對于深度卷積網絡，提供更多的數據對幫助網絡獲得更好的泛化性能以及減少過擬合問題是非常必要的。目前本文所擁有的數據集還不足以獲得更高的準確性，未來需要更進一步地研究以獲得更好的性能。

5 結束語

基于CT圖像的甲狀腺結節檢測方法對于找出潛在的甲狀腺疾病患者有著重要作用。但是傳統方法需要進行繁瑣的預處理以及精心設計的特征提取方法。本文提出一種基于CNN的檢測方法，它由兩個分別訓練好的CNN融合而成。表2和表3所示的結果表明，基于CNN的方法可以很好地解決甲狀腺結節檢測問題。本文在將深度學習應用到甲狀腺CT圖像中為初步研究，所使用的數據集并不能充分覆蓋或代表臨床實踐中的實際情況，將來隨著更多臨床數據的獲得，將構建更深的CNN以獲得更好的性能，甚至區分甲狀腺中不同的疾病。