基于深度遷移學習的肺結節分割方法

馬金林，魏 萌，馬自萍

（北方民族大學計算機科學與工程學院，銀川 750021）

（*通信作者電子郵箱624160@163.com）

0 引言

肺癌是全世界發病率和死亡率最高的惡性腫瘤之一，但是肺癌的篩查和預防仍然存在很大的挑戰。在進行肺癌診斷時，需要精確的肺結節數據來進行判斷，影像科醫生需要反復逐層地檢查三維計算機斷層掃描（Computed Tomography，CT）圖像，來尋找肺結節區域，然后再對肺結節進行良惡性的診斷，因此CT圖像中肺結節的分割是對肺癌進一步定量分析的關鍵。但是肺結節在CT 圖像上表現為一種體積小、密度高，直徑只有3～30 mm的陰影，給肺結節圖像分割造成很大困難。

近年來，肺結節的分割方法有很多。常見的分割方法分為兩類：基于傳統的無監督分割方法［1］和基于機器學習的分割方法［2］。基于傳統的無監督分割方法中常用方法包括形態學方法、閾值分割法、聚類法等。盡管這些方法既快速又簡單，但是仍然存在諸如分割不足或者過度分割的問題。形態學方法［1］可以去除肺結節的邊緣毛刺，但操作中涉及的參數不容易被控制。閾值分割法［2］在進行血管粘連性肺結節分割時效果并不理想。孫申申等［3］使用最大期望（Expectation-Maximization，EM）算法和均值漂移法提取肺結節，獲得了較好效果，但是，對于附著結節的數量大于或等于2 的情況，該方法的分割效果并不理想。除此之外，其他的傳統方法也有不足，如Armato等［4］提出的灰度閾值方法，雖然提高了分割精度，但是這種方法費時，受限并且使用不便；Kanazawa 等［5］使用模糊聚類算法提取肺和肺血管區域，但是丟失了3D空間特征信息；Miwa 等［6］提出一種稱為變量N-Quoit 濾波器的算法，用于病理陰影候選者的自動識別，這種方法要求過多的手動操作，自動化程度低。

與傳統的分割方法相比，基于機器學習的方法很明顯地提高了分割性能，有效解決了肺結節輔助診斷的問題。但是，機器學習的方法需要人為確定代表性特征，這相當浪費時間和精力。另外，大多數基于機器學習的方法需要人工干預，這在很大程度上破壞了計算機輔助診斷（Computer Aided Diagnosis，CAD）系統的目的，并且為了獲得最佳性能，大多數技術都需要大量的迭代和參數調整，這也減慢了整個計算過程。如Messay 等［7］提出了選擇性回歸神經網絡（Recurrent Neural Network，RNN）的輔助診斷方法，具有全自動和半自動化選項。使用該方法進行的特征學習過程可以根據學習到的特征自動為每個結節設置參數。但這樣的方法僅在特定類型的肺結節上（例如孤立性肺結節）或相對較小的數據集上表現良好，不能滿足肺結節的多樣性和復雜性。

近年來，深度學習在計算機視覺方面取得了長足的進步，這使得一些研究者嘗試使用深度學習來解決肺結節檢測的問題［8-9］。深度學習可以從訓練數據中自動提取特征，與傳統的精細分割方法相比，深度學習可以產生更少的錯誤判斷。在深度學習領域，最開始的卷積網絡末端都使用全連接層（Fully Connected layers，FC），因此最流行的分割方法就是補丁式方法，即逐像素地抽取周圍像素對中心像素進行分類。隨后卷積神經網絡在醫學圖像處理上得到了很大的應用，但是在卷積和池化的過程中會丟失部分圖像細節，并且最后只得到了一個一維的概率向量，尤其是在病灶的具體輪廓方面，深度卷積神經網絡的效果不夠理想，導致早期惡性結節診斷錯誤，不能及時地干預治療，使得患者病情惡化加快。2014年，Long 等［10］提出全卷積神經網絡（Fully Convolutional Network，FCN），實現了端到端的像素級預測，成為了生物醫學圖像分割的另一趨勢。研究者們也快速地將全卷積網絡應用到醫學影像領域［11-13］，全卷積網絡在一些高強度的病變分割中均表現出了良好的性能。Ronneberger 等［13］在FCN 的基礎上提出了針對醫學圖像分割的U-Net 網絡。該網絡更適用于小數據量生物醫學圖像數據處理，能夠得到較好的分割結果。鑒于U-Net 在生物醫學圖像分割任務上的良好表現，在隨后的幾年內，U-Net 網絡得到超過幾千次的引用，并被廣泛應用和改進［14-16］。Tong 等［14］將殘差網絡的思想引入U-Net 網絡，提高肺結節的分割精度。Liu等［15］提出一種級聯雙路徑殘差網絡的肺結節分割方法，分割精度略勝人類專家。張聲超［16］提出基于U-Net 網絡與全連接條件隨機場的疑似肺結節檢測算法，提高了肺結節的識別準確率。

深度學習描述了由多個處理層組成的計算模型，這些層主要學習不同級別數據的抽象表示。借助深度學習強大的特征提取功能，逐步替換基于機器學習方法人工定義的特征。總體來說，深度學習的方法在醫學領域中表現出了巨大的潛力，這也加速了醫學圖像分析與輔助診斷領域的發展。

1 相關工作

目前，深度學習在醫學圖像處理領域還沒有得到廣泛應用，國內外專家在對肺結節早期定性診斷和治療時，大多還是基于放射科醫生逐層進行閱讀，查看大量的CT圖像容易使得醫生疲勞，準確性也受限于醫生的經驗和職業能力等。因此及時有效地分割出肺結節，并進行診斷，是精準治療肺癌的關鍵。然而由于醫學訓練數據的缺乏，神經網絡仍然面臨訓練困難、容易擬合等問題；并且醫學影像數據的標注需要專業知識并且成本昂貴，獲得大規模標注的醫學圖像數據十分困難。因此神經網絡有效地利用非常有限的醫學數據，提高病灶分割結果，可以說是一項非常具有挑戰性的任務。

全卷積神經網絡（FCN），將末端的全連接層刪除，實現了端到端的像素級預測，能夠得到更加具體的分割邊緣，減少了網絡的學習時間。在此基礎上，U-Net網絡最早用作生物圖像的分割。如圖1 所示，為U-Net 網絡結構，該網絡主要是由卷積層、最大池化層、反卷積層以及ReLU 非線性激活函數組成。與FCN 相似，網絡結構由收縮路徑和擴張路徑兩部分組成，收縮路徑用來獲取上下文信息，擴張路徑用來精確定位。與FCN 不同的是，U-Net 的編碼部分與解碼部分采用對稱結構，并且使用skip-connection（跳躍連接）將編碼與解碼的特征圖進行通道合并，這種操作將編碼部分的特征圖直接傳遞到解碼部分，使得U-Net 在像素定位上更加準確，分割結果比FCN 更加精確，并且U-Net 網絡更適用于小數據量的生物醫學圖像數據處理，能得到較好的分割結果，被研究者們大量應用。

圖1 U-Net網絡結構Fig.1 Structure of U-Net network

遷移學習［17］是將源域學習到的成熟知識應用到其他場景。用神經網絡的詞語來表示，就是神經網絡的節點權重從一個已經訓練好的網絡遷移到一個全新的網絡，而不是為每個特定任務從頭開始訓練一個全新的神經網絡。遷移學習可以較好地利用資源并且訓練成本也相對較低，可以有效解決醫學圖像數據較少的問題。遷移學習可以具體定義為：給定源域Ds和目標域Dt以及它們各自對應的學習任務Ts和Tt，在實際任務中，一般會要求源域的規模大于目標域的規模，遷移學習的目標是利用Ds和目標域Dt的知識幫助提高在目標域Dt的預測函數ft(x)的學習效果，其中Ds≠Dt或者Ts≠Tt。Ds≠Dt代表源域與目標域的特征空間不同或者是特征的邊緣概率分布不同；Ts≠Tt意味著樣本標簽空間不同或者是樣本標簽的條件分布不同，P(YS|XS) ≠P(YT|XT)。

根據遷移的對象和方法不同，將已有的遷移學習算法分為四種類型：實例遷移、特征遷移、模型遷移和對抗遷移。越來越多的研究者將遷移學習和深度學習相結合，并運用到各個領域。Oquab 等［18］反復使用卷積神經網絡在ImageNet 數據集上訓練的前幾層來提取其他數據集圖像的中間圖像表征，卷積神經網絡學習的圖像表征可以有效遷移到其他訓練數據量受限的視覺識別任務；楊涵方等［19］在跨領域圖像分類中采用深度稀疏辨別遷移模型實現良好的分類性能；李浩波等［20］重新搭建了網絡，但是進行微調以優化網絡，選擇最后的卷積塊進行微調，而不是整個網絡；李淼等［21］將深度學習和遷移學習結合進行農作物病害識別方法研究，將預訓練模型的低層網絡參數進行凍結，只對全連接層的參數重新進行訓練和更新；徐勝舟等［22］將全卷積神經網絡和遷移學習結合進行乳腺腫塊圖像分割，分割效果明顯優于傳統的分割算法?？傮w而言，遷移學習在深度學習中具有巨大的潛力。

在近幾年，基于遷移學習策略的醫學圖像處理主要是兩類［23］：第一類是將預訓練卷積神經網絡作為特征生成器，如褚晶輝等［24］利用遷移學習和深度學習進行乳腺腫瘤診斷，則是利用MRI（Magnetic Resonance Imaging）數據集對網絡進行微調；第二類是將目標域數據集用來微調整個網絡，如Shin等［25］將遷移學習微調網絡應用于兩個特定的CAD 分類任務，并在腹腔淋巴結（Lymph Node，LN）中取得了當前一流的診斷結果，表明遷移學習微調可用于醫學影像任務高性能CAD 系統的設計。Tajbakhshn 等［23］也充分證明了從自然圖像到醫學圖像的遷移是可行的，盡管源域和目標域之間存在相對較大的差異，并且在醫學圖像小樣本的情況下，結合遷移學習的神經網絡要比傳統神經網絡具有更好的泛化性和魯棒性。

肺結節分割有助于肺癌篩查與治療，但是遷移學習在肺結節分割上沒有針對性的實例，并且對于肺結節這種特定的應用，無論是“淺層微調”還是“深層微調”都不一定是最佳選擇。因此本文將U-Net 網絡和遷移學習相結合，進行小數據集的肺結節分割，為了進一步提高分割精度、改進經典U-Net網絡對小目標的分割效果，本文提出一種分塊式疊加微調（Block Superimposed Fine-Tuning，BSFT）策略進行輔助診斷，并主要討論肺結節小數據在遷移學習策略中如何微調，通過對VGG-16 網絡（Visual Geometry Group Network）［26］、ResNet34網絡（Residual Network）［27］、InceptionV3［28］和Densenet［29］四個神經網絡的遷移學習，在敏感性、特異性和Dice 值等方面取得了很好的效果。

2 本文算法

針對小數據集醫學圖像存在的分割困難問題，本文利用遷移學習的方法，用VGG-16 在大數據量、粗粒度的自然圖像上學習特征知識、擬合網絡參數，然后將特征信息遷移至小標簽樣本、細粒度的肺結節圖像分割任務上。具體方法為：從源域大數據集中學習特征知識進而轉換為權重參數，然后在目標域的學習任務中共享模型結構和先驗參數，即預訓練網絡。在網絡搭建完成后，將預訓練的權重遷移到新的網絡結構的對應部分，通過在肺結節數據集上預訓練新網絡的權重，訓練性能達到最佳時停止訓練。

2.1 網絡結構

本文采用U-Net 網絡進行分割，它由進行下采樣的編碼器和上采樣的解碼器組成，選用VGG-16 作為U-Net 網絡的編碼器進行下采樣，由于VGG-16 的全連接層與具體數據集密切相關，每一個輸出節點都對應一個特定任務，為了符合本文網絡結構要求，需要刪除VGG-16 的全連接層，使用兩倍于特征圖大小的轉置卷積，并減少一半通道數量，將卷積輸出疊加到編碼器的輸出部分形成新的網絡結構。將VGG-16 在ImageNet自然圖像上學習的特征轉換為權重參數作為本文模型的先驗參數。圖2 顯示了本文的網絡結構，圖中上半部分是VGG-16 預訓練網絡，經過參數遷移后，得到下半部分網絡結構。

圖2 肺結節分割遷移學習網絡結構Fig.2 Transfer learning network structure for pulmonary nodule segmentation

2.2 分塊式疊加微調策略

大規模準確的標注數據集對神經網絡學習到準確、可泛化的特征至關重要，ImageNet 包含了1 000 類，1 000 萬張自然圖片，為深度神經網絡在自然圖像上的發展提供了強有力的支持。而本文所研究的肺結節數據集大小只有1 000張左右，不足ImageNet 萬分之一，難以滿足從零開始訓練網絡。這就造成利用遷移學習在醫學小數據上出現訓練困難、容易過擬合等問題，無法達到高要求的醫學精準診斷的要求，遷移學習的效果也很差。本文將ImageNet自然圖像數據集上學習的特征作為先驗知識，遷移到較小的肺結節數據集上，提升其分割任務的性能。但是在ImageNet數據集中圖像均為二維彩色圖像，與醫學圖像（二維、三維和非彩色）相差很大，網絡難以通過先驗知識準確學習醫學圖像的特征，導致圖像分割準確率下降。因此需要將網絡在肺結節數據集上再次進行訓練，使網絡能夠根據樣本自適應地調整網絡參數，提高醫學圖像對病理的語義概括能力，這個過程稱之為網絡微調。

傳統的遷移學習微調策略存在兩個重要的因素：目標域數據集的大小以及源域與目標域之間的相似性，微調策略遵循四個原則：1）目標域小且和源域相似，不進行微調，以防進行過擬合；2）目標域較大并與源域相似時，對整個網絡進行微調；3）目標域較小且不相似時，對低層進行微調；4）目標域較大且和源域不相似時，隨意訓練。原則3）適用于本文的小數據集醫學圖像。但是這樣的微調原則，使得傳統的遷移學習很難在訓練層和凍結層之間達到很好的平衡，沒有進一步研究當目標域較小或是目標域和源域之間相似度很低時提取到的特征會如何變化，即網絡微調的有效深度。本文肺結節的數據規模較小，一般不能微調太多網絡層，可能會導致梯度消失或者過擬合；并且ImageNet 自然圖像與肺結節的數據集相似度很低，如果僅停留在模型表面，即在低層進行微調可能使網絡無法提取肺結節特征，不能學習到有用的特征信息，表達性能也很差，導致分割效果下降。利用傳統的遷移學習策略很難得到一個最佳的網絡，也就是網絡微調的有效深度。

因此本文基于傳統遷移學習微調策略存在的問題以及網絡低層次特征知識具有普遍性的特點，在遷移學習的基礎上提出一種分塊式疊加微調策略。如表1 所示，VGG-16中有5個下采樣層，為了搭建對應的U-Net 網絡，解碼器中也應有5個上采樣層與之匹配，即需要進行5 次分塊式疊加策略。作為編碼器的VGG-16 網絡結構中：多次使用相同大小的卷積核來提取更加復雜和更具有表達性的特征，這樣也加強了網絡的特征學習能力，減少了參數量。因此本文算法中，將得到相同大小特征圖的卷積層歸為同一個塊，如在VGG-16 網絡中，在進行了兩次3×3卷積和一次最大池化以后，得到的特征圖大小為256×256，所以將池化層前面的這兩層卷積分成一塊。表1中，Maxpool5 之前的所有網絡層即為VGG-16 在ImageNet上進行預訓練的權重遷移到新網絡的部分。

遷移學習后，需要在肺結節數據集上采用分塊式疊加微調策略，對網絡進行自適應參數調整，以提高網絡的語義概括能力。如圖3 所示，為本文的訓練過程，首先隨機初始化新網絡，在網絡具有良好的分割能力上，逐塊釋放卷積層并微調可訓練層，本文采用A-E方式進行5次網絡微調，其中，方式A表示新網絡的所有層初始化之后，釋放Block5 塊，凍結Block1～Block4（參數固定不變），訓練網絡參數；方式B-E，也以相同的方式，進行卷積塊釋放和凍結，參數訓練，微調網絡結構如圖4 所示。微調過程中，定量分析各卷積塊Dice 值的變化，來確定微調的有效塊（網絡的有效層數），訓練性能達到最佳時，停止訓練，保存網絡結構，選取最佳診斷網絡。

圖3 微調策略流程Fig.3 Flowchart of fine-tuning strategy

圖4 分塊疊加式微調策略網絡結構Fig.4 Network structure of block superimposed fine-tuning strategy

表1 VGG-16網絡以及對應本文的分塊參數Tab.1 VGG-16 networks and corresponding block parameters in this paper

網絡訓練的源域為ImageNet，訓練采用適應性矩估計（Adaptive moment estimation，Adam）［30］為優化函數，其默認參數遵循原論文中提供的值。本文中將不進行訓練的參數稱為凍結，即學習率為0，而釋放即是網絡中的參數從不可訓練轉換成可以訓練。

Adam 解決非凸優化問題，能夠基于訓練數據調整更新神經網絡的權重。Adam 方法利用梯度的一階矩估計和二階矩估計動態調整每個參數的學習率，適用于解決含有噪聲或梯度稀疏的非穩態問題。

3 實驗

3.1 數據集

本文選用LUNA16作為數據集，該數據集由888幅含多個512×512 切片的三維肺部圖像組成，共有1 186 個結節，結節多為平均直徑8.31 mm 的小結節。由于醫學圖像中CT 值與一般圖像的像素是不同的，為了對數據集進行可視化，需要對一個二維的CT 矩陣進行預處理與歸一化，即將CT 值過大或者過小的數值設置為0，并歸一化得到圖像矩陣。圖5 將LUNA16的數據集進行可視化，并標出肺結節位置。

LUNA16 數據集提供了掩膜，用來剔除與肺部無關的區域，獲得肺實質區域，如圖6所示。

CT 圖像為mhd 格式，用csv 文件標記肺結節的大小和位置。如表2 所示，seriesuid 是患者的標簽，CoordX，CoordY 和CoordZ 為肺結節中心的坐標信息，diameter_mm 是肺結節半徑，單位為mm。通過肺結節中心確定肺結節標簽，如圖7 所示，（a）和（b）分別為輸入圖像和標簽，白色方框區域為肺結節位置。

在888 例患者中，標記了1 186 個肺結節。本文將數據集按8∶1∶1 的比例隨機分為訓練集、驗證集和測試集，大小分別為949，110和127。

圖5 LUNA16數據集圖像示例Fig.5 LUNA16 dataset image examples

圖6 肺實質提取示意圖Fig.6 Schematic diagrams of lung parenchyma extraction

表2 肺結節標識信息Tab.2 Identification information of pulmonary nodules

圖7 網絡輸入圖像示例Fig.7 Network input image examples

3.2 實驗設置

本文使用Keras 與Tensorflow 實現，訓練循環次數epoch為200，batch size 為2，卷積層的激活函數選擇ReLU，學習率設置為1E-4。為了更客觀、全面地評估算法的診斷性能，本文使用敏感度（Sensitivity）、特異性（Specificity）、Dice 相似度系數（Dice similarity coefficient，DSC）3 個度量指標對網絡性能進行評價，并將Dice 相似度系數作為與其他肺結節分割方法的主要評價指標，其值越大，兩幅圖像越相似，分割效果越準確。本文中的肺部圖像分割主要是對結節區域的關注，所以衡量算法性能時，僅計算病灶區域的Dice 系數。敏感度、特異性和Dice值如下：

其中：TN（True Negative）、TP（True Positive）、FN（False Positive）、FP（False Negative）分別代表真陽性、真陰性、假陽性、假陰性數量；X為分割結果，Y為實際數據集標簽。

3.3 實驗結果分析

3.3.1 分塊疊加策略性能

表3 顯示了分塊疊加微調策略下，各個Block 的敏感度、特異性和Dice值。

表3 分塊策略性能比較Tab.3 Performance comparison of block strategies

由表3 可見，當分塊疊加微調到Block2時網絡最佳，即在凍結Block1 的基礎上，使得網絡（Block2～Block5）高層次特征知識針對肺結節病例特征自適應調整：一方面能夠有效緩解肺結節小數據集帶來的過擬合；另一方面可以避免因為遷移學習再次訓練所造成的特征表達性差的問題。因此Block2～Block5 為網絡有效微調塊，即（卷積層Conv4～Conv13），后繼續訓練Block1，會使其學習的普遍性特殊化，又難以從小數據集中學習到準確、可泛化的新特征，過度擬合導致網絡診斷性能下降。

如圖8 所示，采用本文所提出的分塊式微調策略，但在網絡進行初始化以后，從模型的第一個塊開始進行微調，即凍結Block2～Block5，微調Block1。其余四個塊也是相同的操作進行凍結和微調，直至微調完整個網絡。與圖4 相似，只是調整了微調順序，因此整個網絡結構圖在此省略，僅給出微調Block1塊的網絡結構。

圖8 微調Block1塊網絡結構Fig.8 Network structure of fine-tuned Block1

從第一個Block 塊開始分塊式微調過程中的Dice 值如圖9 所示，在圖中可以看到網絡性能也是提升的，微調到Block5時，網絡最佳，即需要微調整個網絡；但從每個對應的Dice 值來看，普遍低于逐塊釋放微調策略的值，這是因為許多自然圖像在進行訓練時，低層卷積提取的特征具有普遍性，基本上是顏色、邊緣等信息，不能學習到有用的特征信息，造成表達性能很差。卷積神經網絡對圖像的特征提取過程存在一個特征特殊化的過渡，一般到達高層才能學習到有用的信息。因此在實驗中，不選擇從低層開始微調的學習策略。

為了更好證明本文分塊式微調策略的優越性，采用分層式疊加微調策略，主要分析Dice值，如表4所示。

表4 分塊式微調策略和分層式微調策略性能比較Tab.4 Performance comparison between block fine-tuning strategy and layered fine-tuning strategy

表4 顯示了按照分層式微調策略的Dice 值，盡管在分層過程中性能也得到了提升，但是從表中可以看到，卷積層Conv2、Conv4、Conv7、Conv10 和Conv13 層為Dice 的幾個較高的值，對應分塊結構每一塊中的最后一層卷積，當網絡微調到Conv4 層時網絡性能最佳，對應本文中最佳微調塊Block2 的最后一層；并且在后續實驗中，網絡ResNet34、InceptionV3 和Densenet 層數較深，甚至達到上百層，若采用分層式微調策略，費時費力，并且每微調一層需要重新和與之對應的上采樣特征進行拼接，再繼續進行上采樣和卷積，這樣降低了運算速度。因此為了算法更加準確高效，也是根據網絡結構因地制宜，本文提出的分塊式疊加微調策略，可以更好地訓練網絡，得到網絡的最佳的深度；并且分塊式疊加策略不僅緩解了肺結節數據集過小造成的過擬合問題，并且也不會出現在遷移學習進行訓練時由于訓練的層數過少，而導致無法精確學習肺結節的病理特征。

圖9 分塊式微調Dice圖Fig.9 Dice diagram of block fine-tuning strategy

3.3.2 遷移策略對比

表5 顯示了不同遷移學習策略下的性能指標，可見，相較于其他遷移學習策略的網絡，分塊式微調策略取得了較好的性能，有助于網絡在肺結節小數據集中實現精準分割。

表5 不同學習策略性能比較Tab.5 Performance comparison of different learning strategies

在訓練模型時，采用1-DSC作為Dice損失對模型參數進行微調訓練。為了驗證本文遷移學習策略優越性以及不同分塊策略網絡訓練的穩定性，分析了微調策略變化下的Loss值，依次繪制了微調Block1～Block5塊下的Loss變化趨勢，并且對比了未引入遷移學習和經典U-Net網絡的Loss變化，如圖10所示。

圖10 本文分割方法與傳統分割方法訓練Loss對比Fig.10 Training Loss comparison between the proposed methods with traditional segmentation method

從圖10 可以觀察到，未進行遷移學習預訓練的網絡，即從頭訓練網絡，有較大的Loss 值震動，模型的穩定性較差，分割精度低，如圖（a）所示；在進行遷移學習后，網絡性能明顯更穩定、更優，如圖（c）所示，并且網絡性能要比經典的U-Net 網絡（b）效果更好。雖然引入遷移學習，但是比起傳統的凍結全部網絡層進行微調策略，本文的方法更好地緩解了由于遷移學習的二次應用造成的特征表現能力差的問題，圖（d）～（h）所示為本文提出的分塊式微調策略的損失圖，可以看出在凍結Block1，微調其余塊時，網絡性能達到最優，并且損失也到達最小，即圖（g）所示，得到最有效的微調塊，也有效提高了評估參數Dice的值。

3.3.3 肺結節分割方法對比

為進一步檢測肺結節分割診斷方面的性能，利用分塊式疊加微調策略對 VGG-16、ResNet34、InceptionV3 和Densenet121 網絡模型實施微調，然后選取最佳分割網絡。之后與其他基于深度學習算法的肺結節分割方法進行比較，同樣以敏感度、特異性、Dice 值作為評估標準。表6 給出了不同方法的肺結節分割結果，由表可見，本文算法具有較強的特征提取能力，可以對網絡進行有效微調。如表所示，Densenet121 的分割性能優于VGG-16、InceptionV3 和ResNet34，取得了89.00%的敏感度、94.89%的特異性和91.79%的Dice 值，較其他方法有較大的性能提升。由表6 可知，越深的網絡模型取得越好的性能，這是因為深層網絡可以提取肺結節的深層語義信息，泛化能力增強。

表6 不同肺結節分割方法性能比較Tab.6 Performance comparison of different segmentation methods for pulmonary nodules

圖11 顯示了利用分塊策略的肺結節分割結果，（a）是原圖像，圖（b）～圖（f）分別對應Block1～Block5 的分割結果，圖（g）為手動分割結果。分塊結果表明，深層網絡可以提取更高的語義信息，有更強的局部抽象性，淺層網絡的語義特征較低，所以本文也基于不改變低層次（Block1）的語義特征對深層次（Block2-Block5）的特征進行調整，得到最佳的微調網絡塊，更好地進行肺結節分割。

圖12 顯示了分別基于分塊微調策略的Densenet121 網絡和U-Net 網絡進行肺結節分割的可視化結果。圖（a）為原圖像；圖（b）為Densenet121（BSFT）方法分割結果；圖（c）為利用ITK-SNAP軟件將本文分割出的結果在原圖像進行標記，以加深對預測結果的信任和理解；圖（d）為U-Net 網絡的分割結果。如第一、第三列所示，其肺結節的體積非常小，本文算法對于這種極小的肺結節進行了精準分割；而U-Net 網絡的分割結果不夠準確，在肺結節極小的情況下，U-Net 網絡出現錯誤分割。

圖11 分塊微調策略分割結果對比Fig.11 Comparison of segmentation results of block fine-tuning strategies

圖12 本文方法分割結果與U-Net網絡分割結果對比Fig.12 Comparison of segmentation results by the proposed method and U-Net network

4 結語

針對深度網絡在肺結節小數據集上分割精度低的問題，本文提出一種基于遷移學習的肺結節分割方法，首先改進了傳統遷移學習微調整個網絡導致分割結果不理想的問題，提出分塊疊加微調策略（BSFT），該策略首先利用卷積神經網絡學習ImageNet自然圖像的特征信息，重新構建網絡，將所學特征遷移到小數據集的肺結節圖像上，接著逐塊釋放網絡進行微調，直到網絡完成最后一層疊加；最后通過定量分析，確定最佳分割網絡。實驗結果和對比實驗表明，該方法在肺結節小數據集分割上，分割精度獲得較大的提升。在以后的工作中，會對分割出的肺結節良惡性進一步判斷，為醫生提供更佳準確的輔助診斷。