基于區域建議網絡的肺結節檢測及其去假陽性

楊柳, 楊勇*, 葉宏偉, 王小狀

(1.杭州電子科技大學自動化學院， 杭州 310018； 2.浙江明峰智能醫療科技有限公司， 杭州 310018)

肺結節被認為是原發性肺癌的一個重要指標。盡早發現肺結節，能夠對輔助診斷肺部癌癥以及治療提供很大的幫助。

深度學習方法在圖像處理領域取得了巨大的成功[1]，以深度學習為基礎的計算機輔助診斷(computer aided diagnosis，CAD)系統在醫學影像的識別與目標檢測方面達到了很高的準確率。隨著深度學習技術的快速發展，越來越多的網絡模型被應用于肺結節檢測中，相關研究也越來越深入[2-3]。深度學習比起傳統候選結節檢測方法，能夠更有效地提取肺結節特征，提高讀片的速度和準確度。卷積神經網絡(convolutional neural network，CNN)是醫學圖像檢測的主要算法，關于醫學圖像的網絡模型改進是目前醫學圖像檢測的研究重點[4]。

目前業界普遍使用兩個階段的深度學習目標檢測方法輔助識別肺結節，第一個階段是生成候選結節區域，得到一個有可能包含待檢肺結節的預選框；第二階段是去除假陽性結節，通過卷積神經網絡進行真假結節樣本分類，降低候選的假陽性結節率。大致發展狀況簡述如下：Li等[5]提出了基于編碼-解碼器結構和ResNet[6]的3D區域建議網絡(region proposal network，RPN)進行檢測。盡管ResNet特征提取能力強，但在小型結節檢測上還存在局限性。唐思源等[7]提出Faster R-CNN多特征融合算法，但最終靈敏度還有待提高，且肺實質區域分割步驟可以改進為深度學習方法。胡新穎等[8]在特征提取網絡的最后一層增加反卷積層提升檢測效果，但在假陽性超過5 FPs/scan后的靈敏度有所不足。鄧忠豪等[9]使用改進的 UNet++網絡提取候選結節，結合了淺層特征和深層特征，但輸入圖像沒有充分利用肺結節的三維信息。這些方法在多尺度檢測提高靈敏度等方面仍存在改善空間。去除假陽性肺結節也是一個重要課題。為了解決較高的假陽性問題，Kim等[10]通過多層級三維深度卷積神經網絡(3D deep convolutional neural network，3D DCNN)進行假陽性過濾，然而多層級網絡的使用對去假陽過程來說略顯復雜。劉迪等[11]候選網絡檢測效果較好，但在去假陽階段采用的是二元邏輯回歸，去除效果還有提升空間。楊靖祎等[12]設計了TDN-CNN模型，應用了稠密連接強化特征利用，模型有效但競爭性指標(competition performance metric，CPM)還待提高。

現提出改進的Faster R-CNN網絡，采用多尺度方法[13]，輸出大小兩個尺度，分別用于R-CNN網絡和RPN網絡的輸入，以提高對微小肺結節的檢出率。特征提取網絡主要框架采用基于3D UNet++網絡[14]和ResNeXt的殘差網絡塊[6]及組卷積結構(group convolution)，并嵌入了SE(squeeze-and-excitation)結構[5]。由于肺結節較小，特征提取過程容易丟失部分特征，3D UNet++具有多重跳躍連接，可以將低層特征圖(feature map)與高層特征圖結合起來，以期望能幫助解碼器更好地修復生成肺結節目標的細節，獲得多個尺度的信息。特征提取網絡的殘差網絡塊和組卷積進一步結合不同層面的肺結節特征，提升準確率。在殘差網絡塊中，通過SE結構實現注意力機制(attention)，期望使得有效的特征圖權重變大，提升候選區域選取的靈敏度。提取結節特征之后，再采用3D RPN網絡和R-CNN網絡生成候選結節[15-16]。

在去假陽性網絡方面，現有的去假陽性網絡模型大部分使用的是3D CNN網絡結構，對其他網絡結構的去假陽性模型研究較少，也缺乏對假陽性網絡的集中性比較。現選用基于3D DCNN的去假陽性網絡，并將該假陽性網絡與多種網絡模型進行比對和效果評估。

1 算法論述

1.1候選結節檢測網絡

1.1.1 特征提取網絡

首先，輸入圖像需要通過一個特征提取網絡，然后將特征提取網絡的結果輸入RPN網絡和RCNN網絡進行進一步提取和訓練。特征提取網絡由ResNeXt[17]模塊、SE模塊[5，18]以及3D UNet++網絡組成。最后，以多尺度輸出作為特征提取網絡的結果。特征提取網絡的Backbone是3D UNet++網絡，由多個3D SEResidual Block構成。3D SEResidual Block的結構如圖1中的右上角虛線框圖所示，由兩個卷積層、兩個批量歸一化層(batch normalization，BN)、兩個線性整流層(ReLU)、殘差網絡塊以及SE模塊組成。SE模塊實現了注意力機制，其最重要的兩個地方是全連接層和相乘特征融合假設。SE模塊通過其殘差塊結構，能夠保留多個層次的信息，這對微小結節的處理起到了很大幫助。除此之外，3D SEResidual Block還采納了分組卷積[19]結構，構建了32個分組，減少了參數量。將多個3D SEResidual Block 作為特征提取網絡結構的基礎結構，不僅提高了特征利用率，而且降低了特征冗余度。再結合ResNeXt殘差網絡塊，能進一步提取結節特征。

圖1 網絡的結構以及運行流程Fig.1 Network structure and operation process

肺結節大部分為小目標，為了提高對小目標的檢測能力，采用了特征金字塔網絡(feature pyramid network, FPN)[20]的思想，選取了兩個不同尺度的結果進行訓練。FPN的感興趣區域(region of interest，RoI)層可以對P2、P3、P4、P5由淺至深不同尺度的特征金字塔圖像制定不同尺度的RoI。對于不同大小的RoI，使用不同的特征圖。由于大目標不容易丟失，即使是深層的特征圖(P5層)，特征依然較大，所以可以選用深層的特征圖作為大尺度目標的結果；用淺層的特征金字塔層(P2層)作為小尺度目標的結果[21]。為了獲取不同尺度的肺結節信息，選取了深層和淺層的特征圖，即選取了大小兩個尺度的結果作為輸出。在此應用UNet++網絡模型(如圖1左下角網絡模型所示)，充分利用跳躍連接方法[22]，將大尺度特征結合小尺度特征，并結合深層的結果(圖1中的輸出結果1)到RPN網絡進行處理；考慮肺結節的形狀小、語義特征少的特殊性，在網絡中盡可能使用淺層的、保留了早期特征的特征圖，因此將保留了大尺度信息的結果(圖1中的輸出結果2)進行池化操作后，送入R-CNN網絡進行進一步裁剪并訓練。RPN網絡訓練了65個epoch后，加入R-CNN網絡共同訓練，生成RoI，得到候選結節，輸入去假陽性網絡中去除假陽性結節。這不僅確保了去假陽性網絡有一個小的接受域，可以學習本質上不同于結節候選篩選網絡的特征表示，而且還允許了共享一些特征提取塊。

1.1.2 檢測網絡及其損失函數

改進后的Faster R-CNN特征提取網絡的最后一層，由3D RPN提供候選區域選取。首先使用不同大小和長寬比例的錨點，在RPN層上構造5×5×5、10×10×10、20×20×20、30×30×30和50×50×50大小的候選框。對每個錨點計算交并比 (intersection over union，IoU)，若IoU>0.5，就認為這是一個正樣本。分配標簽以及每個正樣本錨點對應的真實坐標(ground truth)。于是，傳入RPN網絡的樣本數據被整理為錨定框(anchor box)以及每個錨定框是否有結節的二分類標簽，計算得到二分類和坐標回歸的損失。RPN網絡將每個肺結節樣本映射為一個概率值，3個坐標值和結節直徑大小。最后將二分類和坐標回歸的損失統一起來，作為RPN網絡的目標訓練。RPN網絡的分類損失函數是使用了結合負樣本挖掘(online hard example mining)方法[23]的二分類交叉熵，結合的負樣本挖掘方法能夠得到難分負樣本的標簽，增加負樣本在交叉熵損失函數中的權重。回歸損失采用了平滑L1損失函數(smoothL1 loss function)，該損失函數相比于L2損失函數，對于離群點、異常值(outlier)更不敏感，能夠讓損失對于離群點更加魯棒。由于錨定框可能會在同一個目標上生成多個重疊的錨定框，所以需要對RPN網絡進行非極大值抑制[24]運算，去掉檢測任務中重復的檢測框，保留正樣本概率最大的檢測框。RPN網絡得到候選區域后，被傳入R-CNN子網絡，進行比RPN網絡更精確的多分類和坐標回歸損失計算。如圖1的步驟4所示，Faster R-CNN的候選結節預測結果會被裁剪為48×48×48的切片，應用于去假陽性網絡中作為數據集。在去假陽性網絡的訓練過程中，引入樣本平衡的策略，在訓練到一定epoch后，更改正負樣本的采樣比例為1∶1，以平衡采樣正負樣本在訓練中的出現概率。實驗過程中采用的是3D DCNN的去假陽性網絡。

1.2 去假陽性網絡

網絡結構如圖2所示，使用了與候選檢測網絡不同的卷積層，采用最大池化層(max pooling)來進行下采樣，以及dropout層來防止過擬合。除此之外，對比了包括3D DCNN在內的多種假陽性網絡的效果。最后，使用去假陽率和靈敏度等指標對這些去假陽性網絡進行評價。

圖2 3D DCNN去假陽性網絡結構Fig.2 3D DCNN removing false positive network structure

2 實驗結果與對比分析

2.1 前處理

為減少不必要的干擾和計算復雜度，在提取肺結節RoI之前，需要從CT圖像中分割出肺實質。肺實質分割能保留CT圖像中雙肺邊界之內的圖像，去除雙肺邊界的外部區域，消除不相關的干擾，準確提取肺結節RoI。先對每個輸入圖像進行二值分割掩法預處理，使用閾值[-1 200,600]截斷肺部CT圖。標準化后，使用已經訓練好的肺實質分割網絡來分割出肺實質區域。對該區域的數據使用最近鄰插值的方法進行重采樣，隨后進行形態學的膨脹處理，再用一定像素值填充非肺實質區域。最后得到干凈的肺實質分割圖像，保存為numpy數據格式。將肺結節的位置坐標、大小轉換為體素坐標。目前研究中常常通過對圖像進行不同角度的旋轉、隨機剪裁以達到數據成倍擴增，防止過擬合，有效提升網絡性能[25]。在進入RPN網絡之前，將肺結節圖片裁剪出來，找到肺結節的外接立方體，轉換成128×128×128的切片，并采用隨機翻轉和縮放的方法進行額外的數據增強，其比例為0.75～1.25，擴充數據集，以便更好地提取微小結節特征。

2.2 數據集

實驗數據集來自于LUNA16[3]，是最大公用肺結節數據集 LIDC-IDRI[26]的子集。LUNA16包含888例CT掃描，1 186個標記結節，從LIDC數據集除去層厚大于2.5 mm的CT掃描獲得。直徑小于3 mm和非結節都不作為檢測樣本。平均結節直徑為8.79 mm。對該數據集肺結節的直徑頻率分布進行了統計，結果如圖3所示。計算得到9 mm以下的肺結節占了71.67%，說明大部分結節相對來說是較小的。因此，增強網絡對小目標的檢測能力是十分有必要的。

2.3 評價指標

實驗結果采用敏感度、FROC曲線和CPM作為實驗性能的評價指標。FROC曲線主要反映的是靈敏度和每次掃描后每幅圖像假陽性肺結節數量的關系，其橫坐標為每個CT影像的平均假陽性數量(average number of false positives per scan，FP/scan)，表示在達到最高敏感度時，平均每例的假陽性數量，縱坐標為敏感度。CPM指標計算在0.125、0.25、0.5、1、2、4和8 FP/scan這7個具有代表性點上的平均敏感度，具有較高的社會認可度[27]。

圖3 肺結節直徑和直徑出現頻率的直方圖Fig.3 A histogram of the diameter and frequency of pulmonary nodules

2.4 候選結節網絡實驗檢測結果

通過“10折交叉驗證”驗證了算法性能。實驗中采用隨機梯度下降訓練200個epoch。訓練的過程分為兩個部分：在前65個epoch只訓練RPN網絡部分，后面的部分RPN網絡和R-CNN網絡一同訓練。在R-CNN網絡中進行最后的分類和回歸的計算。選擇在NVIDIA GeForce RTX 2080Ti上訓練網絡，batch size為32，初始學習率為0.01。對數據樣本進行了數據增強，包括結節半徑范圍內翻轉，以及[90°，180°，270°]的隨機旋轉。設置大小為128×128×128的切片(patch)作為輸入圖像。

表1報告了本文方法和其他方法的檢測性能。Liao等[28]采用的是 3D RPN網絡來直接預測結節的邊界框，對模型進行端到端訓練。Zhu等[29]采用了雙路徑模塊對U-Net網絡進行改進，能夠有效地學習節點特征。譚雨蒙等[30]是將U-Net的改進版UNet++用于肺結節檢測的結果。DIAG ConvNet網絡、ZENT網絡以及Aidence網絡的結果來源于文獻[3]，其對基于LUNA16數據集的肺結節檢測方法進行了一個全面比對。Dou等[31]利用3D FCN網絡在線過濾樣本，快速篩選出候選對象，然后使用3D殘差網絡，區分候選對象是否是真正的結節。Li等[5]提出的DeepSEED網絡采納了同樣帶有SE模塊的卷積神經網絡。楊懷金等[32]研究了一種融合流形學習的卷積神經網絡進行肺結節檢測，提升準確度并彌補泛化能力，最高靈敏度為0.911。

從表1中可以看出，本文算法CPM為0.879，優于其他的方法。此外，在7個平均假陽性數量中的5個獲得了最好的結果，驗證了本文算法的有效性。在臨床實踐中，平均假陽性數量在1～4的靈敏度是最有參考價值的[33]，而本文方法在1～4 FP/scan下的靈敏度都高于其他算法，特別是在4 FP/scan下，靈敏度達到了98.2%，在8 FP/scan下，靈敏度達到了98.8%，顯示了其在臨床應用中的潛力。圖4為部分檢出結節的病理切片結果展示，其中紅框內是本文模型所預測結節，白框是標注結節。圖像結果表明，正確預測出來的結節位置與真實結節位置差異不大，所預測的標注框直徑也能夠把結節完整地框出來。

表1 各算法的候選結節網絡效果比對Table 1 Comparison of network effect of candidate nodules for each algorithm

圖4 部分檢出結節的病理切片Fig.4 Partial pathological sections of nodules detected

2.5 去假陽性網絡效果比對

將表2中所示的每個網絡作為去假陽性網絡，接在本文算法中的候選檢測網絡結果之后，以去除假陽性結節，進一步精確肺結節的檢測結果。表2是各個去假陽性網絡進行假陽性結節去除后，得到的CPM值以及其去假陽率。每個網絡去除結節時所選取的閾值不同，但都是在保證原有的CPM不降低、去假陽率盡量高的條件下選取的。該處的去假陽率定義為：假設未加入去假陽性網絡時，假陽性結節個數為x，加入后，假陽性結節個數為y，則去假陽率Rf計算公式為

Rf=(x-y)/x×100%

(1)

由表2可知，3D DCNN網絡的CPM達到最高。3D DCNN網絡的去假陽率高于CNN網絡6.753%，高于同CPM的DPN網絡8.975%，達到了15.556%，是幾種網絡里面去假陽性結節效果最好的。這證明了3D DCNN網絡作為去假陽性網絡的優越性。ShuffleNet網絡表現最差，幾乎沒有去掉假陽性結節，而跟它近似CPM值的SENet+ResNeXt網絡則去掉了6.325%的假陽性結節。SENet+ResNeXt網絡和ResNeXt網絡的CPM值相同，但前者的去假陽率高了1.966%，說明SE模塊在去假陽率方面有微小的效果。除此之外，從平均假陽性數量能夠看出，3D DCNN方法所得到的平均假陽性數量最低，這進一步表明了它的去假陽性效果。Peng等[34]的方法獲得的平均敏感度和最高敏感度分別為0.872和0.983，與本文算法差異不大，但其平均假陽性數量達到了22。與謝未央等[35]的方法提到的VGG、C3D、VGG+FPN結果比對，均能取得最高敏感度和最低平均假陽性數量。

圖5整合了每個網絡的FROC曲線進行對比。可以看出，由于CPM差別不大，所以曲線整體來說沒有很大的差異。3D DCNN網絡的曲線表現得最好，在2～8 FP/scan的檢查點均最先達到拐點，該結果也與它在表2的數據相對應。CNN網絡的效果則緊隨3D DCNN網絡。DPN網絡SENet+ResNeXt網絡近乎重疊，效果較相近。3D DCNN的去假陽率最高，但在0～1 FP/scan的CPM取值點低于DPN網絡，這說明DPN網絡在較低FPs的靈敏度表現較好。SENet+ResNeXt的靈敏度效果略好于ResNeXt。ShuffleNet的效果最差，相對來說最不適合于去假陽性結節，這也和它在表2中的表現相吻合。

圖5 各個假陽性網絡的FROC曲線對比Fig.5 Comparison of FROC curves of each false positive network

表2 各網絡應用于去除假陽性肺結節的效果Table 2 Effect of various networks applied to the removal of false positive pulmonary nodules

3 討論

采用了3D RPN網絡，這是由于3D卷積可以對3D數據從(x,y,z)3個方向上進行編碼，整個3D網絡能比2D網絡更能提取到CT重構后的特征。原始的U-Net結構盡管使用跳躍連接保留了部分細節，但下采樣沒有其他分支，僅使用了單一尺度下提取的特征底層特征，底層特征做了少量處理就直接進行了特征融合。這樣就忽視了多尺度特征的提取，無法充分利用信息。采用UNet++結構集成不同深度的U-Net來降低網絡深度，并利用新的跳躍連接方式，在解碼器子網絡上聚合不同語義尺度的特征。在上采樣過程中，原來的空間信息無法恢復，所以使用多個跳躍連接來連接編碼器和解碼器。為了進一步利用結節的多尺度特征，輸出了大尺度和小尺度結節的特征圖進行訓練，有助于保留微小肺結節的特征。SE模塊的加入提升了候選結節檢測網絡的效果，可能是由于它為每個通道提供了不同系數來相乘，讓模型變得復雜，有助于挖掘更深的特征。但SE模塊沒有考慮空間權重，故加入了跳躍連接、殘差網絡等模型，將空間和通道都考慮到，但又控制了運算量。

DPN網絡結合了ResNeXt與DenseNet的部分網絡結構，去除假陽性的效果比ResNeXt網絡更強，這可能是由于它結合的DenseNet網絡讓它對特征的利用更加充分。ShuffleNet網絡采用了逐點群卷積和重組通道的方法，比起ResNexXt在結構方面有所創新，但是作為去假陽性網絡表現卻不足。綜合了CPM值以及去假陽率的結果，最終得出使用3D DCNN作為去假陽性網絡效果較好。

4 結論

描述了改進特征提取網絡的Faster R-CNN肺結節檢測網絡結構。該方法分為候選結節檢測和去假陽性結節兩個階段。結果表明，該方法具有較強的競爭力，可以進一步與其他方法結合使用，提高檢測性能。除此之外，將現有的一些網絡模型應用于去除假陽性肺結節，并對它們的效果做了比較，彌補了目前對于去假陽網絡對比研究較少的缺口，在該方面具有一定的參考意義。

提出的方法可以進一步擴展到其他類型的三維醫學圖像。在今后的工作中，還將針對已經檢測出的結節進行分類，將結節劃分為非實性結節及各種實性亞型結節等類型[38]，使研究具有更強的臨床意義。