多模式特征融合網絡肺結節良惡性分類方法

尹智賢，夏克文，武盼盼

1.河北工業大學 電子信息工程學院，天津 300401

2.天津師范大學 計算機與信息工程學院，天津 300387

由于侵襲性以及早期難以發現等特征，肺癌仍然是發病率和致死率最高的癌癥之一。2022 年國家癌癥中心發布的最新一期全國癌癥統計數據顯示，2016年我國新發肺癌約82.8 萬例，占總新發癌癥病例（406.4 萬）的20.4%，高居癌癥發病率榜首[1]。美國癌癥協會發布的2022年美國癌癥年度報告預測，平均每天會有350人死于肺癌[2]。數據顯示，原位期、局部期和晚期肺癌的5年生存率分別為60%、33%和6%。因此，早診斷、早治療對于提高肺癌患者生存率至關重要。早期肺癌多以結節征狀存在，對結節良惡性的準確診斷成為肺癌預防和治療的重要手段。病理學診斷是鑒別肺結節良惡性的基本依據。但其具有侵襲性，且耗時的問題。CT 掃描作為一種非侵入方法為肺結節診斷提供了有效補充。放射科醫生通常逐層讀取肺部CT圖像來確定受試者是否含有惡性結節。然而，僅憑CT 形態學表現來區分結節良惡性仍然存在巨大的挑戰，這通常高度依賴于放射科醫生的經驗。此外，放射科醫生在高負荷狀態下的疲勞或圖像質量差可能導致的誤判為人工閱片帶來了嚴重困擾。因此，開發一種計算機輔助方法自動診斷肺結節良惡性具有重要臨床意義。

當前針對肺結節良惡性分類的方法大致分為兩類：基于影像組學的方法和基于深度學習的方法。前者根據任務需求，人工提取特征，例如結節的強度、形狀、紋理、密度等，然后訓練支持向量機（support vector machine，SVM）、隨機森林（random forest，RF）、K近鄰（k-nearest neighbor，KNN）等傳統機器學習方法實現結節良惡性自動分類。Jacobs等[3]在傳統的強度、形狀、紋理特征外，引入新的上下文特征，為亞實性肺結節構建了一個含128個特征的集合以提升模型分類性能。Farag等[4]利用Gabor 濾波器、多分辨率LBP 以及融合LBP 的有符號距離提取了3 種類型的特征作為良惡性結節的特征描述符以指導KNN 和SVMs 的訓練。Li 等[5]基于灰度共生矩陣、局部二進制模式（local binary pattern，LBP）和Gabor濾波方法，結合強度、幾何和紋理特征，構建具有鑒別性的特征向量，利用改進的RF 分類器實現肺結節良惡性分類。Vanbang等[6]提出一種基于密度分布的特征提取方法，利用K-均值聚類計算肺結節像素值與聚類中心關系實現特征提取，進而使用隨機森林分類器實現結節良惡性的鑒別。朱英亮等[7]利用改進的灰度-梯度共生矩陣提取了灰度熵、灰度分布不均勻性、混合熵等14 種紋理特征，利用改進的ReliefF 算法進行特征選擇，最終使用K-means 算法實現肺結節良惡性分類。雖然以上方法能夠達到較好的分類效果，但需要人工設計特征提取器，且訓練樣本大時易發生欠擬合現象。

近年來，深度學習技術在醫學圖像處理領域有了長足發展，相比于傳統的基于人工設計特征提取器的肺結節分類方法，基于數據驅動的深度學習方法表現出更為優異的分類性能，并將用戶從繁瑣的手工特征提取中解脫出來。Zhang等[8]為捕獲更多的高維語義信息引入了殘差網絡[9]，從不同尺度提取結節特征來提升模型分類精度。Xie 等[10]利用遷移學習，將在ImageNet 上預訓練的三個ResNet-50模型轉移到肺部CT圖像中，以分別表征肺結節的整體外觀、體素值異質性和形狀異質性，有效地提升了分類精度。在此基礎上通過將三維結節分解為九個固定視圖來學習三維肺結節特征，聯合訓練了九個基于ResNet-50的模型實現了肺結節良惡性分類精度的提升[11]。但該方法需要訓練多個模型，計算開銷大。Sahu等[12]從多個視角獲取結節橫截面，設計了一種輕量的，基于多視圖采樣的卷積神經網絡（convolutional neural network，CNN）分類結構。雖然該方法具有優異的分類性能，但一定程度上忽略了圖像的全局特征。Al-Shabi等[13]研究了兼顧圖像局部和全局特征的神經網絡模型（例如Densenet[14]和Resnet[9]）在肺結節良惡性分類任務中的應用，并以殘差網絡為骨干網絡，結合注意力機制[15]提出了一種能夠使用全局特征提取器分析結節形狀和大小，使用局部特征提取器分析結節密度和結構的新方法來預測結節惡性程度。雖然該方法在曲線下面積（area under the curve，AUC）指標上有了明顯提升，但是在預測精度上還有欠缺。Wang 等[16]設計了不同尺度的濾波器提取結節局部特征，并構建多路徑CNN結構，充分挖掘結節全局特征，實現了結節良惡性的精確診斷。湯寧等[17]從特征工程角度出發，對不同尺度、不同模式下肺結節圖像對CNN 模型分類性能的影響進行了深入分析，提出了一種二維空間下的多尺度、多視圖融合方法。孫浩天等[18]針對CT圖像樣本分辨率差異性問題，將標準三維卷積進行拆分，構建兩種三維各向異性卷積以避免分辨率不同所帶來的影響，并提出裁剪-非局部池化模塊實現對結節區域和全局信息的兼顧，從而取得了不錯的分類結果。Shi等[19]針對良、惡性肺結節樣本不均衡問題，通過引入遷移學習策略，利用標記結節和未標記結節緩解樣本不平衡問題，提出了一種基于迭代特征匹配的半監督方法以利用無病理信息的數據。

盡管以上基于深度學習的方法能夠在肺結節良惡性分類任務中表現出良好的性能，但依舊存在一些不足。例如，基于多視圖的分類方法需要大量的數據預處理操作，而基于多尺度的分類模型則需要同時訓練多個模型，計算開銷較大。此外，研究發現，當結節較小時，其周圍組織會對結節良惡性判定帶來干擾，此時所訓練的模型易對該類結節產生誤判。針對以上問題，本文設計了一種基于改進MobileNet V3[20]特征融合的肺結節良惡性分類方法來挖掘更多有用特征以提高算法的分類性能。本文主要工作如下：

（1）探討兩種圖像模式，即帶周圍組織的原始肺結節圖像和不帶周圍組織的肺結節圖像對卷積神經網絡模型分類性能的影響。

（2）構建一種雙路徑特征融合模型，在得到不同圖像模式的判別性特征后進行特征融合，使得模型能夠在充分挖掘帶組織的原始肺結節圖像信息的同時，有效提取肺結節區域的顯著性特征，實現模型分類性能的提升。

（3）刪除原MobileNet V3-small 骨干網絡中最后四組bneck 模塊，使模型參數量、計算復雜度和網絡推理時間的大幅降低。引入convolutional block attention module（CBAM）[21]和ShuffleNet[22]通道混洗（channel shuffle）機制提升語義信息的提取效果和特征表達能力。

1 模型構建

1.1 總體結構設計

本文構建的多模式特征融合網絡肺結節良惡性分類模型如圖1所示。模型分為三個部分：

圖1 本文所提網絡結構模型Fig.1 Scheme of proposed network in this paper

第一部分（圖1 中的Part 1）是數據預處理模塊，該模塊旨在制作合適的輸入數據，由于同時使用原CT 圖像和結節區域圖像訓練網絡，因此需要將結節區域分割出來，本文利用U-Net[23]網絡作為分割網絡實現結節區域的提取。

第二部分（圖1中的Part 2）是分類模型的特征提取及融合模塊，該部分能夠充分挖掘結節的全局信息以及結節自身的判別性特征，該模塊分為上下對稱的兩個基于MobileNet V3 的子網絡，但本文刪除了MobileNet V3的分類器以及最后四組bneck模塊，由于兩個子網絡結構相同，本文以其中一個子網絡為例列舉其具體參數，見表1。其中Input 表示輸入圖像或特征圖的尺寸，Operator 對應圖1 中特征提取網絡的卷積層、bneck 模塊、池化層，及卷積核大小，Exp size 為bneck 中第一層1×1卷積升維的通道數，Out是bneck輸出特征圖的通道數，CBAM 表示該層是否使用CBAM 模塊，NL 為非線性激活函數（nonlinearity，NL），表示該層所使用的激活函數類型，HS 和RE 分別為HardSwish 函數和Relu 函數，s表示步長。

表1 特征提取子網絡參數設置Table 1 Parameters setting of feature extraction subnetwork

第三部分（圖1 中的Part 3）是分類模塊，由兩個全連接層（FC）組成，這兩個全連接層的輸入和輸出通道數分別為（576，1 024）和（1 024，2）。最終通過訓練，在判別性特征的引導下得出結節的良惡性分類結果。

1.2 基于U-Net的數據預處理模塊

當結節較小或不明顯時容易被復雜周圍組織所干擾，因此提出了在使用含有周圍組織的CT 圖像訓練的同時，再訓練一個針對結節區域的特征提取網絡，以抑制復雜背景對于結節良惡性判斷的干擾。本文采用UNet 網絡對結節區域進行提取，為了減小模型的計算開銷，調整了U-Net 的通道數，令corigin和cnew分別為調整前、后卷積層輸出通道數，那么調整后網絡的卷積層輸出通道數為：

如上式所示，所有卷積核輸出通道數縮小為原卷積核輸出通道數的四分之一，詳細參數見表2。其中，c×f2表示特征的輸入、輸出尺寸，c和f2分別表示特征的通道數和特征圖尺寸。ConvBlock 為U-Net 在Encoder 過程中每個階段的卷積操作，每個ConvBlock包含兩個卷積層，卷積結構統一采用3×3的卷積核，padding和stride均設置為1。采用一個2×2 的maxpooling 作為下采樣模塊。UpConv 為Decoder 過程中每個階段的上采樣模塊，包含一個上采樣層和兩個卷積層。采樣層使用雙線性插值，卷積層的設置同ConvBlock。U-Net 的輸入為1×642的肺結節圖像，因此最后使用一個卷積層將64通道的特征圖映射為1×642的分割結果。

表2 本文所用U-Net與原U-Net網絡參數對比Table 2 Comparison between parameters of U-Net used in this paper and original U-Net

從表2 不難看出，當本文所采用的U-Net 網絡的通道數c縮小為同一階段的原始U-Net網絡的1/4時，網絡整體的參數量和計算復雜度顯著降低。此外，為了盡量減小分割結果對后續訓練精度的影響，將U-Net生成的結節掩碼進行了膨脹（Dilate），以保證分割結果包含完整的結節區域。膨脹操作使用python 的cv2 庫中的dilate函數，kernel設置為2×2。

1.3 基于改進MobileNet V3 的特征提取與融合模塊

特征工程是深度學習模型的重要內容，良好的特征表示可以使模型用更少的資源更高效地解決問題。常見的基于深度學習的特征工程方法是從原始的肺結節CT 圖像中提取所需特征，但當結節較小時其周圍組織易對模型訓練產生干擾。為提取更具判別性的特征，緩解結節較小時周圍組織所帶來的負面影響，本文還引入了另一圖像模式作為訓練集，即從含有大量組織的原始CT 圖像中提取出對應的肺結節區域。一方面，將帶周圍組織的原始肺結節圖像作為輸入，有效提取原CT 圖像的全局信息。另一方面，將提取的不帶周圍組織的肺結節區域作為輸入，有效挖掘病灶區域的判別性特征。最后通過特征融合，使得模型能夠在充分挖掘帶組織的原始肺結節圖像信息的同時，有效提取肺結節區域的顯著性特征，以彌補結節較小時，網絡過多關注其周圍組織的從而產生誤判的問題，從而實現模型分類性能的提升。

本文以輕量級網絡MobileNet V3-small 為骨干網絡，剔除了最后兩層的全連接層，構建了上下對稱的特征提取框架（如圖1 Part 2所示）。其中，上面網絡的輸入圖像模式是64×64 尺寸的原始肺結節CT 切片，下面網絡的輸入圖像模式是對應的分割后的肺結節圖像。兩種模式的輸入圖像分別經過上、下兩個網絡后輸出對應的特征圖，經平均池化操作（average pooling，Avg-Pool）后在通道維度上拼接。由于MobileNet V3網絡以RGB 圖像作為輸入，而CT 圖像為灰度圖像，因此在將CT 圖像輸入網絡之前，復制CT 圖像以生成RGB 通道圖像。

本文雖采用MobileNet V3-small 為骨干網絡做特征提取，但是對其中的結構做了一定的修改。首先，為了降低模型的參數量和計算開銷，刪除了最后四組bneck 模塊。其次，原bneck 使用通道注意力（channel attention）實現了對不同通道的增強或抑制，卻忽略了某一通道下不同特征在特定任務中的權重差異。本文引入CBAM 機制代替原通道注意力，其在通道注意力的基礎上增添了空間注意力機制，這樣在兼顧通道信息的同時，能夠在空間維度上抑制不必要特征，圖2 中的紅色矩形框部分即為CBAM結構。NL，即nonlinearity，表示非線性激活函數，具體使用哪個激活函數參見表1。此外，借鑒ShuffleNet 通道混洗（channel shuffle）思想，在bneck 和特征融合過程中引入了channel shuffle 模塊，通過對特征圖的維度進行變換，捕捉通道之間的特征關系，實現信息在不同通道之間的交互，以更好地獲得結節分類的判別性特征。

圖2 改進后的bneck結構Fig.2 Structure of improved bneck

1.4 分類模塊

分類模塊（如圖1Part 3所示）以混洗后的特征為輸入。實現對輸入樣本良惡性的判別，實質就是一個二分類問題。經過混洗后的特征輸入到由兩個全連接層（即圖1 中的兩個FC 層）組成的分類器中，最終得到良惡性分類結果。這里并未在第二個全連接層后添加sigmoid函數將結果映射到0，1之間，分類模塊的輸出對應的是良、惡性的評分。

2 數據集與實驗設置

2.1 數據集及預處理

數據集采用LIDC-IDRI[24]，該數據集由胸部醫學圖像文件（如CT、X 光片）和對應的診斷結果病變標注組成，共收錄了1 018 個研究實例，對于每個實例中的圖像，都由4位經驗豐富的胸部放射科醫師進行兩階段的診斷標注，并對大于等于3 mm 的結節標注出三維輪廓坐標，且進行影像學特征評估，其中結節的惡性程度由放射科醫生在等級1～5之間進行評判，評分越高則結節的惡性程度越高。由于患者的CT圖像是由多名醫師共同標注，所以同一個結節可能會有多個不同的惡性度評分。因此，參照文獻[17，25]，對同一結節的惡性度評分取平均，結節評分大于3 定義為惡性，小于3 為良性，等于3代表惡性程度不確定，舍棄此類樣本。最終從數據集中挑選出了1 559例結節，其中良性結節921例，惡性結節638例，具體樣本分布見表3。

表3 不同樣本的數據分布Table 3 Data distribution of different samples

本文所設計的網絡針對的是2D的CT圖像，首先根據專家標注結果提取包含肺結節區域的64×64 的圖像塊，對于每個結節，選取肺結節面積最大的切片作為代表構建數據集，并隨機選取10%作為測試，90%用于訓練和驗證。各類實驗及工程實踐證明，訓練一個高性能的神經網絡需要大量的訓練數據，因此數據增強方法被研究人員廣泛使用。本文亦對訓練數據集做了增廣，方法如下：結節在肺部以3D形態存在，本文僅提取了其中一個橫截面為代表，因此，可以將其他切片中標注好的結節提取出來加入訓練數據中，以達到數據增強的目的。需要注意的是，在處理惡性結節時，過濾了結節面積較小的切片，以免對網絡的訓練帶來干擾。數據增強后訓練集和驗證集的結節數量為7 235 個，其中80%用來訓練，20%用來驗證，增強后訓練集和驗證集總樣本數量分布見表3。模型采用五折交叉驗證進行訓練，取平均值作為最終結果。

2.2 模型評價指標

為評估模型性能，采用準確率（accuracy，ACC）、敏感性（sensitivity，SEN）、特異性（specificity，SPE）、精確率（precision，PRE）、F1 值來評估模型的分類性能，其計算公式如下所示：

其中，TP、TN、FN和FP分別表示真陽性、真陰性、假陰性和假陽性結節。同時，為了更直觀地評估模型性能，引入了受試者工作特征（receiver operating characteristic，ROC）曲線及其曲線下面積（area under the curve of ROC，AUC）。

3 實驗結果與分析

本文組織了一系列實驗來驗證所提網絡的性能。首先，探究不同輸入圖像模式對卷積神經網絡模型分類性能的影響。其次，將本文方法與其他幾種現有分類方法相對比，以直觀體現所提方法的有效性。最后，描述了實驗結果并進行了消融實驗。實驗仿真所用計算機硬件配置為Intel Core i7-9700K 處理器，NVIDIA RTX 2070S 顯卡，內存16 GB，在開源框架Pytorch 上實現網絡模型并進行訓練。

3.1 訓練參數設置

采用隨機梯度下降（stochastic gradient descent，SGD）算法作為優化器進行梯度更新，動量設置為0.9，權重衰減系數5×10-4。設置輸入數據的批量大小batch size為16，迭代次數為100，初始學習率為0.01，并采用余弦退火學習率調整每次迭代的學習率，損失函數采用交叉熵函數（cross entropy）。

3.2 不同圖像模式對模型訓練的影響

圖1可以看出本文所提方法是雙分支的網絡模型，兩條支路采用相同的卷積神經網絡結構，但其輸入圖像模式不同。Path 1的輸入是包含周圍組織信息的64×64大小的肺結節CT 切片，Path 2 的輸入是對Path 1 輸入圖像進行結節區域提取后的同尺寸的結節圖像。本文評估了這兩種圖像模式下卷積神經網絡的分類性能，見表4。可以看出輸入圖像模式的不同，使得分類模型在不同分類指標上確有差異，但總體來看，這兩種模式的性能相當。相比之下本文方法融合了Path 1、Path 2兩種模式，以多模型多角度特征融合方式充分利用兩種模式的優點，最終實現分類性能的顯著提升。

表4 不同圖像模式下模型的分類結果Table 4 Classification results of models in different image modes 單位：%

為進一步觀察不同圖像模式下誤判圖像對模型訓練的影響，利用文獻[26]提出的類激活圖（gradientweighted class activation mapping，Grad-CAM）繪制相應圖像的熱力圖來觀察給定類別條件下模型所關注的區域。圖3（a）、（c）分別展示了結節1 和結節2 的原始CT 圖像模式在Path 1 路徑下的熱度圖，圖3（b）、（d）則是對應提取出的結節圖像模式在Path 2 路徑下的熱度圖，每幅子圖中從左到右分別是輸入圖像，及其在特征提取網絡類激活熱力圖。其中，圖3（a）為結節1 在Path 1 中被錯誤判定為惡性（即假陽性FP），圖3（b）、（c）和（d）為結節被模型正確分類為惡性（即真陽性TP）。

圖3 不同路徑下真陽性和假陽性結節類激活圖Fig.3 Class activation mapping of TP and FP nodules under different paths

由圖3（a）和（b）可以看出，針對同一結節，單獨使用Path 1 或Path 2 可能會得到不同的判別結果。對于結節1，不難看出相比周圍組織，其面積較小，此時Path 1易對結節周圍組織信息產生過多關注，從而會對結節良惡性判斷產生干擾。反觀結節2可以看出，其面積相對較大，在復雜背景中較為顯著，此時Path 1 能夠有效排除周圍組織影響，準確聚焦結節區域。觀察這兩個結節在Path 2 的類激活圖發現，由于對結節區域進行了提取，此時模型能夠不受周圍組織干擾準確聚焦結節區域，從而得到有效的判別性特征以實現結節的正確分類。

針對以上結節面積較小，分類時易受周圍組織影響的問題，本文提出了一種雙路徑特征融合的肺結節良惡性分類模型，構建了Path 1 和Path 2 兩條特征提取路徑，有效挖掘帶周圍組織的CT 圖像模式和不帶周圍組織的肺結節圖像模式的信息。即，既能從原CT 圖像模式中獲取全局信息，也能夠有效解決結節面積較小時特征提取網絡難以對小結節的判別性特征進行提取的問題。最終的特征融合使得網絡能夠得到最終的判別性特征，為結節的良惡性分類提供堅實基礎。

3.3 與其他分類方法比較

為進一步驗證本文所提模型的性能，與其他模型進行了對比，各對比方法見表3。為確保實驗結果的公平性，對比方法所采用的數據集與本文所構建的數據集相同。

文獻[10]充分利用結節的形狀、體素值等信息，使用多種類型特征進行決策級融合實現了算法精度上的提升，然而該模型計算復雜度較高，參數量龐大，且無法高效利用結節的有用特征以提升模型性能。文獻[13]通過引入注意力和殘差機制能夠有效挖掘結節圖像的全局和局部信息，雖然模型參數量較小，但較多的網絡分支使得該方法計算復雜度較高，而且面臨著周圍組織信息干擾較大時無法有效提取結節特征的問題。而本文構建了雙路徑的特征提取網絡，既能充分利用原CT圖像信息，又能針對結節區域進行關鍵信息的挖掘，此外，CBAM 模塊和channel shuffle 的引入使得網絡能夠更有針對性地提取兩種輸入圖像模式的判別性特征，在一定程度上提升網絡的分類性能，從表5中不難看出相比前兩種方法本文所提方法的表現更佳。而且，本文以輕量型網絡MobileNet V3 為骨干網絡，這能夠在保證分類精度的同時盡可能地降低網絡復雜度，提高模型工作效率。

表5 不同模型分類性能比較Table 5 Comparison of classification performance of different models 單位：%

另外，還與本文所借鑒模型MobileNet V3-small、ShuffleNet V2-x0.5，以及采用傳統殘差結構的ResNet-50進行了對比。不難發現，本文方法在各項評價指標中表現更優。與ResNet-50 相比，文獻[10]使用了三個ResNet-50從三個角度提取結節特征并實現了模型性能的提升，這同樣印證了前文所說的多模型多角度特征融合方式在模型分類精度提升上的重要作用。需要注意的是，表5 中MobileNet V3-small 與表4 中的Path 1 在分類指標得分上有所差別。這是因為前者使用的是原始網絡結構，而后者則在此基礎上有所變動，因此結果會存在一定差異。雖然原始MobileNet V3能夠在各項分類指標上獲得不錯的分數，但本文方法能夠通過有效挖掘不同輸入圖像模式的判別性特征實現更好的結節分類結果。為更直觀地對比各個模型性能，繪制了各模型的ROC曲線，如圖4所示。可以看出本文所提方法的曲線明顯高于其他分類模型，且AUC值最大。綜合表5和圖4，本文所提方法無論是在分類精度，還是其他度量指標中均表現出較強競爭力，進一步證明本文所提方法的有效性。

圖4 各分類模型的ROC曲線Fig.4 ROC curve of each classification model

此外，本文從推理時所耗費的平均推理時間（即推理一張CT 圖像時所耗時間）、浮點運算數（floating point operations，FLOPs）和模型的參數量三個方面對表5 中的各模型進行了考察，結果見表6。FLOPs 即模型計算量，可以用來衡量算法或者模型的復雜度，在一定程度上可以反映模型的時間復雜度。參數量則反映出模型的空間復雜度。通過表6 可以看出本文方法在這三個指標上均表現出較強競爭力。對比Path 1 和MobileNet V3-small，可以看出最后四個bneck 模塊的刪除使得網絡的平均推理時間、FLOPs和參數量均有顯著降低，即使本文構建雙路徑的特征提取網絡，其在平均推理時間和參數量上也優于原MobileNet V3 網絡。值得注意的是，雖然FLOPs 代表模型的計算復雜度，理解上講，該指標越高模型的計算開銷越大，耗時越長，但比較本文方法與MobileNet V3 來看，雖然本文方法的FLOPs 較大，但是其平均推理時間反而更低，這一現象在文獻[10]和文獻[13]之間也能觀察到。這說明FLOPs雖然是反應模型計算復雜度的重要指標，但是不能完全衡量網絡的推理時間，網絡推理時間還受其他因素制約，例如網絡結構，這也是本文引入網絡平均推理時間這一度量指標的原因。

表6 各模型平均推理時間、FLOPs、參數量對比Table 6 Comparison of average inferencing time，FLOPs and parameters of each model

為更直觀地考察各模型訓練過程，本文展示了模型訓練過程中的損失（loss）和分類精度（accuracy）的變化情況，見圖5和圖6。為公平比較各模型的收斂情況，初始學習率均設置為0.01，batch size為16，采用余弦退火學習率調整每次迭代的學習率。可以看出，隨著迭代次數（epoch）的增加，各模型的Loss值不斷下降，證明各模型在趨于收斂。隨著模型的不斷收斂，其分類性能即準確率不斷提升，直至趨于穩定，見圖6。

圖5 各分類模型訓練過程損失曲線Fig.5 Training loss curve of each classification model

圖6 各分類模型訓練過程精度曲線Fig.6 Training accuracy curve of each classification model

對比本文方法與Xie 等提出的文獻[10]和Al-Shabi等所提文獻[13]的Loss值變化發現，本文所提方法的收斂速度最快，且通過圖6可以發現本文方法在訓練過程中其訓練精度一直處于領先。值得注意的是，雖然文獻[13]在收斂時的訓練精度低于文獻[10]所提的方法，但通過表5可以發現前者的性能反而略優，這從側面說明了融合全局-局部注意力機制的方法能夠更有效地挖掘圖像有用特征以實現模型性能的提升，且訓練過程中的精度高低不能完全反映在測試集上。觀察本文方和文獻[10]所提方法發現，這兩種方法的收斂速度均低于其所借鑒的網絡，這在文獻[10]和其所借鑒網絡ResNet-50之間更為明顯，這從側面反映出網絡參數的多少、網絡結構的設計等原因也可能會成為網絡收斂速度的影響因素。

3.4 消融實驗

本文分別對比了不加入channel shuffle 和CBAM模塊的模型A，僅加入CBAM 模塊的模型B，僅加入channel shuffle 模塊的模型C，bneck 數為11（即原MobileNet V3-small的設定值）時的模型D，本文方法在單通道輸入圖像下的模型E，以及本文方法的分類性能，實驗結果如表7所示。

表7 消融實驗結果對比Table 7 Comparison of ablation experimental results單位：%

當分別引入CBAM 或channel shuffle模塊時，綜合6個評價指標來看，模型分類性能均有所提升。如前文所述，模型B 中的CBAM 模塊相較于原MobieNet V3-small 中的注意力模塊多了空間注意力機制，這樣模型能夠在關注通道信息的同時對與分類任務相關區域進行重點挖掘。因此，相較于模型A，模型B 表現更佳。channel shuffle模塊的引入使得模型能夠將特征圖之間的信息進行融合，將每一個組卷積的特征分散到不同的組之后，再進行下一個組卷積，這樣輸出的特征就能夠包含每一個組的特征，從而增強了特征的表達能力。因此模型C 能夠在一定程度上提升模型的分類性能。模型D 與本文方法的唯一區別就是bneck 數量為11，當bneck減少時，雖然分類結果有所波動，但綜合所有指標來看，基本能夠達到令人滿意的效果。此外，當bneck為11 時模型的FLOPs 為11.98×109，參數量為3.04×106，平均推理一張圖像的時間為16 ms。因此，相比模型在時間和空間復雜度上的優化，某些分類指標略微減小是能夠接受的。最后，比較了單通道圖像和RGB 圖像對于本文方法的區別，通過實驗發現當訓練集圖像為單通道時，本文方法的性能略遜。這可能是MobileNet 系列的模型設計采用ImageNet數據集。由于該數據集所含圖像為RGB自然圖像，所以網絡的bneck模塊以及整體網絡結構在設計當初會更側重于處理RGB圖像。因此本文在將CT 圖像輸入網絡之前，復制CT 圖像以生成RGB通道圖像。

4 結束語

本文提出了一種多模式特征融合網絡肺結節良惡性分類方法。該方法通過構建一種雙路徑特征融合網絡，在充分挖掘結節CT圖像全局信息的同時，有效提取結節區域的特征。相比僅利用原始CT圖像進行模型訓練的方法，雙路徑特征提取網絡能夠充分挖掘不同圖像模式的判別性信息，有效解決結節面積較小時其周圍組織信息對判別結果產生干擾的問題。此外，為了進一步提升模型對有用特征的提取，采用CBAM 注意力模塊替代原通道注意力模塊，在保留模型對通道信息關注的基礎上引入空間注意力對分類任務相關區域進行重點挖掘，并引入channel shuffle 技術實現特征圖之間的通道信息融合以提升特征表達能力。最后，探討了降低模型復雜度對模型分類性能的影響，為模型的實際部署提供支撐。實驗結果表明，在LIDC-IDRI 數據集上，本文方法在較小時間復雜度和空間復雜度的情況下，在幾乎所有評估指標上均表現出較強競爭力。在未來的工作中，將探索結節的三維特征在結節良惡性分類中的作用，并進一步探索肺結節類型的多分類問題，從而為醫師提供更可靠的決策支持。