基于深度學習的息肉分割網絡GLIA-Net

任莉莉，邊璇，王光磊，王洪瑞

（1.河北大學附屬醫院 腫瘤內科，河北 保定 071002；2.河北大學 電子信息工程學院，河北 保定 071002）

0 概述

結直腸癌是威脅人類健康的主要疾病之一［1］。患者應定期接受臨床醫生的結腸鏡檢查，及時發現息肉，從而降低結直腸息肉的癌變發生概率［2］。在結腸鏡檢查中，由于息肉的位置、形狀、尺寸不同以及息肉與其周圍黏膜之間的邊界較模糊，因此對息肉的準確分割面臨巨大的挑戰。

近年來，卷積神經網絡在計算機視覺領域中占據了重要的地位［3-4］。隨著對內窺鏡圖像研究的不斷深入，研究人員將深度卷積神經網絡作為息肉分割網絡模型，并提出改進的息肉分割網絡模型。SAFAROV 等提出A-DenseUNet［5］，以U-Net［6］為基礎架構，結合多尺度編碼信息與不同空洞率卷積、注意力機制對息肉進行分割。WEI 等提出針對息肉分割的淺層注意力網絡［7］，以提高息肉的分割準確性。劉佳偉等提出一種改進的雙U 型網絡［8］，以DoubleU-Net［9］為基礎架構，引入注意力機制來提高息肉的分割精度。王亞剛等針對腸道息肉分割提出一種改進DeepLabv3+網絡［10］，通過優化數據處理階段和網絡結構來提高腸道息肉的檢測率。然而，在內窺鏡檢查過程中，需要較優的方法來分割和檢測息肉區域［11］。為提高息肉分割性能，以上這些方法多側重于構建更復雜的結構，引入大量參數，導致計算量大幅提升，從而影響網絡的計算效率。

本文提出全局與局部交互式注意力網絡GLIA-Net。將U-Net 作為網絡架構，在其雙層卷積后加入交互式注意力融合模塊，并引入注意力機制，以兼顧局部與全局信息，使網絡具有空間與通道、局部與全局語義信息的處理能力。結合高效通道注意力（Efficient Channel Attention，ECA）［12］和外部注意力（External Attention，EA）［13］的優點，在保證計算效率的同時提高分割精度。

1 本文算法

本文算法流程如圖1所示，將Kvasir數據集（https：//datasets.simula.no/kvasir/）分為訓練和測試兩部分，在訓練階段將數據集劃分為訓練集與驗證集。在訓練集中對原始圖像進行中心裁剪、歸一化等預處理，并將預處理后的圖像輸入到網絡中。其中GLIA-Net 中深色模塊為雙層卷積，淺色模塊為GLIA模塊，經過GLIA-Net處理后得到的輸出結果與標簽進行交叉熵損失計算，計算結果用于網絡的反向傳播，實現對網絡的訓練。利用驗證集篩選出最優網絡模型并將模型保存用于測試。在測試集中的數據經過歸一化預處理后加載到最優網絡模型中，用于損失值、平均交并比和準確率等指標的計算。

圖1 本文算法流程Fig.1 Procedure of the proposed algorithm

1.1 GLIA-Net 網絡

GLIA-Net 網絡結構如圖2 所示，包括編碼和解碼部分。其中深色模塊為雙層卷積，淺色模塊為GLIA 模塊，GLIA 模塊位于雙層卷積之后，并在此結構上添加了殘差連接［14］，殘差連接將經過GLIA模塊處理后的特征圖與進入雙層卷積之前的特征圖進行融合。GLIA 模塊結構如圖2 中虛線框所示，主要由高效通道注意力模塊和外部注意力模塊組成。高效通道注意力模塊側重局部注意力且處理通道方向上特征圖的關系，外部注意力模塊側重全局注意力且處理每一個像素點之間關系。該結構融合了高效通道注意力與外部注意力的優勢，在實現局部與全局、通道與空間特征圖處理的同時減少因引入注意力機制帶來的計算量與參數量，在增強網絡特征表達能力的基礎上保證了模型的計算效率。

圖2 GLIA-Net 網絡結構Fig.2 Structure of GLIA-Net network

1.1.1 高效通道注意力模塊

高效通道注意力模塊是基于SENet［15］的變體結構，ECA 模塊的結構如圖3 所示。相比其他基于SENet 的變體，ECA 模塊的結構更簡潔，將全連接替換為一維卷積的操作，減少了注意力計算的參數量，高效快速地提取注意力向量。一維卷積的局部連接形式也為之后的全局注意力計算提供了充分的局部特征信息，有效提升模型的特征表達能力。

圖3 高效通道注意力模塊結構Fig.3 Structure of efficient channel attention module

輸入的特征圖經過ECA 的全局平均池化后，得到特征圖維度RC×1×1，并將其壓縮重塑為維度RC×1，通過卷積核大小為3 的一維卷積，經過Sigmoid 函數激活，獲得每個通道的的權重，再將此時的特征圖維度RC×1重塑成維度RC×1×1的注意力向量，將重塑后得到的注意力向量與原特征圖相乘得到注意力特征圖。

1.1.2 外部注意力模塊

外部注意力模塊結構如圖4 所示，是自注意力機制的變體。該結構解決了自注意力機制［16］存在的2 個問題：1）計算量太大，并且計算復雜度與像素的平方相關聯；2）在單個樣本內捕獲長距離依賴關系，缺乏對不同樣本之間潛在關聯的考慮。EA 通過2 個可學習的外部單元將模型的計算復雜度與像素數量由平方關系降低為線性關系，同時2 個外部記憶單元對整個數據集共享，使得模型在進行注意力計算的過程中隱式地考慮了不同樣本之間的關聯關系，實現了不同樣本之間數據的交流。

圖4 外部注意力模塊結構Fig.4 Structure of external attention module

在EA 模塊中，輸入的特征圖通過一次卷積進行特征提取后維度為RC×H×W，將其重塑為RC×N（N=H×W）輸入到第1 個線性層（外部注意力機制Mk）進行一維卷積操作，再進行Softmax 激活處理，經歸一化處理后進入第2 個線性層（外部注意力機制Mv）進行一維卷積操作，將卷積后的特征圖維度RC×N（N=H×W）重塑回RC×H×W，此時將得到的特征圖卷積與輸入特征圖進行特征融合，得到特征圖A∈RC×H×W，最后將其進行RELU［17］激活操作得到輸出結果，如式（1）和式（2）所示：

其中：M為整個訓練數據集的內部儲存單元。在模塊構建過程中，2 個儲存單元Mk和Mv分別替換自注意力機制運算過程中的鍵和值。輸入特征圖F與Mk的轉置進行矩陣相乘后經過歸一化得到A，特征圖A為經過計算得到注意力特征圖，最后，通過A與Mv的矩陣相乘，得到經過注意力機制處理后的輸出特征圖Fout。這種注意力機制使得網絡在學習過程中更加關注對分割有利的特征。

1.2 特征圖提取

為驗證GLIA 模塊的有效性，本文將實驗數據分別輸入到U-Net 和GLIA-Net 中進行處理。U-Net 和GLIA-Net 特征提取流程如圖5 所示（彩色效果見《計算機工程》官網HTML 版）。采用CAM［18］對U-Net和GLIA-Net 中最后一個卷積層的輸出特征圖進行處理，得到兩組熱力圖。熱力圖中紅色區域為圖像中的正常組織區域，藍色區域為息肉區域，黃色箭頭指向位置為息肉邊緣與周圍其他組織的臨界區域，藍色箭頭指向位置為息肉內部區域。從圖5 可以看出，相比U-Net，GLIA-Net 處理的特征圖經過CAM 合成熱力圖中的冷色區域輪廓與原圖上息肉輪廓具有一致性，黃色箭頭指向的冷色區域輪廓邊界更加清晰準確，說明息肉與周圍臨界組織區分度大，類間的不一致性得到增強。與此同時，相比原圖上息肉輪廓內部區域，U-Net 網絡對應的熱力圖中藍色箭頭指向的區域存在明顯缺失，像素值強度較低，不能有效識別息肉部分。而GLIA-Net 網絡對應的熱力圖中藍色箭頭指向的息肉內部像素值強度高，在息肉內部區域具有較高的識別度，說明息肉內部組織區域的區分度低，類內的一致性得到增強。類間不一致性和類內一致性的增強使得網絡輸出結果中誤分割的像素點減少，以提升網絡的分割準確率。

圖5 U-Net 和GLIA-Net 特征提取流程Fig.5 Feature extraction procedure of U-Net and GLIA-Net

從圖5 可以看出，本文提出的GLIA 模塊與殘差網絡的結合可以使類間不一致性和類內一致性得到有效增強，從而在息肉分割任務中將息肉與其他組織進行明顯區分，在保持息肉邊緣分割完整的同時減少息肉內部的誤分割，進而提升網絡的分割性能。

2 實驗與結果分析

2.1 數據預處理與實驗細節

本文實驗數據集采用包含胃腸道圖像的數據集Kvasir，其中訓練集600 張，驗證集200 張，測試集200 張。為節約計算成本，本文實驗對輸入圖像進行中心裁剪，圖像尺寸為512×512 像素。本文實驗框架為Pytroch，設置的最大訓練輪數為50，采取提前停止訓練的策略防止過擬合現象的發生，采用Adam優化方法，初始學習率為0.000 1，并且每隔5 輪訓練將學習率降低1/2。實驗均在Quadro RTX 8000 平臺上進行訓練測試。

2.2 評估指標

本文引入RRVD、DDice、IIoU、VVOE、SSP、SSE、PPC、ACC評價指標來評估網絡的各項性能。DDice和IIoU用于衡量相似度，DDice∈（0，1），IIoU∈（0，1），DDice和IIoU值越接近1，網絡分割性能越好。VVOE與RRVD用于衡量錯誤率，RRVD越接近0 代表分割性能越好。SSP表示特異性，用于衡量網絡對非感興趣區域的正確判斷能力，SSE表示敏感度，用于衡量網絡對于感興趣區域的分割性能，PPC表示準確率。評價指標如式（3）～式（9）所示：

其中：A和B分別表示預測標簽圖和真實標簽圖中像素值為1 的像素個 數；TTP、TTN、FFP與FFN分別表示真陽性、真陰性、假陽性與假陰性。

2.3 消融實驗

在實驗環境相同的情況下，本文對基準網絡U-Net、增加EA 的UNet-EA 和引入GLIA 模塊的GLIA-Net進行消融實驗。本文消融實驗結果如表1 所示。從表1 可以看出，UNet-EA 網絡與基準網絡U-Net 相比IoU 和Dice 平均提升5.6%和4.1%，GLIA-Net 相比于基準網絡U-Net 的IoU 和Dice 平均提升了6.7%和5.1%，由此證明了GLIA 模塊的有效性。GLIA-Net的IoU 和Dice 分別為69.4%和80.7%，相比基準網絡分別提升6.7%和5.1%，說明GLIA-Net 可以有效提升息肉分割的精度。

表1 消融實驗結果Table 1 Ablation experiment results %

2.4 實驗對比

為驗證本文所提網絡的有效性，本文將GLIA-Net與ExfuseNet［19］、SegNet［20］、ResUNet［21］等網絡進行對比。不同網絡的評價指標對比如表2 所示，本文提出的GLIA-Net 具有較優的性能指標。

表2 不同網絡的評價指標對比Table 2 Evaluation indexs comparison among different networks %

圖6 所示為不同網絡的精確度和收斂速度曲線對比，橫軸為網絡訓練的輪次，縱軸為訓練精度。從圖6 可以看出，GLIA-Net 的精確度最優，且相比其他網絡能夠更快趨于水平。因此，GLIA-Net 在息肉分割精確度和收斂速度均優于其他網絡。另外，U-Net被認為是醫學圖像分割中經典的網絡，在本次實驗中其參數量為17.27×106，而GLIA-Net 的參數量為26.03×106，DeepLabv3+的參數量為 54.94×106，ExfuseNet 的參數量為86.07×106，SegNet 的參數量為29.44×106，R2U-Net 的參數量為39.09×106。本文提出的網絡在盡量減少參數的情況下提高了網絡計算效率且取得了更加顯著的分割效果，充分證明了GLIA-Net 在息肉分割任務中的優越性。

圖6 不同網絡的精確度對比Fig.6 Precision comparison among different networks

本文在U-Net 網絡框架中的雙層卷積后添加GLIA 模塊，在GLIA 模塊中，高效通道注意力模塊是通道方向上特征圖關系進行建模，側重局部注意力，對通道維度上像素之間的關系進行處理。外部注意力模塊是對每一個像素點之間的關系進行建模，側重全局注意力，并處理空間維度上像素之間的關系。在兩者結合的基礎上，通過添加卷積操作和殘差連接，以實現局部與全局，通道與空間的特征圖處理。

圖7 所示為GLIA-Net、UNet++、UNet3+、Deep Labv3+網絡的分割結果對比（彩色效果見《計算機工程》官網HTML 版）。圖7 中紅色區域是網絡誤分割的像素點。從圖7 可以看出，在GLIA-Net 對息肉區域進行分割時，無論是息肉邊緣還是內部區域，誤分割像素點明顯少于其他3 組網絡分割結果，且息肉邊緣區域的分割結果相似度更高，息肉內部分割區域更加清晰準確，沒有出現缺失現象。對息肉和腫瘤的自動分割在臨床診斷中起著重要的作用，GLIA-Net 對Kvasir 數據集上息肉的自動準確分割避免了手動分割的主觀性和差異性，為放射科醫生節省大量的時間，給醫生對疾病的診斷和治療提供幫助。

圖7 不同網絡的分割結果Fig.7 Segmentation results of different networks

3 結束語

本文提出一種用于分割胃腸息肉的網絡GLIA-Net，在U-Net 編碼和解碼部分的雙層卷積后加入GLIA模塊，以捕捉圖像中息肉的各種特征信息［26］。通過GLIA 模塊提取額外的局部與全局相結合的語義信息，增強網絡的特征提取能力，同時在GLIA 模塊后加入殘差連接，提升網絡的魯棒性。在Kvasir 數據集上的實驗結果表明，GLIA-Net 在胃腸道息肉分割任務中的交并比和Dice 分別為69.4%和80.7%，相比UNet++、UNet3+、ResUNet 等網絡，具有較優的分割性 能。下一步將結合Transformer［27］與U-Net，設計輕量級的息肉分割網絡，以提高分割準確率和分割效率，有效輔助醫生對胃腸道疾病進行診斷和治療。