基于階梯結構的U-Net結腸息肉分割算法

時永剛 李 祎 周治國 張 岳 夏卓巖

(北京理工大學信息與電子學院 北京 100081)

1 引言

結直腸癌是臨床上最常見和致命的癌癥之一，通常由結腸息肉引起。息肉最初是良性的，但如果不及時治療，隨著時間的推移，它們可能會變成惡性[1]。在所有結直腸癌患者中，早期患者的比例非常低，很多患者在確診時就已經發生了肝臟轉移。因此，早期篩查結直腸癌對于提高生存率非常重要。盡管結腸鏡檢查被認為是最有效的篩查和診斷方法[2]，但很大程度上依賴醫生的經驗，息肉的漏診率很高[3]。結腸息肉的自動分割在結直腸癌的預防和治療中起著至關重要的作用。然而，這是一項非常具有挑戰性的任務。息肉通常表現出不同的形狀、質地和大小。在結腸鏡檢查中，早期息肉與周圍黏膜的對比度較低，息肉的邊界幾乎無法區分。同時由過度曝光區域引起的偽影也可能會影響息肉分割。

人們在結腸息肉分割方面做了很多研究。早期的大部分研究都是基于手工制作的方法，使用顏色、形狀和紋理等低級特征，或通過組合這些特征來分析圖像。這些方法通常會訓練一個分類器來區分息肉和正常粘液。然而，傳統方法分割精度不高。近年來，使用深度學習的圖像分割和檢測變得流行。Tashk 等人[4]和Wang等人[5]分別使用UNet和SegNet來實現像素級息肉分割。Sornapudi等人[6]使用目標檢測神經網絡掩碼區域卷積神經網絡(Mask Region Convolutional Neural Network，Mask R-CNN)進行息肉分割。Fan等人[7]提出了一種并行反向注意網絡(Parallel reverse attention Network， PraNet)用于結腸鏡圖像中的息肉分割。Feng等人[8]提出一種階梯型網絡，快速分割息肉圖像。Ji等人[9]提出一種新穎的漸進歸一化自注意力網絡分割息肉圖像。Lin等人[10]和Zhang等人[11]結合了深度自注意變換網絡(transformers)和卷積神經網絡(Convolutional Neural Network， CNN)對息肉圖像進行分割。這些方法對于大部分的息肉可以獲得很高的分割準確度，但仍然存在問題，例如過度曝光區域分割精度低、分割邊界外部有偽影、分割圖像內部不連續等。

本文提出的階梯結構的U-Net網絡能夠分割不同場景下的結腸息肉，而不受方向、形狀、紋理和大小的影響。階梯結構的U-Net網絡( Stair-structured U-Net， SU-Net)使用了U-Net的U型結構，利用Kronecker乘積來擴展標準空洞卷積核，構成Kronecker 空洞卷積下采樣模塊進行下采樣以擴大感受野，彌補傳統空洞卷積丟失的細節特征。應用具有階梯結構的融合模塊，遵循擴展和堆疊原則有效地編碼多尺度特征。解碼器引入卷積重構上采樣模塊生成像素級預測，捕獲雙線性插值上采樣中缺少的精細信息。在Kvasir-SEG數據集[12]和CVCEndoSceneStill數據集[13]上進行實驗，實驗結果表明本文所提方法優于其他息肉分割方法，改善了過度曝光和低對比度導致的分割精度低的問題，且邊界外部不存在圖像偽影、不存在圖像內部不連貫的現象。

2 階梯結構的U-Net分割算法

近年來，卷積神經網絡由于其強大的特征提取能力，在計算機視覺領域取得了最好的性能。在醫學圖像分割領域，U-Net占據了主導地位。空洞卷積可以在不增加參數量和模型復雜度的條件下，指數倍地擴大視覺感受野的大小。本文使用U-Net的U型結構，編碼器部分采用Kronecker空洞卷積下采樣模塊，利用階梯結構的融合模塊進一步提取特征，引入卷積重構上采樣模塊生成像素級預測，最終實現對結腸息肉圖像的高效分割。模型的具體結構將在下面進行詳細描述。

2.1 SU-Net網絡結構

SU-Net的整體框架如圖1所示。網絡使用與UNet[14]類似的結構，左側是編碼器，右側是解碼器。使用編碼器提取輸入圖像的語義信息，使用卷積重構上采樣模塊作為解碼器恢復特征圖的分辨率，并且使用跳層連接將編碼器和解碼器同一層次的特征圖拼接在一起，融合了網絡的淺層信息，同時加速了網絡收斂。本文使用Kronecker空洞卷積下采樣模塊擴大感受野以提取詳細的上下文信息而不額外增加參數量。同時在編碼器和解碼器之間加入階梯結構的融合模塊，捕獲上下文信息并從多個尺度聚合特征。

圖1 SU-Net整體框架

2.2 Kronecker空洞卷積下采樣模塊

最近，在全卷積神經網絡(Fully Convolutional neural Networks， FCN)[15]的某些層中常常使用空洞卷積代替標準卷積，從而擴大感受野。但在空洞卷積中，相鄰像素來自獨立的子集，彼此之間缺乏依賴性。本文使用 Kronecker 乘積來擴展標準空洞卷積核，可在不引入額外參數的情況下擴大濾波器的感受野，并捕獲被標準空洞卷積忽略的結構信息[16]。

假設A為m×n大小的矩陣，B為r×s大小的矩陣，則A ?B所表示的Kronecker乘積為大小mr×ns的矩陣，公式為

圖2(a)從左到右所代表的卷積核依次為標準的3×3卷積核、擴張系數r=4的空洞卷積核和擴張因子r1=4，有效因子r2=3的Kronecker空洞卷積核。其中黑框表示一個卷積核，黑框中的單元格表示特征向量，紅色和綠色單元格代表計算中涉及的特征向量。與簡單插入零來擴展卷積核的空洞卷積相比，Kronecker空洞卷積通過Kronecker乘積來擴展卷積核，加強了相鄰像素之間的依賴性，在一定程度上避免了棋盤效應。擴張因子r1控制卷積核的擴張率。當r1變大時，卷積核變大，感受野相應擴大。有效因子r2控制有效區域的大小，使每個Kronecker空洞卷積都具有聚合r2×r2子區域中的特征的能力，捕獲被空洞卷積忽略的局部上下文信息和相鄰像素之間的關系。由于T僅包含1和0的值，因此在Kronecker空洞卷積中沒有引入更多參數。

在本文中，利用Kronecker空洞卷積構成類似于Xception[17]輸入流的Kronecker空洞卷積下采樣(Kronecker Atrous Convolution Downsampling，KACD)模塊對圖像進行特征提取，進一步擴大感受野，如圖2(b)所示。第1個Kronecker空洞卷積步長為1，利用第2個Kronecker空洞卷積對圖像進行下采樣，而不是使用Xception中的最大池化層。經過Kronecker空洞卷積提取到的圖像特征與經過步長為2的1×1卷積提取到的圖像特征進行殘差連接[18]，加快網絡收斂速度。

圖2 不同類型卷積核和KACD模塊

2.3 階梯結構的融合模塊

階梯結構的融合模塊(Stair-structured Fusion Module， SFM)可以在復雜場景中捕獲多尺度上下文信息，如圖3所示。模塊的輸入是編碼器提取的高級特征，遵循擴展和堆疊原則以有效編碼多尺度特征[16]。圖3(b)為2層階梯示意圖，輸入特征被復制到兩個分支，一個分支保留當前尺度的特征信息，另一個分支遵循擴展原則探索更大范圍內的空間依賴性。擴展分支中的一支經3×3卷積提取特征，其余分支采用相同大小組合(r1，r2)的Kronecker空洞卷積，每個Kronecker空洞卷積和3 × 3 卷積后面都緊跟一個批量歸一化層和線性整流函數(Rectified Linear Unit， ReLU)層，最后將所有分支的信息堆疊合并后經空間注意力模塊(Spatial Attention Module， SAM)過濾無用信息，整個模塊遵循殘差結構[18]。以2層階梯為例，擴展和堆疊原則可以表述為

其中，In-1(x)是SFM的輸入特征，In(x)是SFM的輸出特征，fn(x)表示擴展分支對輸入特征處理后進行融合的函數，SAM(x)表示空間注意力模塊的處理函數。

圖3(a)為n層階梯操作示意圖。本文采用具有4個擴展分支，一個復制分支的SFM模塊。為了在計算復雜度和模型能力之間進行權衡，假設輸入特征圖具有C個通道，每個分支的輸出通道減少為C/4。

圖3 階梯結構的融合模塊

遵循上述擴展和堆疊規則，SFM形成了階梯狀的分層結構，可以有效地捕獲上下文信息并從多個尺度聚合特征。此外，從前面步驟中學到的特征可以在后續步驟中重新探索，這優于現有的具有多個獨立分支的并行結構。整個模塊遵循線性殘差連接，提高分割準確性和加快收斂速度。

2.4 卷積重構上采樣模塊

傳統的上采樣操作一般采用雙線性插值法和反卷積，然而雙線性插值法不具有可學習性，反卷積網絡在卷積前需要添加額外的零，并且很容易產生“不均勻重疊”現象。為此，本文引入卷積重構上采樣(Convolutional Reshaped Upsampling， CRU)模塊，在經過卷積處理后的輸入特征圖上應用周期篩選(periodic shuffling)操作[19]進行維度的重構，以獲得密集的像素級預測圖。

低分辨率的特征圖作為CRU模塊的輸入，像素級語義分割的目標是生成大小為H×W的標簽圖，其中每個像素都標有類別標簽。假設輸入特征圖的維數為B×C×H′×W′，其中H′=H/s，W′=W/s，s是下采樣因子。則通過1×1卷積層后，輸出特征圖變為B×(C×s2)H′×W′。然后使用周期篩選操作將輸出特征圖重構為B×C×H×W，通過3×3卷積層再進行后續的操作。圖4(a)以一張圖片為例，描繪了C=1，s=1時的CRU網絡架構，圖4(b)描繪了通用情況下的CRU網絡架構。

圖4 卷積重構上采樣模塊

3 實驗結果與分析

3.1 數據集及預處理

為了評估模型的性能，使用Kvasir-SEG和CVC-EndoSceneStill數據集來驗證算法的有效性。CVC-EndoSceneStill數據集包含了CVC-ColonDB和CVC-ClinicDB兩部分。其中CVC-ColonDB包含300張574像素×500像素的結腸鏡圖像。CVC-ClinicDB包含612張384像素×288像素的結腸鏡圖像。為了方便處理，將CVC-EndoSceneStill數據集的圖像統一為384像素×288像素的分辨率。Kvasir-SEG數據集包含了1000張結腸鏡圖像和標準分割結果，此數據集圖片之間的分辨率存在很大差異，為了便于模型訓練，將Kvasir-SEG數據集的圖像統一為320像素×320像素的分辨率。兩個數據集都分別按照6:2:2的比例分割為訓練集、驗證集和測試集3個部分。為了使得模型學習到更細膩的特征表現，本文對兩個數據集中的圖片及與之對應的標簽執行相同的數據增強操作，包括隨機水平翻轉、隨機垂直翻轉、隨機旋轉、隨機縮放和隨機裁剪。

3.2 訓練設置和評估指標

實驗部分，所有模型的設置都保持相同。所有已知模型都是基于PyTorch 1.6 框架，并在Intel Xeon E5-2680 v4 處理器和NVIDIA GeForce RTX 2080 Ti(11 GB 內存)的設備上訓練了150個epoch。使用Dice-loss與二分類交叉熵損失函數的加權和作為損失函數，當驗證集的損失經過5個epoch仍然不下降時，觸發早停法。網絡訓練過程中采用小批次訓練迭代，batch size設置為8。使用自適應矩估計(Adaptive moment estimation， Adam)優化算法[20]優化模型參數，初始學習率為1e-3，權重衰減為1e-4。

實驗中使用了多個醫學圖像分割領域常用的評價指標，下面給出這些指標的具體定義。

召回率(Recall)表示在所有正類別樣本中，被正確識別為正類別的比例，如式(4)所示

交并比(Intercection of Union， IoU)旨在根據模型輸出的分割結果和標準分割圖像的重疊區域來衡量分割的精度，式(8)表示前景的IoU，式(9)表示背景的IoU，式(10)表示前景和背景的平均IoU

3.3 分割結果與分析

為評價Kronecker空洞卷積和階梯結構融合模塊對實驗結果的影響，設計從原始baseline逐漸過渡到SU-Net的消融實驗，以隔離模型中每個單獨組件的影響，如表1所示。

根據表1的消融實驗設置，分別構建出相對應的網絡模型，采用相同的模型參數對模型進行訓練，得到各消融實驗在EndoSceneStill數據集和Kvasir-SEG數據集上的結果如表2、表3所示。

表1 SU-Net消融實驗列表

分析表2、表3的消融實驗結果可知，實驗2在原始baseline的基礎上將空洞卷積替換為Kronecker空洞卷積，Dice指標在EndoSceneStill數據集和Kvasir-SEG數據集上分別上升了0.95%， 0.47%。實驗3在實驗2的基礎上用Kronecker空洞卷積下采樣模塊進行下采樣，使得Dice指標分別上升了0.94%，0.47%。實驗4在實驗3的基礎上加入階梯結構的融合模塊，Dice指標分別上升了0.86%， 0.35%。實驗5在實驗4的基礎上加入卷積重構上采樣模塊，Dice指標進一步上升了0.56%和0.62%。

表2 在EndoSceneStill數據集上各實驗的量化結果

表3 在Kvasir-SEG數據集上各實驗的量化結果

為證明所提模型的有效性，與幾個具有代表性的模型進行了比較：U-Net[14]， Attention unet[21]，TKCN[16]， Xception[17]， DeepLabV3+[22]和PraNet[7]，得到不同模型預測輸出結果的各種量化指標。在Kvasir-SEG數據集中的評估結果如表4所示，在EndoSceneStill數據集中的評估結果如表5所示。

由表4、表5可以看出，本文所提SU-Net在所有的評估標準上都要優于其他方法，在Dice指標和IoU指標上均達到了最高。表4顯示，在Endo-SceneStill數據集中，SU-Net在Dice指標和IoU指標上分別為82.30%和85.64%，比U-Net網絡的結果分別提高了11.17%和6.5%。與PraNet相比，這兩個指標分別提高了2.14%和0.84%。表5顯示，在Kvasir-SEG數據集中，SU-Net在Dice指標和IoU指標上達到了87.51%和88.75%，比U-Net網絡的結果分別提高了7.34%和6.60%。

表4 不同模型在EndoSceneStill數據集中的量化評估結果

表5 不同模型在Kvasir-SEG數據集中的量化評估結果

圖5、圖6分別顯示了所提SU-Net與其他分割模型在EndoSceneStill數據集和Kvasir-SEG數據集上的分割結果對比。其中圖5(a)和圖6(a)是原始輸入圖像，圖5(b)和圖6(b)是對應的真實標簽圖，圖5(c)—圖5(i)、圖6(c)—圖6(i)依次是U-Net， Attention unet， TKCN， Xception， DeepLabV3+，PraNet和SU-Net的分割結果。

由圖5和圖6可以看出，KACD模塊能有效擴大感受野，學習到更高級的語義信息，同時還彌補了傳統空洞卷積丟失的細節特征，SU-Net與其他模型相比，分割能力更強，分割結果更精確，對于息肉與周圍黏膜對比度非常低的圖像，依然能準確分割出息肉的邊界，如圖5第3行和圖6第4行所示。對于過度曝光區域，SU-Net能夠通過SFM過濾特征信息，有效捕獲上下文信息并從多個尺度聚合，因此很好地應對過度曝光的情況，在過度曝光區域沒有產生假陽性區域，如圖5第4行和圖6第5行所示。同時CRU模塊具有可學習性，允許直接在輸入特征圖和輸出特征圖之間應用卷積操作，能夠捕獲和恢復雙線性插值操作中缺少的精細信息，因此，SU-Net具有更加清晰的邊界表現和更好的圖像連貫性。圖5和圖6顯示了SU-Net強大的分割效果，在邊界處與標準分割結果更為接近，且在邊界外部不存在圖像偽影，不存在圖像內部不連貫的現象，SU-Net模型可以聚合不同尺度的信息，抑制無關信息、突出重要信息以取得更接近標準分割結果的預測輸出。

圖5 SU-Net與其他分割模型在EndoSceneStill數據集上的分割結果

圖6 SU-Net與其他分割模型在Kvasir-SEG數據集上的分割結果

4 結束語

本文提出一種基于階梯結構的U-Net分割網絡，用于結腸鏡圖像的息肉自動分割，減小了方向、形狀、紋理和大小對結果的影響。SU-Net使用U-Net網絡U型結構，編碼器采用Kronecker空洞卷積下采樣模塊，利用Kronecker空洞卷積捕獲更多結構細節信息并增加濾波器的感受野，而無須額外增加參數。模型結合階梯結構的融合模塊，遵循擴展和堆疊原則能有效捕獲上下文信息并從多個尺度聚合特征。引入卷積重構上采樣模塊捕獲雙線性插值上采樣中缺少的精細信息，生成密集的像素級預測圖。在Kvasir-SEG和EndoSceneStill數據集上對提出的SU-Net進行了評估，并且與其他已有的代表性方法進行分析比較。實驗結果表明，SUNet的準確率優于其他方法，對過度曝光圖像也有很好的處理效果，對息肉與周圍黏膜對比度非常低的圖像，也能準確分割出息肉的邊界，且在邊界外部不存在圖像偽影，具有很好的圖像連貫性。