基于卷積注意力和空洞空間注意力的U型醫學圖像分割模型

摘要：為了解決醫學圖像分割中特征信息不足和目標定位不準確的問題，該文基于SegNeXt和DSNet提出了一種基于卷積注意力和空洞空間注意力的U型醫學圖像分割模型（SegxUnet） 。文章首先輸入圖像通過雙尺度卷積注意力模塊構建的編碼器（Encoder） ，提取更豐富的多尺度的醫學圖像特征。經過編碼器的特征圖，在瓶頸部分構建的串-并行空洞空間注意力模塊中進一步補充全局上下文信息，接著在解碼器（Decoder） 中層層上采樣（Upsample） 與編碼器中提取的多尺度醫學圖像特征融合，最后輸出圖像分割結果。實驗結果顯示，SegxUnet模型在2020年腦腫瘤檢測數據集（Br35H） 上的Miou和Dice分別達到了87.53%和87.25%，，優于FCN、Deeplabv3、PSPNet等經典圖像分割算法。具體來說，其Miou相比于FCN、Deeplabv3、PSPNet分別提高了1.46%、0.95%和0.39%。

關鍵詞：醫學圖像分割；編碼器（Encoder） ; 解碼器（Decoder） ;卷積注意力；空洞空間注意力

中圖分類號：TP391" " " " 文獻標識碼：A

文章編號：1009-3044（2025）07-0017-04

開放科學（資源服務） 標識碼（OSID）

醫學影像是現代臨床診斷的重要輔助手段，能夠直觀地反映人體組織結構和病變信息，對臨床診斷起著重要輔助作用[1]。然而，隨著醫學影像數據的爆炸式增長，醫生的閱片負擔日益加重，迫切需要發展自動化、智能化的醫學圖像分析技術[2]。近年來，深度學習技術在醫學圖像處理領域取得了顯著進展，為實現醫學圖像的自動分析和輔助診斷提供了新的思路[3]。

全卷積網絡（Full Convolution Network，FCN） [4]能夠處理分割任意大小圖像，但其分割結果較粗糙，缺乏精細度信息。Ronnebergerd等人[5]引入了Unet編碼-解碼架構，通過跨層級連接捕獲更多上下文信息，提高FCN分割效果。CHEN[6-8]提出Deeplab系列圖像分割模型，在DeepLab v3[8]中引入空洞卷積，提高了網絡捕捉上下文信息的能力。卷積神經網絡的空間不變性、局部性和平移等效性歸納偏置保證了其在少樣本情況下發揮較大潛能[9]，但局部性導致其全局信息提取能力相對較弱，限制了其在該領域發展[10-12]。Guo等人[13]重新思考了卷積注意力的設計，并提出了一種高效的語義分割模型SegNeXt，但是其在醫學圖像上的分割效果不佳。主要是由于其多尺度卷積注意（MSCA） 模塊的多分支結構和條帶卷積不適用于醫學圖像目標的類別和區域數量相對較少的情況。另外Guo等人[14]重新審視了現代卷積神經網絡（CNNs） 中空洞卷積的設計，提出的DSNet在ADE20K等自然圖像上效果顯著。但DSNet中為了進一步提取全局上下文信息的串行-并行空洞空間金字塔池化模塊（SPASPP） 并不適用于醫學圖像。因為醫學圖像的內容、結構和顏色相對自然圖像較為簡單，不需要太過復雜的網絡結構。

因此針對醫學圖像分割問題，本文基于SegNeXt和DSNet提出一種新的U型醫學圖像分割模型SegxUnet：基于卷積注意力和空洞空間注意力的U型醫學圖像分割模型。

1） 基于SegNeXt中的多尺度卷積注意（MSCA） 模塊，重新設計了雙尺度卷積注意力模塊（Dual-scale convolutional attention block，DSCA- block）。雙尺度卷積注意力模塊在下采樣過程中利用卷積神經網絡提取、融合卷積注意力模塊的多尺度特征信息，進一步豐富特征層語義特征信息，提高醫學圖像分割精度。

2） 基于DSNet中的串行-并行空洞空間金字塔池化模塊（SPASPP） ，重新設計了串-并行空洞空間注意力模塊（Serial-Parallel Atrous Spatial Pyramid Attention，SPASPA） 。串-并行空洞空間注意力模塊利用堆疊的空洞卷積進一步豐富輸入特征圖的全局上下文信息，進一步提升醫學圖像分割效果。

1 SegxUnet模型

SegxUnet模型基于經典的U型框架，使用編碼器（Encoder） 、解碼器（Decoder） 、瓶頸（Bottle Neck） 和跳躍連接（skip connection） 4個部分來實現分割任務。

如圖1所示，由雙卷積模塊（Dual-Conv Block，DC- Block） 和雙尺度卷積注意力模塊（Dual-scale convolutional attention block，DSCA- block）組成的編碼器提取圖像特征然后下采樣（down sample） ，產生4個不同尺度的特征圖。之后特征圖再經過由雙尺度卷積注意力模塊（DSCA-block）和串-并行空洞空間注意力模塊（Serial-Parallel Atrous Spatial Pyramid Attention，SPASPA） 組成的瓶頸模塊進一步提取上下文信息。解碼器通過上采樣操作將特征圖層層恢復至原始尺寸再輸出，并通過跳躍連接（skip connection） 每次與編碼器得到多特征圖進行融合以補充細節信息。

1.1 編碼器

編碼器由雙卷積模塊（Dual-Conv Block，DC-Block） 和雙尺度卷積注意力模塊（Dual-scale convolutional attention block，DSCA- block）經過4個階段（stage） 堆疊而成。雙卷積模塊如圖2所示，輸入圖像在stage1經過雙卷積模塊實現初步的特征提取和通道調整。雙卷積模塊由兩個重復的卷積（Conv，3×3） 、批量標準化（Batch Normalize，BN） 和GELU激活函數組成。輸入特征圖[X∈RH×W×1]經過雙卷積模塊得到[Y∈RH×W×32]。

相對自然圖像，醫學圖像的內容、結構和顏色較為簡單，目標數量、目標類別以及帶標簽的醫學圖像樣本較少，導致SegNeXt模型中多尺度卷積注意模塊（MSCA） 模塊在醫學圖像分割方面表現不佳。本文基于多尺度卷積注意模塊（MSCA） 模塊重新設計了更適合醫學圖像處理的雙尺度卷積注意力模塊（Dual-scale convolutional attention block，DSCA- block）。該模塊利用雙尺度的卷積和簡單的元素乘法提供豐富的空間信息，提高醫學圖像分割精度。

如圖3所示，雙尺度卷積注意力模塊（DSCA- block） 主要由最初的下采樣操作（Conv（3×3），S=2） 、注意力模塊（Attention） 、前饋神經網絡模塊（FFN） 以及批量標準化（Batch Normalize，BN） 和GELU激活函數組成。其中，注意力模塊主要包含3個部分：1） 用于聚合局部信息的深度卷積（DWConv，5×5） 。2） 用于捕獲雙尺度上下文信息的雙分支深度卷積（DWConv 7×7，DWConv 11×11） 。3） 用于建模不同通道之間關系的1×1 卷積（Conv，1×1） 。

最后，1×1卷積的輸出直接用作注意力權重來重新對經過下采樣和GELU激活函數的輸入進行加權。注意力模塊（Attention） 可以使用數學形式表示為：

[Att=Conv1×1i=03 ScaleiDW-ConvF，Out=Att?F.]

式中： F 表示經過下采樣和GELU激活函數的輸入特征。DW-Conv 表示深度卷積。Scale_i，i ∈ {0，1，2}，表示圖3中的第i個分支。Scale_0是自身的跳躍連接。Conv 1×1對通道進行調整。[?]是逐元素矩陣乘法運算。Att 和 Out 分別是注意力圖和輸出。為了避免梯度消失問題，在注意力模塊（Attention） 后引入了殘差連接。

1.2 瓶頸模塊

如圖1所示，瓶頸模塊由連續的兩個雙尺度卷積注意力模塊（DSCA- block） 和串-并行空洞空間注意力模塊（Serial-Parallel Atrous Spatial Pyramid Attention，SPASPA） 構成。其中雙尺度卷積注意力模塊在前面已經做了詳細描述。

文獻[14]提出了串-并行空洞空間金字塔池化模塊（SPASPP） ，通過這個模塊可以快速增加感受野，同時獲取不同尺度的上下文信息，但是該模塊在尺寸更小的醫學圖像上的表現并不好。因此本文在其基礎上提出了串-并行空洞空間注意力模塊（SPASPA） ，它彌補了模型全局上下文信息不足的問題，使其在醫學圖像上達到了更高的準確性。如圖4所示，與SPASPP并行結構不同，在右側堆疊了更適合醫學圖像的三個3×3的空洞率分別為3、6、9的空洞卷積。隨后，從堆疊的空洞卷積得到的特征圖與全局池化后的上采樣特征圖進行拼接。然后，使用1×1卷積對通道進行壓縮，并與輸入進行殘差連接。具有不同空洞率的空洞卷積核通過進一步擴展的感受野所形成的多尺度特征圖使模型獲得更豐富的上下文信息，從而提高了醫學圖像分割能力。

1.3 解碼器

如圖1所示，解碼器（Decoder） 由上采樣模塊（Upsample） 、拼接模塊（concatenate） 和雙卷積模塊（Dual-Conv Block，DC- Block） 組成。解碼器（Decoder） 將經過編碼器和瓶頸部分的具有豐富特征信息的特征圖層層上采樣，同時與編碼器得到的多尺寸特征圖進行拼接來補充豐富的細節信息和位置信息，之后經過雙卷積模塊（Dual-Conv Block，DC- Block） 進一步提取特征和壓縮通道直到恢復至原始尺寸，最后通過一個3×3的卷積輸出分割結果。

2 實驗結果及分析

2.1 數據集準備

為了評估SegxUnet 模型，本文使用了2020年腦腫瘤檢測數據集（Br35H） 。它是kaggle公開數據集，該數據集包含701幅圖像。在這701幅圖像中， train 文件夾中的 500 幅圖像被選為訓練集，而 val 文件夾中的其他 201 幅圖像被選為測試集，輸入圖像的大小設置為128×128。并且由于深度學習模型需要大量標注訓練樣本，所以需要對數據進行數據增強。本文采用了與Unet相同的彈性變形圖像增強技術[5]，以此讓模型學習更穩定的圖像特征。

本文實驗所使用的操作系統為win10操作系統，運行內存為32GB，中央處理器型號為AMD EPYC 9754，顯卡型號為3090 ，顯存24G。編程環境為python 3.8，以PyTorch1.8.1、TorchVision0.9.0作為深度學習框架進行網絡搭建。

模型最多訓練100個周期，批次數（batch size） 設置為8，使用隨機梯度下降（SGD） 優化，動量為0.937，初始學習率為0.01，權重衰減系數為0.000 1。優化器為SGD優化器，動量為0.9，初始學習率均為0.01，權重衰減為0.000 1；學習率訓練策略采用余弦退火衰減。

2.2 評價指標

為驗證所提醫學圖像分割算法性能，本研究采用在語義分割和影像分割算法性能評價中常用的骰子系數（DICE） 、平均交并比（MIOU） 兩種指標，具體公式如下：

[Dice=2A∩BA+B]

[mIoU=1ki=1k A∩BA∪B]

式中：A表示模型預測的分割結果的二進制掩碼，B表示圖像的真實分割掩碼，K表示總類別個數。

2.3 實驗結果及分析

為了驗證SegxUnet模型對醫學圖像的分割效果，本文在2020年腦腫瘤檢測數據集（Br35H） 上與經典的圖像分割算法（FCN、Deeplabv3、PSPNet） 進行性能比較和消融測試實驗。

2.3.1 圖像分割方法實驗對比

將本文的SegxUnet模型與經典圖像分割模型算法FCN、Deeplabv3、PSPNet進行醫學圖像分割對比。4種圖像分割算法均在相同的圖像訓練集上進行訓練，對相同測試集中的醫學圖像進行分割。圖像分割結果如表1所示。

從表1可以看出，本文提出的SegxUnet模型在所有指標上均取得了最佳性能。與經典的FCN算法相比，SegxUnet模型在Miou和Dice上分別提升了1.46%和1.49%。相較另外兩個經典模型DeepLabv3和PSPNet，SegxUnet依然具有一定優勢。分割實驗結果表明，SegxUnet通過雙尺度卷積注意力模塊（DSCA- block） 有效地提取了局部特征信息，并利用串-并行空洞空間注意力模塊（SPASPA） 豐富了全局上下文信息，提高了分割準確性。

2.3.2 消融實驗

為驗證雙尺度卷積注意力模塊和串-并行空洞空間注意力模塊的作用，本文利用控制變量方法在腦腫瘤檢測數據集上進行了消融實驗。消融實驗在Unet模型基礎上進行，結果如表2所示。

表2中，雙尺度卷積注意力模塊表示在Unet模型的編碼器中加入雙尺度卷積注意力模塊后的圖像分割結果；串-并行空洞空間注意力模塊則表示加入串-并行空洞空間注意力模塊后的圖像分割結果；兩個都不選擇則表示Unet模型的圖像分割結果；同時選擇雙尺度卷積注意力模塊和串-并行空洞空間注意力模塊的實驗結果其實就是SegxUnet模型的實驗結果。MIOU和Dice表示醫學圖像分割結果的兩個指標值。

由表2消融實驗結果可知，添加了雙尺度卷積注意力模塊和串-并行空洞空間注意力模塊的Unet模型在所有指標上均取得了最佳性能。總體而言，雙尺度卷積注意力模塊促進提取醫學圖像的局部細節信息；串-并行空洞空間注意力模塊有效補充了全局上下文信息，提升全局語義分割質量。

2.3.3 醫學圖像分割效果比較

為了直觀比較圖像分割算法對于醫學圖像的分割性能，本節將SegxUnet、Deeplabv3、PSPNet、和FCN 4種圖像分割模型對腦腫瘤檢測圖像的分割結果進行可視化。圖像分割可視化結果如圖5所示，其中標簽表示標注的分割目標區域。

如圖5所示，對于腦腫瘤圖像，SegxUnet模型和DeepLabv3的分割效果較為出色，但是SegxUnet模型對邊緣信息的分割更充分，分割效果也更加接近真實值。

3 結束語

本文基于SegNeXt和DSNet提出一種基于雙尺度卷積注意力模塊和串-并行空洞空間注意力模塊的醫學圖像分割模型SegxUnet。在編碼器中，設計雙尺度卷積注意力模塊，通過兩個尺度上聚合的空間注意力，實現更豐富的醫學圖像特征的提取。在瓶頸部分，構建串-并行空洞空間注意力模塊，通過多尺度的空洞卷積補充了關鍵的全局上下文信息，從而提升了模型的全局建模能力。圖像分割和消融實驗驗證了SegxUnet模型的有效性，表明本文構建的雙尺度卷積注意力模塊和串-并行空洞空間注意力模塊能夠有效提升模型分割效果。

參考文獻：

[1] BAUR D，KROBOTH K，HEYDE C E，et al.Convolutional neural networks in spinal magnetic resonance imaging：a systematic review[J].World Neurosurgery，2022，166：60-70.

[2] 林曉青，夏藝，范麗.CT定量分析及人工智能對COPD急性加重的研究進展[J].中國臨床醫學影像雜志，2024，35（1）：61-64.

[3] 呼偉，徐巧枝，葛湘巍，等.醫學圖像分割的無監督域適應研究綜述[J].計算機工程與應用，2024，60（6）：10-26.

[4] SHELHAMER E，LONG J，DARRELL T.Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（4）：640-651.

[5] RONNEBERGER O，FISCHER P，BROX T.U-Net：convolutional networks for biomedical image segmentation[C]// Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015.Cham：Springer International Publishing，2015：234-241.

[6] CHEN L， PAPANDREOU G， KOKKINOS I. Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs[C]//Proc of Internation Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ： IEEE， 2014.

[7] CHEN L C，PAPANDREOU G，KOKKINOS I，et al.DeepLab：semantic image segmentation with deep convolutional nets，atrous convolution，and fully connected CRFs[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40（4）：834-848.

[8] CHEN L， PAPANDREOU G， SCHROFF F et al. Rethinking Atrous Convolution for Semantic Image Segmentation[C] //Proc of Internation Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ： IEEE， 2017.

[9] GOYAL A，BENGIO Y.Inductive biases for deep learning of higher-level cognition[J].Proceedings of the Royal Society A：Mathematical，Physical and Engineering Sciences，2022，478（2266）：20210068.

[10] CUI Y， JIANG C， Wang L et al. MixFormer： End-to-End Tracking with Iterative Mixed Attention[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2024， 46（06）： 4129-4146.

[11] FAN Q H，HUANG H B，CHEN M R，et al.RMT：retentive networks meet vision transformers[C]//2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle，WA，USA.IEEE，2024：5641-5651.

[12] ZHU L，WANG X J，KE Z H，et al.BiFormer：vision transformer with bi-level routing attention[C]//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. ancouver，BC，Canada.IEEE，2023：10323-10333.

[13] GUO M， LU C， HOU Q， et al. SegNeXt： Rethinking Convolutional Attention Design for Semantic Segmentation[C]//Proc of Internation Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ： IEEE， 2022.

[14] GUO Z L，BIAN L Y，WEI H，et al.DSNet：a novel way to use atrous convolutions in semantic segmentation[C]//IEEE Transactions on Circuits and Systems for Video Technology.December 3，2024，IEEE，Dec.2024：1.

【通聯編輯：代影】