融入交叉注意力編碼的皮膚病變分割網絡

李大湘，楊福杰，劉 穎，唐垚

（西安郵電大學 通信與信息工程學院，陜西 西安 710121）

1 引言

皮膚癌作為美國乃至全世界最常見的癌癥，其發病率正在逐年快速上升，給全球健康帶來了巨大的威脅與挑戰［1］。臨床上皮膚癌主要分為惡性黑色素瘤（Malignant Skin Melanoma，MSM）和非黑色素瘤皮膚癌（Non Melanoma Skin Cancer，NMSC），其中90%以上的皮膚癌死亡病例均由MSM 導致。臨床上，醫生通常采用“ABCDE”法則來辨別MSM，其中A，B，C，D 和E 分別表示痣的形狀不對稱、邊緣不規則、顏色不均勻、直徑改變、大小改變以及進展性改變［2］。通過早期發現，MSM 的5 年生存率可達99%，而延遲診斷導致生存率下降至23%［3］。因此，運用圖像分割技術對每張皮膚病變圖像進行目標區域的分割，具有較高的臨床意義。

目前，皮膚病變圖像分割方法可分為傳統圖像分割方法和基于深度學習的分割方法。其中，傳統分割方法包括閾值處理、活動輪廓模型和監督學習方法［4］，但由于皮膚病變圖像中的病變區域與周圍區域對比度低，且病變的位置、形狀、顏色和邊界各不相同，傳統方法難以準確的分割皮膚病變區域。隨著深度學習的發展，卷積神經網絡（Convolutional Neural Networks，CNN）已廣泛應用于各類分割任務，其中基于全卷積神經網絡（Fully Convolutional Network，FCN）［5］和 UNet［6］的一系列擴展已取得良好的分割性能。例如：SpineParseNet［7］將用于三維粗分割的圖卷積分割網絡與用于二維分割細化的殘差U 型網絡組合，實現了對體積MR 圖像的脊椎解析。UNet++［8］設計一系列嵌套且密集的跳躍連接，減少了編碼器和解碼器之間的語義差距；Attention U-Net［9］提出一種新型的注意力門控機制，并將其與U-Net 相結合，使網絡能夠自動學習并關注具有不同形狀和大小的目標結構，同時抑制不相關的特征響應。該網絡在腹部CT 的多標簽分割問題上取得了良好的分割效果；CA-Net［10］提出了一個全面的基于注意力的CNN 網絡，即通過向U-Net 網絡中引入多個注意力模塊，同時了解最重要的空間位置、通道和尺度信息，實現準確且具有可解釋性的醫學圖像分割網絡。雖然上述基于CNN 的方法能有效捕捉局部細節信息，但由于卷積結構存在局部感受野，該類網絡通常無法對皮膚損傷圖像中的目標形狀和邊界信息進行建模［11］。為了解決這一問題，文獻［12］提出了一種基于視覺Transformer（Vision Transformer，ViT）的網絡，其通過自注意力機制捕獲長期依賴關系并編碼形狀表示，解決了卷積結構缺乏對圖像中全局上下文理解的問題。受此啟發，許多工作將Transformer 引入到醫學圖像分割任務中。例如：TransUNet［13］首先在編碼部分使用CNN 提取底層特征圖譜，然后通過Transformer對全局上下文信息進行建模，在解碼部分對編碼后的特征進行上采樣，并采用跳躍連接技術，在CT 多器官分割任務中創造了新的記錄。Trans-Fuse［14］通過并行的方式將CNN 與Transformer結合，使網絡以更淺的方式有效地捕捉全局依賴性和低級空間細節，提高了網絡建模全局上下文的效率。但由于自注意力機制的計算復雜度隨圖像大小的平方倍增加，導致大多數基于Transformer 的網絡具有較高的計算復雜度和參數量，且其將輸入視為1 維序列，僅關注于全局上下文建模，導致低分辨率特征圖譜缺乏詳細的定位信息。而這種信息并不能通過直接上采樣進行有效地恢復，導致了粗略的分割結果。

針對上述網絡存在的問題，本文提出一種融入交叉注意力編碼的U 型混合網絡（U-shaped hybrid network，UH-Net），用于皮膚病變圖像分割。首先，本文構造了一個高效的多頭門控位置交叉自注意力（Multi-head Gated Position Cross Self-Attention，MhGPCSA）編碼器，并將其引入到U 型網絡的最后兩個層級中，用于建模全局上下文信息，使得網絡能夠捕獲目標區域的形狀和邊界信息；其次，在跳躍連接中引入一個新的位置通道注意力（Position Channel Attention，Pos-CA）機制，以使網絡在建模通道關系的同時保留精確的位置信息，提高其捕獲病變區域的空間結構能力；最后，針對Dice 損失無法平衡假陽性（False Positive，FP）與假陰性（False Negative，FN）的問題，設計了一個正則化Dice 損失函數，使網絡在推理過程中同時關注于輸入圖像的前景與背景區域，提高網絡的分割性能。

2 網絡構造

2.1 網絡整體架構設計

針對皮膚病變圖像中存在目標區域形狀變化大，邊界不明顯的問題，本文提出一種融入交叉注意力編碼的皮膚病變圖像分割網絡（UHNet），其網絡結構如圖1 所示，共設計了五層U型混合網絡，其中前三層級采用的是卷積操作，以捕獲淺層特征而使網絡前端更注重圖像的局部細節信息，而在網絡的最后兩個層級采用的是MhGPCSA 編碼器，以彌補卷積操作建模全局信息能力的不足；在跳躍連接中，向融合后的特征圖譜中引入PosCA 模塊，用于編碼通道信息，并將結果輸入到解碼器中。最后通過正則化Dice損失函數實現皮膚病變圖像中目標區域的分割。

圖1 UH-Net 網絡整體架構設計示意圖Fig.1 Schematic of overall architecture design of UH-Net network

2.2 MhGPCSA 編碼器

為了在圖像中學習語義信息的長期依賴關系，本節設計了一個新的門控位置交叉自注意力（Gated Position Cross Self-Attention， GPCSA）機制，且基于它構造了MhGPCSA編碼器，并將其融入UH-Net的最后兩個層級，使網絡能夠高效地捕獲圖像的全局上下文信息，以緩解卷積操作全局建模能力的不足，提高其分割性能。相關原理如下：

2.2.1 GPCSA機制

給定任意輸入特征圖譜F∈RC×H×W，其中C，H和W分別表示F的通道數、高度和寬度。首先，使用三個1×1卷積來投影特征圖譜F，分別生成三個新的特征圖譜Q，K和V，即：

其中：f1×1表示1×1 卷積，設f1×1卷積核個數均為C′，則Q，K與V∈RC′×H×W，即它們通道數均為C′；然后，在Q中的任意空間位置i(i=1，2，…，H×W) 上沿通道維度抽取特征向量qi∈RC′×1，并在K中抽取與位置i處于同一行或同一列（即十字形鄰域）的所有特征向量，獲得特征向量集合記為Ki∈RC′×(H+W-1)，同理在V中抽取與位置i處于同一行或同一列的特征向量，獲得特征向量集合Vi∈RC′×(H+W-1)，則可得到qi∈RC′×1的交叉注意力輸出zi∈RC′×1，即：

其中：Ki，u∈RC′×1與Vi，u∈RC′×1分別表示Ki與Vi中的第u個列向量表示qi的轉置。

雖然上述交叉注意力機制可使網絡在圖像中學習語義信息的長期依賴關系，但由于該操作專注于建模全局上下文信息，導致低分辨率特征圖譜缺乏詳細的位置信息，而在圖像分割任務中，不同目標的相對位置關系通常利于捕捉目標結構。因此，為了提高網絡捕獲目標結構的能力，受文獻［15］的啟發，設計了一個新的GPCSA機制（如圖2 所示），即在計算注意力權值時，添加相對位置編碼項與門控項，以使其對位置信息更加敏感，進而提高網絡的分割精度，則公式（2）可改寫為：

圖2 門控位置交叉注意力（GPCSA）機制示意圖Fig.2 Schematic of Gated position cross self-attention mechanism

最后，對于Q中的所有空間位置i沿通道抽取的qi∈RC′×1，按式（3）進行GPCSA 計算重組，則輸入的特征圖譜F被重構為一個新的特征圖譜Z，該過程記為：

其中，Z表示GPCSA 重構的結果。

2.2.2 MhGPCSA 編碼器

由于單個GPCSA 機制只能捕獲每個像素對應的交叉路徑的上下文信息，導致其無法與周圍不在交叉路徑中的像素建立聯系，為了解決這一問題，可通過連續使用兩層GPCSA 機制來對特征圖譜的全局上下文信息建模，并在GPCSA 的基礎上設計MhGPCSA 編碼器，以使網絡能夠關注來自同一位置的不同通道間的子空間信息。圖3 為設計的MhGPCSA 編碼器結構示意圖，對于輸入的特征圖譜F∈RC×H×W，對其編碼過程可描述為：

圖3 多頭門控位置交叉自注意力編碼器Fig.3 Multi-head gated position cross self-attention encoder

其中：BN()，ReLU()與MhGPCSA()分別表示層歸一化、ReLU 激活函數與MhGPCSA 操作，Conv()表示C個不同1×1 核的卷積操作，Fˉ∈RC×H×W表示編碼器的最終輸出。MhGPC-SA 是GPCSA 的擴展，即并行地運行8 個GPCSA 操作，每個注意力頭將從不同的視角捕獲特征圖譜F的長期依賴關系而挖掘其全局上下文信息，并將它們的輸出串聯起來作為最終重構結果，即：

其中：Concat[；]表示將每個注意力頭的輸出結果沿通道維度進行拼接。為了使F經MhGPCSA 重構之后，其輸出Z′與輸入F保持相同的維度，式（3）所示的每個GPCSA 頭輸出的維度C′設置為輸入元素維度的8 分之一，即C′=C/8。

在SE-Net［16］等傳統的通道注意力（Channel Attention，CA）機制中，對于輸入特征圖譜F∈RC×H×W（其中C、H與W分別表示其通道數、高度與寬度），通常采用”二維全局平均池化”將其綜合為C×1×1 的特征描述符，即：

其中：FGAP∈RC×1×1表示輸入經過池化 后的結果。顯然，式（7）所示的二維池化（即同時沿高與寬二個維度進行池化）將每個通道的C個數壓縮為一個數，導致生成的CA 權值不帶有位置信息，若直接將其用在分割網絡中，則不利于像素的精確定位而影響分割精度。所以，本節分別沿高與寬維度定義了“一維全局平均與最大池化”用于建模通道關系且兼顧空間位置信息，即：

圖4 位置通道注意力機制Fig.4 Position channel attention mechanism

對于輸入特征圖譜F，先用式（8）和式（9）所示一維池化分別沿F的寬度軸和高度軸對其進行信息聚合，生成四種上下文描述符,，和；然后，由于平均和最大池化在特征聚合時發揮的作用存在差異，則不應對它們進行簡單的相加融合。因此，引入兩組自適應機制，分別對高、寬度方向的池化結果進行自適應融合，二個不同方向的融合圖譜記為FX∈RC×H×1與FY∈RC×1×W；最后，在通道信息交互時，針對SENet 采用全連接層會存在通道降維而帶來信息丟失的問題，PosCA 機制使用快速一維卷積實施通道交互，再結合Sigmoid 激活函數得到二個方向的注意力權重MX∈RC×H×1與MY∈RC×1×W，即：

其中：α1，β1，α2和β2表示自適應機制加權系數，作為可學習參數在網絡訓練過程中通過隨機梯度下降法進行訓練，?表示廣播元素乘法，σ表示Sigmoid 函數。C1Dk×1×1表示核大小為k的一維卷 積，k值使用ECA［17］中的經驗公式計算，即：

其中：|t|odd表示離t最近的奇數，C為通道數。γ和b均為超參數，本文在所有的實驗中將其分別設置為2 和1，因此一維卷積核大小由通道數C自適應地確定；最后，將輸入特征圖譜F與MX，MY進行廣播乘法，得到PosCA 模塊的輸出。其表達式為：

其中，?表示廣播元素乘法。由式（13）可知，PosCA 機制可給F中不同空間位置處的數據賦于不同的注意力，即可有差別地為圖像中不同目標給于相應的注意力而提高其定位能力，從而提高整個網絡分割精度。

2.4 損失函數及正則化

在醫學圖像分割任務中，由于FN 較之FP 將付出更大的代價，則在網絡訓練過程中，希望所有“前景（病變區域）”都能被分割出來，所以傳統的分割網絡采用的損失函數均為Dice 損失函數［18］，其表達式為：

其中，β為可學習的正則化參數，用于控制正則化項在網絡訓練過程中所占比重，其隨網絡的不斷迭代自動地調整優化。分析式（15）所示的損失函數可知，由于(1-pi)的制約，若pi=1（即前景）則損失為0，所以正則化只關注背景區域被誤分所造成的損失，即網絡在訓練時，若更多的背景被分割為前景（FP 過高）時，則更多的趨向于1，導致正則化項中的In(1-將更趨向于負無窮大，再與前面的“負號”結合，將導致損失變大，損失在梯度下降反向傳播時，就會一定程度上約束更多的趨向于1 的情況，降低FP。這樣一來，本文網絡在訓練過程中，經過不停地優化迭代，就會在FP 與FN 之間進行權衡，從而實現更好的分割結果。

3 實驗結果及分析

3.1 實驗數據及參數設置

本文的實驗數據為ISBI2017 數據集［19］和ISIC2018 數據集［3，20］，均為面向黑色素瘤檢測的皮膚病變分析挑戰賽使用的公共數據集，其中ISBI2017 數據集包含2150 張RGB 圖片，ISIC2018 數據集包含2 594 幅RGB 圖片，均采用二進制標注。由于數據集中圖像的分辨率各不相同，且樣本數量較少，為了增加樣本的多樣性而緩解網絡訓練時的過擬合問題［21］，采用以下方法對數據集中的每幅圖像進行擴充：首先，在角度區間［0，360）之內以45 度為步長，對原始圖像進行8 種不同方向的旋轉；然后，對旋轉后的8 幅圖像分別進行高斯模糊與RGB 平移處理，此時單幅圖像可以擴充為24 幅不同的圖片（即旋轉的8 幅、旋轉的8 幅經高斯模糊后的8 幅以及旋轉的8 幅經過RGB 平移后的8 幅）；最后，為了避免直接縮放而破壞原始圖像的形狀和紋理等信息，對增擴后的每幅圖像進行中心裁剪，并將裁剪后的圖像縮放為256×256 大小作為最終的樣本圖像。這樣以來，ISBI2017 和ISIC2018 數據集經擴充之后樣本數分別為51 600 和62 256 幅不同的圖片，然后再分別按8∶1∶1 比例隨機劃分為訓練集、驗證集和測試集，用于網絡的訓練與測試。

實驗中網絡的具體參數：輸入圖像大小設置為256×256，批量大小為16，初始學習率為10-3，網絡優化器為自適應矩估計（Adaptive Moment estimation，Adam），一階矩估計指數衰減率設置為0.9，權重衰減系數為10-4，訓練周期為200。在訓練過程中使用余弦退火策略對學習率進行調整，并將最小學習率設置為10-5。實驗的硬件環境為Intel（R）Xeon（R）Platinum 8358P CPU，工作頻率為2.60 GHz，內存為80 GB，NVIDIA GeForce RTX 3090 顯卡。操作系統為Ubuntu 18.04，編程語言為Python 3.8，所有程序均在Pytorch 框架下實現。

3.2 評價指標

本文使用交并比（Intersection over Union，IoU）、Dice 系數（Dice）、Hausdorff_95（HD95）距離、準確率（Precesion）和召回率（Recall）作為評價指標，用于衡量各種網絡分割結果的好壞。其中，前4 種評價指標的計算公式如式（16）～式（19）所示：

其中：X為預測結果中皮膚病變區域的像素集合，Y為原皮膚病變圖片真值中病變區域的像素集合，TP為分割結果中被正確分割的像素個數，FN為分割結果中被錯誤預測為背景的皮膚病變區域像素個數，FP為分割結果中被錯誤分割的前景像素個數。

Hausdorff（HD）距離計算公式為［22］：

表1 和表2 給出了本文網絡與其他六種網絡在ISBI2017 和ISIC2018 數據集上的性能指標、參數量（Params）和計算復雜度（GFLOPs），綜合對比本文U 型混合網絡（UH-Net）性能較優，且在計算復雜度和參數量方面具有明顯的優勢。與基于Transformer 的網絡相比，UH-Net 網絡參數是TransUNet 網絡參數的0.74%，計算復雜度僅是其3.74%。可見對注意力機制進行改進，可有效地提高網絡分割效率。與卷積網絡U-Net相比，UH-Net 在分割性能、參數量和計算復雜度方面均具有明顯的優勢，表明UH-Net 具有良好的分割結果。

表1 ISBI2017 數據集上不同網絡結果Tab.1 Results of different networks on ISBI2017 dataset

表2 ISIC2018 數據集上不同網絡結果Tab.2 Results of different networks on ISIC2018 dataset

在表1 和表2 中本文網絡UH-Net 召回率均最高，兩個數據集上的召回率分別為86.26%和90.52%，召回率表示正確分割為前景像素數量與金標準中的前景像素數量之比，表明UH-Net可有效地挖掘皮膚病變區域信息，降低欠分割率。IoU 和Dice 可用于衡量真值與分割圖像的相似程度，本文網絡UH-Net 的IoU 和Dice 均最高，IoU達到84.42% 和84.12%，Dice達到91.48%和91.30%，表明UH-Net 分割結果更接近于真實標簽。HD95 常用于衡量邊緣分割精度，本文網絡UH-Net 在兩個數據集上的HD95均最低，分別為32.67 和33.24，表明本文網絡UH-Net 可以有效地分割病灶區域的邊緣信息。因此，與其他網絡相比，UH-Net 具有良好的分割結果和較低的欠分割。

圖5 給出了不同網絡在ISBI2017 和ISIC2018 數據集上的分割結果，圖5 中（a）～圖5（d）來源于ISBI2017 數據集，圖5 中（e）～圖5（h）來源于ISIC2018 數據集，從上到下依次為原圖、真 值（Ground Truth，GT），UNet，UNet++，TransUNet，TransFuse，MedT，UNeXt 和UHNet 分割結果。由圖5 可知，與其他網絡的分割結果相比，本文網絡UH-Net 的分割結果更優。在圖5（f）中，由于皮膚病變區域與其他區域對比度較高，本文網絡與其他網絡均能有效地分割出目標區域。在圖5（h）中，皮膚病變區域邊緣不明顯，U-Net 和UNet++作為卷積網絡捕獲目標結構的能力不足，UH-Net 在網絡的最后兩個層級中引入MhGPCSA 編碼器以及在跳躍連接中引入PosCA 機制，提高了網絡捕獲目標結構的能力，使得病變區域的邊緣更加清晰。在圖5（c）中，由于毛發干擾，皮膚病變區域不明顯，導致網絡在分割目標區域時容易過分割或欠分割，UHNet 通過將正則化Dice 損失替換傳統的Dice 損失，以使網絡同時關注與病變區域的前景和背景信息，提高了網絡分割結果。對比結果表明本文網絡UH-Net 可以有效捕獲病變區域，提高網絡的分割結果。

圖5 在ISBI2017 和ISIC2018 數據集上不同網絡的分割結果Fig.5 Segmentation results for different networks on ISBI2017 and ISIC2018 datasets

3.3.2 MhGPCSA 編碼器分析

為驗證MhGPCSA 編碼器各部分對實驗結果的影響，將本文網絡UH-Net 進行如下調整：（a）使用卷積操作代替UH-Net 的MhGPCSA 編碼器，記為Network_0；（b）將門控和位置信息從MhGPCSA 編碼器中移除，記為Network_1；（c）僅將門控從MhGPCSA 編碼器中移除，記為Network_2；（d）對UH-Net 不做任何更改。在ISIC2018 數據集上進行實驗，結果如表3 所示。

表3 MhGPCSA 編碼器的不同設置對實驗結果的影響Tab.3 Effect of different MhGPCSA encoder settings on experimental results

由表3 所示的實驗結果可知，Network_1與Network_0 相比，Dice 和IoU 分別提升了0.53%，0.78%，表明通過GPCSA 機制來建模輸入特征圖譜的全局上下文信息，可使網絡的分割結果得到明顯提升；Network_2 與Network_1 相比，Dice 和IoU 分別提高了0.35%，0.69%，表明向交叉自注意力機制中添加位置信息可提高網絡捕獲目標結構的能力，從而有效地提高網絡的分割結果。UH-Net 與Network_2 相比，Dice和IoU 分別提高了0.23%，0.31%，表明在編碼器中同時使用門控和位置信息，更加能夠捕獲圖像的全局上下文信息，可進一步提高網絡的分割結果。

3.3.3 PosCA 機制分析

為了驗證本文提出的PosCA 機制的有效性，分別將UH-Net 的PosCA 機制舍棄（無）、僅保留PosCA 機制中沿寬度（+寬度注意力）或高度方向（+高度注意力）的一維全局池化以及將兩組一維池化更改為對應的全局池化（+全局注意力），以了解在建模通道信息的過程中保留位置信息的重要性。在ISIC2018 數據集上的分割結果如表4 所示。與全局注意力相比，添加沿任意方向的注意力對網絡分割性能的影響相當，但當同時考慮寬度注意力和高度注意力時，即UHNet，Dice 和IoU 分別提升了0.47% 和1.26%。因此，在增加可學習參數和計算成本相當的情況下，本文提出的PosCA 機制對網絡的分割結果更有幫助。

表4 PosCA 機制的不同設置對實驗結果的影響Tab.4 Effect of different PosCA mechanism settings on experimental results

從表5 實驗結果可知，在ISIC2018 數據集上，使用MhGPCSA 編碼器替換基線網絡最后兩個層級的卷積，Dice 和IoU 分別提升了1.16%和1.27%，HD95 減小了0.77，準確率和召回率分別提升了9.76%和1.14%，表明使用GPCSA 機制來學習圖像語義信息的長期依賴關系，可有效提高網絡捕獲圖像目標結構的能力，減少過分割；向基線網絡中引入PosCA 機制，Dice 和IoU 分別提升了0.60%和0.79%，HD95 減小了0.20，準確率和召回率分別提升了8.98%和0.78%，而網絡的計算復雜度和參數量增加較少，表明Pos-CA 機制可有效地保留圖像中的位置信息；向Dice 損失中引入正則化項來訓練基線網絡，Dice和IoU 分別提升了1.06%和1.13%，HD95 減小了0.45，準確率提升了10.89%，而召回率略有下降，表明通過向Dice 損失中引入一個正則項，提高了網絡在推理過程中對背景區域的關注度，可有效地降低過分割率。顯然，本文設計的三個部件是有效的，能夠有效地提高網絡的分割精度。同時也可看出，與僅使用一個部件相比，三個部件進行兩兩組合可進一步提高網絡的分割精度，且同時使用三個部件（即UH-Net），網絡的分割性能最高，這證實了三個部件可以相互補充。

表5 消融實驗結果Tab.5 Ablation experiment

4 結論

針對皮膚病變圖像中目標區域與周圍區域對比度低，且病變結構和位置變化大等問題，本文提出一種融入交叉自注意力編碼的U 型混合網絡，用于皮膚病變圖像分割。首先，網絡利用MhGPCSA 編碼器對輸入特征的全局上下文信息建模，彌補了卷積操作全局建模能力不足，提高網絡的分割結果；其次，在跳躍連接中引入PosCA 機制來提高網絡捕獲目標空間結構的能力；最后通過一個新的正則化Dice 損失函數，使得網絡能夠在FP 與FN 之間進行權衡，減少過分割和欠分割。在ISBI2017 和ISIC2018 數據集上IoU 分別為84.42%和84.12%，且網絡的參數量僅為TransUNet 參數量的0.74%，分割效率和性能優于現有網絡，為輔助醫生診斷提供了有效的幫助。