融合雙殘差密集與注意力機制的視網膜血管分割

徐 艷， 張 乾

（1 貴州民族大學數據科學與信息工程學院， 貴陽 550025； 2 貴州民族大學貴州省模式識別與智能系統重點實驗室，貴陽 550025； 3 貴州民族大學教務處， 貴陽 550025）

0 引 言

視網膜血管結構的變化可以辨別多種疾病。 例如，糖尿病視網膜病變是糖尿病引起的并發癥，可以通過視網膜血管結構的改變來診斷。 糖尿病視網膜病變有可能導致失明，這意味著早期發現至關重要。高血壓性視網膜病變是另一種由高血壓引起的視網膜疾病，高血壓患者可通過血管彎曲度增加或狹窄來診斷，因此，在現有醫療條件下某些疾病可以通過疾病變化來進行檢測和診斷。

視網膜血管的分割是目前視網膜圖像分析任務中特別重要的一步。 但人工視網膜血管分割是比較耗時的過程，為了解決這一問題，研究學者提出了許多自動分割的方法。 2015 年，Ronneberger 等學者［1］提出了一種兩邊完全對稱的U－Net 分割網絡模型。該方法通過通道拼接融合的方法來獲取特征，并未能最大限度地發揮以往特征圖重用的潛力。 付順兵等學者［2］提出了一種融合U－Net 網絡和密集網絡的分割方法，該網絡將密集網絡和U－Net 進行融合，同時在卷積層之間引入一種動態激活函數，從而提高網絡的特征表達能力。 胡揚濤等學者［3］提出了一種基于U 型的空洞殘差U 型網絡（Atrous Residual U－Net，AR－Unet），該網絡有效避免了網絡中梯度消失和信息丟失的問題。 王師瑋等學者［4］提出了一種在U－Net 基礎上進行改進的CSDUNet，該算法在編碼器與解碼器部分使用了卷積注意力模塊，采用密集上采樣卷積作為上采樣方法，在分割效果上有一定的提升。

綜上所述，以上的算法雖然能提升視網膜血管分割的精度，但存在視網膜血管分割出現細小血管不易分割和斷裂的現象，圖的對比度低且容易與背景混淆等情況。 因此本文提出一種融合殘差密集塊與注意力機制的視網膜血管分割算法，該方法以UNet 網絡作為基礎框架，融合高效通道注意力機制模塊（ECA）、密集連接塊（Dense Block）和雙殘差模塊（Double Residual Block）來提取特征，為了提取到更多細小血管，使用空洞卷積替換標準卷積來增大感受野，從而提高視網膜血管分割的精度。

1 相關工作

1.1 網絡結構

本文針對視網膜血管分割任務，提出一種融合雙殘差密集與注意力機制的視網膜血管分割算法，整體框架如圖1 所示，采用高效通道注意力機制、密集連接模塊和雙殘差塊來優化網絡結構，使用空洞卷積替換標準卷積，在不增加參數的情況下來增大感受野，以此來獲取視網膜血管圖像更復雜的特征。 U－Net通過“通道拼接”使之前的特征映射可重用并有效地解決空間信息丟失的問題。 本文為了更好地發揮特征映射重用的潛力，通過自適應聚合塊來重用特征。并將雙殘差密集塊的特征映射被自適應地聚合到后續層中作為輸入，設置當前的通道數量不變，直到下一步加倍。 同時為了防止過擬合問題，該網絡模型引入了DropBlock［5］來更有效地規范網絡結構。

圖1 雙殘差密集與注意力網絡Fig. 1 Double residual density and attention network

1.2 高效通道注意力模塊

注意力機制可用來提高特征選擇能力，最早使用在自然語言處理領域［6］。 Wang 等學者［7］在壓縮激勵（squeeze－and－excitation，SE）模塊的基礎上，提出了一種高效通道注意力（Effificient Channel Attention，ECA）模塊。 高效通道模塊如圖2 所示。 ECA 模塊避免了降維，能夠有效捕獲跨通道交互的信息，涉及少量參數，同時帶來明顯的性能增益，也可以保證信息效率和有效性。 ECA 模塊是通過一維卷積layers.Conv1D 來完成跨通道間的信息交互，卷積核的大小通過一個函數來適應變化，使得通道數較大的層可以更多地進行跨通道交互。 自適應函數為：

圖2 高效通道注意模塊Fig. 2 High Efficiency Channel Attention（ECA） module

ECA 模塊實現如下：

（1）輸入特征圖經過全局平均池化， 從［h，w，c］ 的矩陣變成［1，1，c］ 的向量。

（2）根據特征圖的通道數計算得到自適應的一維卷積核大小kernel＿size。

（3）將kernel＿size用于一維卷積中，得到對于特征圖的每個通道的權重。

（4）將歸一化權重和原輸入特征圖逐通道相乘，生成加權后的特征圖。

1.3 空洞卷積

在編碼器與解碼器中使用空洞卷積替換標準卷積，即在編碼器和解碼器之間布置捕獲全局上下文的空洞卷積塊［8］，在不丟失眼底視網膜血管圖像分辨率的情況下增大感受野。 標準卷積和空洞卷積原理如圖3 所示。

圖3 標準卷積和空洞卷積Fig. 3 Standard convolution and cavity convolution

1.4 雙殘差密集連接塊

在卷積神經網絡中，在訓練過程中由于梯度消失的問題，簡單地增加網絡層數可能會阻礙訓練，為了解決這一問題，引入了Guo 等學者［9］所提的雙殘差塊。 為了增加視網膜圖像的底層信息，從而加強特征的傳播能力，引入密集連接塊。 結合殘差塊和密集連接塊的優點，提出一個雙殘差密集連接塊（DDRB），如圖4 所示。 由圖4 可知，雙殘差密集連接塊主要包含BN 歸一化、ReLU 激活、3×3 卷積層、DropBlock 和DenseBlock。

圖4 雙殘差密集連接塊Fig. 4 Double residual density connection block

1.5 自適應聚合塊

在FCN［10］和U－Net［1］研究中，通過添加或連接操作來直接重用以前的特征映射。 為了更好地利用編碼部分特征塊的特征映射，Zhen 等學者［11］引入了自適應聚合結構。 類似地，本文使用改進的自適應聚合結構來緊密地連接前面的DDRB 塊的特征。 自適應聚合塊的結構如圖5 所示。 由圖5 可知，在雙殘差密集連接塊中，來自較低層（DDRB1、DDRB2...）的特征映射具有高分辨率的粗語義信息，而來自較高層（DDRB3、DDRB4……）的特征映射具有低分辨率和包含精細的語義信息。 自適應聚合結構可以將前面所有的DDRB 特征映射融合在一起，生成豐富的空間信息和上下文信息。 由于輸入的特征圖，比例大小可能會所不同。 為了減少內存消耗，首先使用卷積層來壓縮傳入的特征映射，除了直接連接的特征映射（黑色箭頭）已經被壓縮。 壓縮層由DropBlock 和1×1 的卷積組成。 為了使所有的特征圖在大小上保持一致，將使用最大池化操作進行下采樣，而使用轉置卷積進行上采樣。 最后，將所有生成的特征映射連接到這個塊的輸出中。

圖5 自適應聚合塊的結構Fig. 5 The structure of the adaptive polymer block

2 實驗及結果分析

2.1 數據集和參數設置

本文使用了視網膜血管分割的2 個公開數據集：DRIVE［12］和STARE［13］數據集。 其中，DRIVE 數據集由40 幅565×584 分辨率的彩色視網膜圖像組成，該數據集包含官方劃分的20 幅訓練集和20 幅測試集，每幅圖像有其對應的金標準及掩膜。 STARE 數據集由20 幅700×605 分辨率的彩色視網膜圖像組成，每幅圖像有其對應的金標準及掩膜，由于該數據集沒有劃分訓練集和測試集，自動劃分前10 幅視網膜圖像作為訓練集，剩下的10 幅視網膜作為測試集。

由于官方公開的DRIVE 和STARE 數據集的圖像較少，對DRIVE 和STARE 兩個數據集進行數據增強處理，分別通過加入高斯噪聲、隨機旋轉和顏色抖動等操作，DRIVE 和STARE 數據集從原始數據集分別擴增到256 幅和226 幅圖像，且對DRIVE 和STARE 兩個數據集原始像素進行剪裁，周圍使用0進行填充，將DRIVE 和STARE 數據集分別從565×584 調整為592×592，從700×605 調整為704×704。

在訓練過程中，將DRIVE 和STARE 數據集的batch＿size設置分別為8 和4，總周期設置為50。Adam 作為優化器，學習率為0.000 1。所有的實驗均使用后端帶有Keras 開源框架進行，并在計算機配置為Intel（R） Core （TM） i7 － 12700F CPU ＠2.10 GHz，16.0 GB 內存，采用64 位Windows 10 操作系統上運行。

2.2 評價指標

視網膜血管分割問題可視為對所有像素進行二分類的問題，可以使用混淆矩陣來評估各種方法的性能。 混淆矩陣的參數見表1。

表1 混淆矩陣Tab. 1 Confusion matrix

本文采用準確率（accuracy，ACC）、 靈敏度（sensitivity，SE）、特異性（specificity，SP）、F1、ROC曲線下面積（AUC） 和Mattews相關系數（MCC） 可以由表1 的4 個參數計算可得，具體公式分別如下：

2.3 消融實驗分析

為了驗證評估模型改進前后的性能，在相同的實驗環境下，以U－Net 網絡為基線分別在DRIVE 和STARE 數據集上進行視網膜血管分割實驗。 實驗結果見表2。

從表2 中DRIVE 和STARE 數據集的實驗結果可知，D1 表示原始的U－Net，D2 在D1 基礎上加入雙殘差塊，其ACC和SE都有大幅度的提升，整體效果較好，說明殘差塊能有效地獲取特征。D3 在D2 基礎上加入高效通道注意力機制，D3 相比較D2 的SE較低，但ACC和SP在2 個數據集上都有一定的提升。D4 在D3 基礎上加入密集連接塊，D4 與D3 相比，DRIVE 數據集的SE和STARE 數據集的SP有一定的提升，說明密集連接塊能夠特征重用，有效地重用了特征。D5 在D4 基礎上，在編碼器與解碼器之間用空洞卷積替換標準卷積，其整體性能略有提升，除了SP外，其ACC、SE、AUC、F1 和MCC與D1 相比較均有大幅度提升，說明本文的算法在分割性能上有一定的提升。

DRIVE 和STARE 數據集分割結果如圖6 所示。圖6 中，前2 列是DRIVE 數據集，后2 列是STARE數據集。 由圖6 可看到，D1 與D2 分割圖中存在細小血管沒有分割出來，D3 與D4 分割圖中存在誤分割和分割不連續的現象，D5 比D1 分割圖在視網膜血管細節分割上效果更佳，與專家手動分割的標準圖接近，說明本文算法分割效果好。

圖6 DRIVE 和STARE 數據分割結果Fig. 6 Data segmentation results of DRIVE and STARE

DRIVE 和STARE 數據集局部分割結果如圖7所示。 圖7 中，前2 列是DRIVE 數據集，后2 列是STARE 數據集。 從圖7 中分割圖結果對比可知，D1與D2 局部分割圖中出現誤分割和有的細小血管沒有被分割的現象，D3 與D4 局部分割圖中呈現出血管斷裂的情況，D5 與D1 局部分割圖相比較，該模型分割的血管更加細膩、血管連續和完整性也較好，D5 局部分割圖與金標準局部分割圖接近，呈現出較好的分割效果。

圖7 DRIVE 和STARE 數據集局部分割結果Fig. 7 Local segmentation results of DRIVE and STARE data sets

2.4 不同分割算法之間的對比

表3 為不同算法在DRIVE 與STARE 數據集上視網膜血管分割不同性能指標對比。 本文算法在DRIVE 與STARE 數據集上的準確率（ACC）、靈敏度（SE）、特異性（SP） 和AUC分別為：96.85%、81.48%、98.33%、98.61%和97.84%、88.51%、98.60%、99.45%。其中，DRIVE 數據集的準確率（ACC） 和AUC均高于其他文獻算法，STARE 數據集除特異性（SP） 略低于文獻［14］ 算法，準確率（ACC）、靈敏度（SP） 和AUC與其他算法相比均有所提升。

表3 不同算法對比Tab. 3 Comparison of different algorithms

本文的DRIVE 與STARE 數據集的ROC曲線如圖8 所示。 由圖8 可看到，當ROC值接近1 時，能夠對血管像素和背景像素進行正確分類，說明模型對視網膜血管分割效果較好。

圖8 在DRIVE 與STARE 數據集上的ROC 曲線圖Fig. 8 ROC graph on DRIVE and STARE data sets

3 結束語

本文針對視網膜血管的微小血管不易分割和斷裂等情況，提出了一種雙殘差密集與注意力網絡用于視網膜血管分割，通過自適應聚合結構將前面的雙殘差密集塊的特征進行壓縮后傳輸到后續層中作為輸入，使用自適應聚合塊代替傳統的通道拼接來實現特征重用，有效地解決視網膜圖像分割特征和信息損失的問題，在編碼器與解碼器之間利用空洞卷積替換標準卷積來增大感受野，可以有效提取視網膜細小血管的特征。 通過實驗證明，該網絡模型在DRIVE 和STARE 數據集上都呈現出較好的分割效果，說明該網絡模型有較好的分割性能。