基于殘差通道注意力的視網膜血管圖像分割

王文輝，劉彥隆

（太原理工大學 信息與計算機學院, 山西 晉中 030600）

視網膜血管分割在眼相關疾病的早期診斷中具有重要意義，通過觀察眼底血管系統，可以很容易地診斷和跟蹤許多疾病(如糖尿病和高血壓)。在臨床實踐中，視網膜血管系統通常由眼科醫生根據眼底圖像手動分割。這種手動分割是一項煩瑣、費力且耗時的任務。為了減少人工分割的工作量并提高視網膜血管分割的準確性、處理速度和再現性，大量的研究工作致力于開發全自動或半自動的視網膜血管分割方法。然而，視網膜血管有許多細小而脆弱的血管，而且這些血管緊密相連，視網膜血管樹結構相當復雜。

現有的方法可以通過是否使用了人工預先標注血管信息分為有監督方法和無監督方法。大多數無監督方法都是基于血管固有的特征的，主要包括形態學方法[1-2]、匹配濾波方法[3]、血管跟蹤方法[4]。

視網膜血管分割的監督方法是基于二進制像素分類，即預測像素屬于血管類還是非血管類。機器學習方法包括兩個步驟：第1 步,手工制作特征來捕捉目標像素的內在特征，Staal 等[5]提出了一種基于脊的特征提取方法，該方法利用了血管的細長結構，Soares 等[6]利用多尺度2D Gabor 小波變換進行特征提取；第2 步，使用諸如神經網絡[7]、支持向量機[8]和隨機森林[9]等各種分類器與從局部斑塊提取的手工特征結合使用，用于對斑塊的中心像素進行分類。上述監督方法依賴于由專家設計的相關特征表示，這通常需要復雜的特征設計過程和豐富的特征設計經驗。

為了解決這些問題，基于深度學習的方法被用于視網膜血管的自動分割，并取得了很好的結果[10-16]。Oliveira 等[10]結合多尺度平穩小波變換和全卷積網絡(FCN)分割眼底圖像局部斑塊內的視網膜血管。Zhang 等[11]在U-Net 中引入了基于邊緣檢測的機制，用來改進模型的性能。Wu 等[12]介紹了一種用于視網膜血管分割的多尺度網絡跟蹤網絡(MS-NFN)。Wang 等[14]將通道注意機制應用于U-Net 結構中的“跳躍連接”來進一步提高血管分割能力。在文獻[15]中通道注意力機制只采用了平均池化用來聚集血管空間信息，但是最大池化同樣收集了血管另一個重要的空間信息，用來推斷更精細的通道方向注意力[16]。但是由于視網膜血管結構復雜，細小血管眾多，而且有病理性結構（滲出物、出血、視盤）影響，導致現有網絡結構的靈敏度（模型識別血管的能力）普遍不高。

為了解決以上問題，本文提出了一種基于殘差通道注意力的改進HED 網絡模型用于視網膜血管分割。所提網絡模型主要有以下4 個特點：1）受文獻[15]啟發，本文改進了ECA 模塊，并將其命名為改進的高效通道注意力(modified efficient chanel attention，MECA)，該模塊在保持性能的同時大大降低了網絡的復雜性；2）將傳統的隨機丟棄模塊替換為結構化丟棄（DropBlock）模塊，有效避免模型產生過擬合現象；3）將MECA 模塊加入殘差結構中，提出了雙殘差通道注意力模塊（DRCAM），充分考慮了特征圖通道間的相關性，提高了模型識別微小血管的能力；4）在HED 網絡的特征融合階段加入短連接結構，并把MECA 模塊也融入短連接結構中，充分降低低級語義信息中的噪聲和進一步提高模型的靈敏度，即識別精細血管的能力。

1 網絡結構與算法原理

1.1 結構化丟棄模塊

隨機丟棄模塊(Dropout)是一個被廣泛采用的防止過擬合的方法之一，但是隨機丟棄模塊通常在全連接層使用，在卷積層起到的作用微乎其微。這是因為在卷積層中特征圖相鄰位置元素的特征信息差別很小，所以某個元素被丟棄掉時，該元素的語義信息仍然可以通過卷積網絡流通過來。所以本文采用了DropBlock[17]，這是一種結構化的隨機丟棄模塊。該結構把特征圖的一小部分方塊區域一起丟掉，如圖1(b)所示，而不是隨機的丟棄方塊，如圖1(c)所示。

圖1 Dropout 和DropBlock 丟棄方塊原理Fig. 1 Principle of discarding blocks about Dropout and DropBlock

DropBlock 模塊主要有兩個參數Sb和 γ，Sb表示丟棄的方塊的大小， γ表示伯努利函數的概率。 γ通過如下公式得到

式中：Sb表示丟棄的方塊的大小，S f表示輸入特征的大小，K表示保留方塊的概率。

1.2 改進高效通道注意力模塊

SE（squeeze and excitation block）模塊[18]就是最初的通道注意力（channel attention，CA）模塊，該模塊通過將輸入的特征圖進行全局平局池化然后進行激活，獲得每個通道的權重，最后使用獲得的權重對輸入的特征圖通道進行加權，從而抑制不重要的特征，增強重要的特征（例如細小的血管特征）。最近，一些研究采用了各種方法用來改進SE 模塊，然而這些方法在改進模塊性能的同時不可避免的增加了模型的復雜度。文獻[15]提出了一種高效通道注意力(efficient channel attention，ECA)模塊，該模塊利用一維卷積來避免SE 模塊在跨通道信息交流中的降維操作，從而在保持優越性能的同時大大降低了模型的復雜度。然而在ECA 中只有平均池化用來聚集空間信息，但是最大池化同樣收集了特征圖的另一個重要的空間信息，可以用來推算更精細的通道注意力。

因此，本文設計了一種改進高效通道注意力（MECA）模塊，該模塊采用平均池化和最大池化兩種方式來獲得更精細的通道注意力，如圖2 所示。模塊首先將輸入特征圖F∈RH×W×C通過平均池化和最大池化生成Fmp∈R1×1×C和Fap∈R1×1×C，分別通過以下公式得到：

圖2 改進高效通道注意力模塊Fig. 2 Modified efficient chanel attention module

式中：H、W、C分別代表輸入特征圖的高度、寬度、通道數的數量，Fc(i，j)表示第C個通道特定位置的像素值。

然后將兩個生成的特征圖通過一個共享權重的一維卷積層，獲得兩個輸出特征向量，用來生成一個通道注意力圖M∈R1×1×C。

式中：CONV (·)代表一維卷積層， σ(·)代表激活函數。MECA 在本文中使用的一維卷積的核被設置為3(k=3)，即每使用一個MECA 只增加3 個參數，這直接證明了MECA 是一個非常輕量級的模塊。

其實想要撕掉這些標簽，在手指上擠一點護手霜就可以了。將這些護手霜均勻涂抹在標簽上，靜置30秒，然后，你就會發覺標簽很輕松地就被撕下來了。之后，再用紙巾將殘留的黏膠擦掉，這樣碗碟就變得十分美觀了。要是家里遇到標簽難撕的問題，就趕緊來試試這個方法吧。

1.3 雙殘差通道注意力模塊

在識別視網膜血管結構時，淺層網絡可能會限制網絡提取所需血管特征的能力。本文認為構建更深層次的神經網絡可以學習更復雜的血管特征，所以構建了雙殘差結構來代替HED 網絡中的原始卷積單元，用來提取更加精細的血管結構。該結構由ReLU 激活、批處理歸一化(BN)和卷積層組成的預激活殘差塊構成。但是單純增加網絡層數可能會阻礙訓練，還可能出現退化和過擬合問題，所以將傳統的隨機丟棄模塊替換為性能更強的結構化丟棄模塊。

MECA 模塊通過自動學習來學習每個特征通道的權重，并使用獲得的權重來增強本文需要的血管特征和抑制對視網膜血管分割任務不重要的特征。換句話說，MECA 可以提取通道之間的通道統計，從而進一步增強網絡的區分視網膜血管的能力。

基于上述工作本文提出了雙殘差通道注意力模塊（double residual channel attention module，DRCAM），如圖3 所示。

圖3 雙殘差通道注意力模塊Fig. 3 Double residual channel attention module

1.4 網絡結構

圖4 顯示了本文所提模型的詳細結構，該模型是從傳統HED 網絡改進而來。圖中虛線框內為預訓練部分，將原始的卷積塊替換為DRCAM模塊，并將傳統的池化層替換為擴張卷積層，這么做的主要目的是為了在增加感受野的同時，保證特征圖的輸入尺寸不變。方便后續進行特征融合。圖4 虛線框外的部分為側輸出部分，將經過預訓練的特征圖通過16 個1×1 的卷積進行融合，然后通過一個MECA 模塊，最后通過由高到低短連接結構，將具有不同級別的語義信息的特征圖進行特征融合，這么做能夠使模型充分利用不同級別的語義信息進行訓練，減少低級語義信息中的噪聲。

圖4 本文所提網絡模型的整體結構Fig. 4 Overall structure of the proposed network module

2 實驗及結果分析

2.1 數據集和實驗參數配置

本文使用DRIVE 和STARE 兩個公共的視網膜眼底圖像數據集來評估本文提出的模型。DRIVE 數據集包含40 幅分辨率為565×584 的彩色眼底圖像。20 幅圖像用來訓練，20 幅圖像用來測試。STARE 數據集包含20 幅605×700 的彩色眼底圖像。由于STARE 數據集未劃分訓練集和測試集，本文采用文獻[19]中的留一法進行交叉驗證。

由于DRIVE 和STARE 數據集數據量很少，為了避免模型在訓練過程中產生過擬合現象，需要對以上兩個數據集進行數據增強。首先將預處理后的圖像進行-90°～90°隨機旋轉，然后將圖片隨機進行水平或垂直翻轉，概率各為50%。最后采用滑窗方式對圖像進行隨機切片，在每張眼底圖像中裁剪出5 000 個48×48 的重疊圖像塊。采用這種數據增強方式，以上兩個數據集將會獲得1 200 000 個小圖像塊，取前90% 用于網絡訓練，后10%用于驗證。

訓練細節：預訓練階段，優化算法為Adam，所有可以訓練的卷積核都采用HED 初始化方法初始化參數，epoch 為150，初始學習率設置為0.01，在連續6 次迭代以后損失函數都沒有變化，則學習率衰減為原來的一半。輸出階段使用預訓練階段訓練好的模型參數繼續進行學習，epoch 為100，初始學習率設置為0.001，在連續5 次迭代以后損失函數都沒有變化，則學習率衰減為原來的一半。

結構化丟棄模塊的丟棄方塊的大小設置為7，為了使模型的性能達到最好，根據經驗本文將DRIVE 數據集中的結構化丟棄模塊的方塊保留概率設置為0.85，將STARE 數據集中的結構化丟棄模塊的方塊保留概率設置為0.78。

2.2 圖像預處理

視網膜血管圖像存在亮度不均勻以及血管與背景之間的對比度較低等問題，為了使模型能夠更好地捕獲細小血管的更多特征，必須對視網膜血管圖像進行預處理。首先提取RGB 圖像的3 個通道，受文獻[20]啟發，本文采用紅綠通道比例為3∶7 進行組合并進行灰度變換。然后歸一化眼底視網膜灰度圖像，采用對比度受限的自適應直方圖均衡化(CLAHE)最后進行伽馬校正。圖5為預處理前后結果圖。

圖5 預處理結果Fig. 5 Typical image after preprocessing

2.3 性能評價指標

為了評估本文采用的模型的性能，采用了以下指標：準確度Acc、靈敏度se、特異性sp和受試者工作特征曲線ROC 的曲線下面積AUC。AUC 可用于衡量分割性能，因為它是評估兩分類的指標，并且具有不受不平衡數據影響的特點。如果AUC 值為1，則表示分割無瑕疵。

2.4 結果分析

本文在HED 網絡結構上進行了5 組消融實驗，用來驗證本文提出的改進方法和網絡結構是否有效。模型1 在原始的HED 網絡結構中加入殘差結構和底部短連接結構；模型2 在模型1的基礎上加入了通道注意力；模型3 則采用了改進高效通道注意力代替原始的通道注意力模塊；模型4 在模型3 的基礎上加入了DRCAM；模型5 也就是本文最終采用的方法，在底部短連接結構中也加入改進高效通道注意力模塊，并把結構化丟棄模塊的丟棄方塊的大小設置為7，以達到最好的分割性能。

從表1 中可以得出：1）原始的HED 網絡主要用來進行邊緣檢測，通過對網絡結構進行一些改進，該網絡在視網膜血管圖像分割領域也有不錯的表現；2）通過引入普通的通道注意力，網絡的各項性能僅有略微提升；3）通過在網絡中加入MECA 模塊，模型的靈敏度大幅提升，在DRIVE 和STARE 數據集上分別提升了2.18%和2.96%，其他各項指標均有不同幅度的提升，這表明本文提出的MECA 模塊是有效的；4）通過采用DRCAM 結構，模型的靈敏度進一步提高，雖然特異性略有降低，但是可以通過調整結構化丟棄模塊的參數來優化；5）通過優化結構化丟棄模塊和進一步引入MECA 模塊使本模型在靈敏度上取得了最好的性能，在其他指標上也與最先進的方法相差無幾。

表1 DRIVE 和STARE 數據集上的消融實驗結果Table 1 Results of ablation study on DRIVE and STARE dataset%

圖6 給出了5 組模型在DRIVE 數據集一副彩色視網膜血管圖像的分割結果和專家的手動分割結果圖。通過與專家的手動分割結果圖對比，可以看出通過引入MECA 模塊，模型可以識別出更精確的微小血管，通過優化結構化丟棄模塊參數和進一步引用MECA 模塊，模型識別出的微小血管更加清晰，并且識別出的血管結構更加完整。

圖6 消融實驗分割結果Fig. 6 Segmentation results of ablation experiments

在表2 和表3 中，本文總結了每個模型的發布年份以及它們在DRIVE、和STARE 數據集上的性能。結果表明，本文所提方法在DRIVE 和STARE 數據集上的綜合分割性能更好，雖然特異性sp和準確度Acc都略低于目前的最先進方法，但是靈敏度se有大幅度的提升，分別高于目前最先進方法1.18%、0.96%。這說明本文所提方法具有最先進的識別視網膜微小血管的能力，并且AUC 也略高于其他先進方法。

表2 本文方法和其他方法在DRIVE 數據集上結果Table 2 Results of the proposed method with other methods on DRIVE dataset%

表3 本文方法和其他方法在STARE 數據集上結果Table 3 Results of the proposed method with other methods on STARE dataset%

3 結束語

本文提出了一種基于殘差通道注意力的視網膜血管圖像分割方法，首先，本文針對最近提出的高效通道注意力(ECA)模塊進行了一些改進，提出了改進高效通道注意力模塊（MECA），這樣可以使神經網絡有效地提取更精細的血管結構。然后加深了HED 網絡結構，提出了雙殘差結構，并用結構化丟棄模塊替換了原始的隨機丟棄模塊，把MECA 嵌入殘差結構中，進一步加強了模型識別精細血管的能力。最后，在HED 網絡結構的特征融合階段加入短連接結構，并把MECA 模塊融入到短連接結構中來進一步增強模型的靈敏度。通過在DRIVE 和STARE 數據集上的實驗表明，所提方法的綜合分割性能最優，且在檢測血管的靈敏度性能方面明顯大于目前先進的方法，靈敏度的提高對早期眼部相關疾病的臨床檢測具有重要意義，這說明本文所提方法具有很強的應用潛力。本文所提方法尚未考慮血管的連通性，這也將是下一步工作的重點。