基于脈沖耦合神經網絡結合U-Net 的眼底血管分割*

梁玥瑩，桑海峰

（沈陽工業大學信息科學與工程學院，沈陽 110870）

1 引 言

視網膜的病理變化與許多人類疾病密切相關。臨床醫學研究表明，視網膜血管網絡的健康狀況，不僅能反映眼部健康，還可以用于部分全身性疾病的早期診斷。運用視網膜血管分割技術，有助于臨床工作人員更好解讀圖像信息。傳統的手工血管分割工作量巨大，并且需要臨床工作人員具有相當豐富的實際操作經驗。因此，自動化的眼底血管分割技術具有重要的研究及應用價值。近年來，各類算法不斷推陳出新，例如Ronneberger 等人[1]提出了用于細胞分割的U-Net 算法；杜新峰等人[2]提出了一種基于注意機制的金字塔場景解析U-Net 分割算法；Johnson 等人[3]則在深入研究Eckhorn 利用連接場模型（LFM）演示同步振蕩的方法后，對其進行修改，以適應數學表達式。此后，PCNN（Pulse-Coupled Neural Network）因上述生物特征，被稱為第三代神經網絡。白培瑞等人[4]首次提出模糊連通性（CMFC）的特征矩陣，設計了FC-PCNN 模型的構建方案；丁雪梅等人[5]提出一種PCNN 參數設置自動尋優法，利用自適應分布式遺傳算法（ADGA），將尋優得到的參數用于PCNN 血管分割；文獻[6]提出了一個簡單的脈沖耦合神經網絡，可獲得血管的基本結構。針對上述算法現存的問題，在此提出一種改進U-Net與改進PCNN 相結合的視網膜血管分割算法，嘗試在保證分割準確性的同時保留更多的微小血管。

2 實驗方法

2.1 數據集選取

選擇對DRIVE、STARE 數據集進行實驗來驗證改進算法的網絡性能。DRIVE 包含40 幅圖片，分辨率為565×584 像素。STARE 有20 幅圖像，分辨率為605×700 像素。全部60 張眼底圖像中，每幅圖像都有2 個專家手動標簽。預處理階段已將數據集中的原有圖像采用隨機切片的方式來對數據進行擴增。

2.2 網絡總體框架

利用改進后的U-Net 模型對分塊且初步增強的圖片進行二次增強。其目的是多尺度提取血管特征。在U-Net 模型中采用Softpool 層、密集可變形卷積以及改進的SE 模塊，用自適應閾值SSPCNN 網絡進行精準的圖像分割，以保證保留更多血管中的微小細節。總體網絡流程圖如圖1 所示。

圖1 網絡總體流程

2.3 圖像預處理

針對醫學圖像大都存在對比度差、邊緣模糊等問題，首先對眼底血管圖像進行灰度變換、標準化、對比度受限的自適應直方圖均衡化以及伽馬變換的操作以增強圖像對比度。現有的醫學圖像數據集規模普遍較小，不利于提高模型的泛化能力，故采用隨機分塊的方式來對數據進行擴增。每一部分都是尺寸為48×48 的貼片，所有貼片都是通過在圖像內隨機選擇其中心后分塊獲得的。

2.4 網絡模型

2.4.1 改進U-Net 結構

原始的U-Net 模型存在獲取特征不全面、易丟失局部特征的問題，因此為了多尺度、深層次提取血管特征，在U-Net 模型中采用Softpool 層、密集可變形卷積模塊以及改進的SE 模塊以獲取更深層次的特征。改進后的U-Net 網絡結構如圖2 所示。

圖2 改進U-Net 網絡

2.4.2 密集可變形卷積模塊

普通的卷積運算主要是用固定大小的感受野對輸入特征圖進行采樣，然后對每個采樣點和對應的卷積核進行加權求和運算。可變形卷積[7]運算在普通卷積的基礎上增加了采樣點位置的偏移量，使變形卷積網絡能夠更靈活地捕捉特征圖的信息。可變形卷積的計算公式如下式：

上式中，m 和n 滿足0≤m+Δm＜Ir+Mr-1，0≤n+Δn＜Ic+Mc-1，由此提出密集可變形卷積模塊。它是一個三層結構的卷積模塊，每層由不同的可變形卷積核構成，通過結合不同尺度和不同復雜度的多分支結構來豐富卷積塊的特征空間，從而增強卷積的表示能力。不同尺度的卷積核提取圖片的多角度特征信息，提升了網絡的多尺度提取特征的能力。密集可變形卷積模塊原理示意圖如圖3 所示。

圖3 密集可變形卷積模塊

2.4.3 改進SE 模塊

SE 模塊是一個輕量級門控機制。它可以通過對通道關系進行建模來增強網絡的表示能力。在SE模塊中，輸入映射X ∈H ×W ×C 被變換（Ftr）為特征映射X∈H×W×C。在將X 饋送到下一個變換之前，它經歷三個連續的步驟：擠壓、激勵和連接。通過全局平均池化將全局空間信息壓縮（Fsq）到信道描述符中，并且采用門控機制來解決利用信道依賴性的問題，輸出計算公式如下式：

SE 模塊容易陷入局部最優，忽略目標的全局特征，導致在眼底血管分割任務中邊界分割不準確。為此修改了SE 模塊的原始結構，在擠壓部分采用兩種不同的池化方式使特征提取更具有全局性。修改后的Fsq內部結構如圖4 所示。

圖4 改進擠壓模塊

2.4.4 SoftPool 方法

選擇SoftPool 作為本網絡模型的池化方法，在保證池化層功能的前提下，盡可能地減少池化過程中的信息損失，提升血管分割的精度。SoftPool 方法主要是基于SoftMax 方法的加權池化。首先，定義大小為C×H×W 的特征圖a 的局部區域R；然后，根據特征值非線性地計算區域R 的權重Wi；最后，通過加權區域R 內的特征值得到輸出a。此過程可用以下公式來表示：

2.5 自適應SSPCNN 模型

2.5.1 自適應閾值的SSPCNN 模型

SSPCNN 模型是在簡化的脈沖耦合神經網絡SPCNN（Simplified Pulse-Coupled Neural Network）模型上做進一步的簡化，去掉SPCNN 模型中的所有衰減系數而得到的。模型中單個脈沖耦合神經元的行為如圖5 所示。SSPCNN 結構的相應數學公式如下各式所示：

圖5 SSPCNN 網絡結構

迭代中位置(i,j)處的神經元具有兩種輸入:主要與輸入圖像的位置(i,j)處的像素相關的饋送輸入Fij[n]，以及通過權重矩陣Wijkl與目標神經元周圍的相鄰像素的輸出Ykl[n-1]建立關系的鏈接輸入Lij[n]。這兩個輸入通過連接強度β合并，以產生內部活度Uij[n]。Uij[n]與Eij[n-1]進行比較，產生輸出Yij[n]。如果Uij[n]＞Eij[n-1]，神經元將被觸發（Yij[n]=1），動態閾值Eij[n]將增加幅度VE。動態閾值Eij[n]及連接強度β這兩個參數對于圖像分割的結果至關重要，故提出自適應閾值的SSPCNN 網絡來確保分割的準確性并提高模型的泛化能力。

2.5.2 自適應閾值分析

對于SSPCNN，對應于具有OMax強度的目標像素的神經元在時間t=T(OMax)的自然脈沖，其中，OMax是目標像素的像素最大值；T(OMax)是閾值信號從其最大值θMax衰減到OMax所需的時間。在快速鏈接而導致的二次激發期間，令下式成立的對象神經元將被捕獲：

式中，Lij(T(OMax))是Nij從其8-鄰域接收的總鏈接輸入；Nij是對應于像素(i,j)的神經元；Xij是像素(i,j)的強度，該像素是Nij的饋送輸入。類似地，令下式不成立的所有背景神經元也將被捕獲：

若有一個β值，令式(10)對所有目標神經元都成立，而式(11)對所有背景神經元都成立，那么只有目標神經元可以在T(OMax)處一起放電，從而導致輸入圖像的完美分割。當不可能完美分割時，則要盡可能捕獲最大數量的目標神經元和最小數量的背景神經元。式(10)指定了β的下界β1，式(11)則指定了β的上界β2。β1的值隨著強度之比OMax/OMin的增大而增大；β2的值則隨著比值OMax/BMax的減小而減小，其中BMax指的是背景像素的像素最大值。如能有效降低β1和增加β2，即可提高分割精度，故可采取局部確定閾值的方法。

2.5.3 自適應閾值確定流程

至此需要確定全局連接系數和初級點火閾值流程。首先將圖像粗略分割成目標和背景的閾值T。閾值T 使用大津法獲得。使用強度大于T 的圖像像素近似對象像素的強度均值m0和標準差σ0。使用強度小于或等于T 的圖像像素來近似背景像素的強度均值mB和標準差σB。主激發閾值PFT 應大于T，以防止明亮的噪聲背景像素在主激發期間激發。由此可得PFT 計算公式如下式：

其中，k 是大于零的常數。通常，k 在[1,2]的范圍內。計算鏈接系數，使得以下不等式對于所有對象神經元都成立：

已知最小物體強度應小于對象像素的強度均值m0，主激發閾值應大于T，最小物體強度大致取(Tkσ0)。在目標神經元的8-鄰域中，期望目標神經元比背景神經元多是合理的，假設單位鏈接，目標神經元的LI(t)的最小值可以取為5。至此，連接系數β的計算公式如下式：

3 實驗結果與分析

3.1 性能評價指標

想要判斷血管分割的優劣情況，需要有效的性能評價指標。可以將圖像分割的結果與標簽進行比較，圖像中每個像素點的分類情況屬于下述四種情況之一：真陽性（TP）、假陽性（FP）、真陰性（TN）以及假陰性（FN）。通過像素點分類情況可以進行靈敏度（Se）、特異性（Sp）和準確度（Acc）這三個常用性能指標的計算。計算方法如下：

3.2 分割結果對比分析

在DRIVE、STARE 兩個數據集上使用靈敏度、特異性、準確率作為評價指標。分割后得到各項數值如表1 所示。

表1 分割結果對比分析

在DRIVE 數據集上，與基準方法相比，三種評價指標都略有提升。其中靈敏度提升最高，說明本算法能將大部分背景像素與目標像素正確分類。在STARE 數據集上，雖然靈敏度數據較差，但是特異性、準確度與基準方法相比均有不同程度的提升。部分分割結果如圖6 所示。

圖6 部分分割結果

3.3 U-Net 與自適應SSPCNN 結合

U-Net 對眼底血管圖片進行分割時會發生分割后的血管存在血管斷裂的情況，PCNN 網絡的耦合特性能夠很好地彌補這一問題。故初步采用U-Net網絡對眼底血管圖片進行圖像增強處理，之后再利用自適應閾值SSPCNN 對血管進行精確分割。采用這一處理的分割效果如圖7 所示。

圖7 U-Net 與自適應SSPCNN 結合使用的分割效果

3.4 可變形卷積有效性分析

傳統卷積核的最大問題集中在適應性差、血管分割細節丟失等方面。若使卷積核可以根據實際情況調整本身的形狀，便可更好地提取輸入特征。應用可變形卷積后，相比于原始模型，在三個評估指標上都有不同程度的提升，詳細結果如表2 所示。

表2 卷積與可變形卷積分割結果對比

3.5 SE 模塊改進的有效性分析

傳統的SE 模塊對于眼底血管這種管狀物分割存在忽略部分特征的問題，會對后續的分割結果造成不可逆轉的影響。相比于原始模塊，改進后的模塊在三個評估指標上都有不同程度的提升，詳細結果如表3 所示。

表3 SE 與改進SE 分割結果對比

3.6 自適應閾值SSPCNN

原始的PCNN 網絡需要人工設置大量參數，為分割工作造成了極大不便。經過大量實驗表明部分參數對分割結果影響并不大，故采用SSPCNN 模型進行最終分割，同時使用自適應閾值的方法。

自適應閾值SSPCNN 與硬閾值SSPCNN 的分割結果對比如表4 所示，由表中數據可見靈敏度有明顯的提升。

表4 硬閾值與自適應閾值分割結果對比

4 結 束 語

本設計應用密集可變形卷積模塊、改進的SE模塊及SoftPool 的U-Net 網絡對圖像進行初步增強，使其能夠統籌深層特征以及淺層特征，多尺度地提取眼底血管特征，使網絡更具有全局能力。新方法兼具準確度與靈敏度，在相當程度上解決了圖像處理中由于分割不充分而出現諸多問題。初步研究取得良好效果，但在保證連接斷裂血管的前提下，部分圖片仍會出現噪點增多的情況，在靈敏度升高時特異性略有下降。如何在保證精確度的情況下提高特異性也將是后續進一步研究的主要方向。