一種改進(jìn)U-Net的眼底血管分割方法

薛文渲，劉建霞

（太原理工大學(xué)信息與計(jì)算機(jī)學(xué)院，山西晉中 030600）

眼底R(shí)GB 圖像是眼睛內(nèi)表面的投影，由于其不同的形狀、分叉、延伸程度的結(jié)構(gòu)特征，可以用于分析判斷視網(wǎng)膜上的血管分布[1-10]。其中，血管樹(shù)是醫(yī)學(xué)圖像中最穩(wěn)定的特征，可用于生物識(shí)別。眼科醫(yī)生可以通過(guò)眼底圖像中呈現(xiàn)的血管形態(tài)進(jìn)行有效的篩選和判斷，以確定糖尿病視網(wǎng)膜病變、青光眼和微動(dòng)脈瘤的眼科狀況[11-14]。傳統(tǒng)的非監(jiān)督學(xué)習(xí)方法有匹配濾波方法[15]、形態(tài)學(xué)處理方法[16]、形變模型方法[14]等，雖然無(wú)需專家手工標(biāo)注的金標(biāo)準(zhǔn)圖，但由于不同眼底圖像形態(tài)的特征復(fù)雜度差別極大，傳統(tǒng)方法編碼[1]較為簡(jiǎn)單，對(duì)血管特征提取程度差，分割效果不佳，無(wú)法滿足實(shí)際臨床輔助的需求。為滿足實(shí)際臨床輔助視網(wǎng)膜分割的需要，實(shí)現(xiàn)更好的視網(wǎng)膜圖像分割水平，文中提出基于U-Net[2]的視網(wǎng)膜眼底圖像分割混合算法，用以克服原始U-Net 網(wǎng)絡(luò)層數(shù)過(guò)深導(dǎo)致的網(wǎng)絡(luò)計(jì)算量過(guò)大和細(xì)小血管信息丟失的問(wèn)題[3]。文中方法通過(guò)學(xué)習(xí)眼底金標(biāo)準(zhǔn)圖像對(duì)復(fù)雜多變的眼底血管像素點(diǎn)進(jìn)行預(yù)測(cè)，提供更為精準(zhǔn)的視網(wǎng)膜血管形態(tài)、尺度場(chǎng)景等信息，具有分割精度高、抗干擾性強(qiáng)、計(jì)算效率快等優(yōu)勢(shì)。文中提出的模型方法使用TensorFlow 框架進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)表明文中方法有助于解決分割結(jié)果在細(xì)微血管分叉處不連續(xù)、復(fù)雜曲度形態(tài)血管丟失的問(wèn)題，從而可以達(dá)到更好的分割性能，具有一定的臨床應(yīng)用的價(jià)值。

1 網(wǎng)絡(luò)結(jié)構(gòu)與基本算法

由于眼底視網(wǎng)膜圖像中血管與背景之間的明暗特征不全，視盤(pán)區(qū)域亮度過(guò)高，圖像分割干擾較強(qiáng)，視網(wǎng)膜血管直徑、分叉特征差別大等問(wèn)題，文中提出了一種基于改進(jìn)U-Net的網(wǎng)絡(luò)模型算法，如圖1 所示。該網(wǎng)絡(luò)由編碼器、金字塔型空洞卷積[4]與解碼器組成，將網(wǎng)絡(luò)中的原始卷積層改為Inception 模塊[5]，使用多個(gè)不同尺度的卷積增強(qiáng)網(wǎng)絡(luò)的泛化能力和神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，并引入金字塔型空洞卷積，在保證網(wǎng)絡(luò)參數(shù)不過(guò)度增大的情況下極大地保留了視網(wǎng)膜圖像特征映射的感受野，從而減小分割結(jié)果中細(xì)小血管的丟失程度。

圖1 文中網(wǎng)絡(luò)模型算法

1.1 改進(jìn)的U-Net網(wǎng)絡(luò)架構(gòu)

在實(shí)際網(wǎng)絡(luò)學(xué)習(xí)過(guò)程中，眼底視網(wǎng)膜圖像經(jīng)過(guò)預(yù)處理后輸入編碼器。在編碼部分，文中算法將一個(gè)3×3的原始普通卷積層作為第一層，其后為4 個(gè)Inception 模塊，該模塊為1×1、3×3 和5×5 卷積層并聯(lián)連接，用以提取尺度不同的視網(wǎng)膜血管特征進(jìn)行融合，并接入1×1 卷積，減少輸入信息尺度，防止運(yùn)算體量過(guò)大；然后經(jīng)過(guò)2×2的池化層接入金字塔空洞卷積，其通道數(shù)為512。在解碼部分，反卷積層仍使用Inception 模塊，并通過(guò)SoftMax 激活函數(shù)針對(duì)視網(wǎng)膜血管有效像素點(diǎn)與背景噪聲像素點(diǎn)進(jìn)行分類，隨后輸出其分割結(jié)果。

1.2 Inception 模塊

原始U-Net 網(wǎng)絡(luò)中卷積層在視網(wǎng)膜血管分割任務(wù)中存在著細(xì)節(jié)丟失，特征信息提取不全面的問(wèn)題。為增加卷積性能，眾多學(xué)者運(yùn)用改進(jìn)卷積層深度與寬度的方式，但這種改進(jìn)方式會(huì)使參數(shù)劇增，在實(shí)際訓(xùn)練過(guò)程中很易產(chǎn)生過(guò)擬合現(xiàn)象，使計(jì)算量過(guò)載。因此，文中算法將U-Net 中的傳統(tǒng)卷積層改進(jìn)為Inception 模塊，使用不同多尺度的卷積核，提高非線性結(jié)構(gòu)表達(dá)力與網(wǎng)絡(luò)泛化能力，提高神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)視網(wǎng)膜血管學(xué)習(xí)水平。該算法使用的Inception 模塊結(jié)構(gòu)如圖2 所示。

圖2 Inception模塊結(jié)構(gòu)

如圖2 所示，模塊中原始的卷積層變?yōu)?×1、3×3、5×5 3 種不同尺度特征的卷積核進(jìn)行特征提取，并在卷積后使用3×3 最大池化層進(jìn)行眼底視網(wǎng)膜血管特征信息融合。經(jīng)過(guò)池化層融合后的特征信息輸入到1×1 卷積層進(jìn)行尺度壓縮，解決了不同尺度信息提取過(guò)程中網(wǎng)絡(luò)參數(shù)和特征量冗余的問(wèn)題。

1.3 金字塔型空洞卷積

為解決原始U-Net 網(wǎng)絡(luò)在視網(wǎng)膜血管分割任務(wù)中池化層存在信息損失，在分割結(jié)果中細(xì)小血管無(wú)法分離清楚的問(wèn)題，文中算法增大了視網(wǎng)膜血管有效位置與噪聲區(qū)域特征映射的感受野，將原始U-Net 網(wǎng)絡(luò)底部的池化層改為金字塔型空洞卷積，以提升算法敏感度與準(zhǔn)確性。為防止U-Net 卷積層編碼器中網(wǎng)絡(luò)參數(shù)復(fù)雜度過(guò)大，文中算法未改動(dòng)下采樣過(guò)程中的池化層，有助于減少編碼過(guò)程中的網(wǎng)絡(luò)特征復(fù)雜程度，使視網(wǎng)膜血管特征具有更好的線性不變性。金字塔型空洞卷積模塊結(jié)構(gòu)如圖3所示。

圖3 金字塔型空洞卷積模塊結(jié)構(gòu)

空洞卷積又名擴(kuò)張卷積，定義為將普通卷積層內(nèi)插零，從而增加網(wǎng)絡(luò)中的擴(kuò)張率r，在未增加網(wǎng)絡(luò)參數(shù)的條件下增大了特征提取的感受野。圖3（a）為r=1的普通3×3 卷積；圖3（b）為r=2的3×3 空洞卷積（實(shí)際為5×5 卷積）；圖3（c）為r=3的3×3 空洞卷積（實(shí)際為7×7 卷積）。

在視網(wǎng)膜血管分割任務(wù)中，設(shè)輸出特征值為y，像素點(diǎn)值為i，則空洞卷積的定義為：

式中，ω為卷積運(yùn)算，k為原始卷積的尺寸，x為卷積輸入特征值，r為空洞卷積擴(kuò)張率。上述算法有效解決了原始卷積層對(duì)特征提取水平過(guò)低的問(wèn)題，但在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，采用過(guò)大的擴(kuò)張率會(huì)使上采樣過(guò)程中特征向量過(guò)于稀疏，導(dǎo)致無(wú)法進(jìn)行特征采樣，分割結(jié)果信息不連續(xù)[6]。因此文中算法采用金字塔型空洞卷積結(jié)構(gòu)，將擴(kuò)張率限制在中等的閾值之中。其擴(kuò)張率設(shè)置公式[7]為：

式中，Ml為第l層的最大擴(kuò)張率，rl為第l層的擴(kuò)張率。改進(jìn)后的金字塔空洞卷積使用小擴(kuò)張率的卷積層提升視網(wǎng)膜血管細(xì)節(jié)的檢測(cè)能力，使用大擴(kuò)張率的卷積層增大特征映射的感受野，改善因圖像對(duì)比度低導(dǎo)致準(zhǔn)確率低的問(wèn)題，解決原始空洞卷積中擴(kuò)張率選擇不當(dāng)導(dǎo)致分割效果差的情況。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)簡(jiǎn)介

文中實(shí)驗(yàn)?zāi)Ｐ突赥ensorFlow 框架，實(shí)驗(yàn)環(huán)境配置為Intel Core i7-6850K 處理器，顯卡為NVIDIA GeForce GTX 1080Ti，內(nèi)存為11 GB。

文中實(shí)驗(yàn)數(shù)據(jù)庫(kù)采用眼底視網(wǎng)膜分割研究常用的數(shù)據(jù)庫(kù)：DRIVE 數(shù)據(jù)庫(kù)[8]。該數(shù)據(jù)庫(kù)包含40 張分辨率為565×584的視網(wǎng)膜眼底圖像，由官方劃分為20 張訓(xùn)練集和20 張數(shù)據(jù)集，自帶兩張金標(biāo)準(zhǔn)圖像和掩膜。

2.2 數(shù)據(jù)預(yù)處理

為提高分割結(jié)果水平與訓(xùn)練學(xué)習(xí)能力，在網(wǎng)絡(luò)訓(xùn)練前對(duì)該數(shù)據(jù)庫(kù)中的訓(xùn)練集首先進(jìn)行綠色通道[9]提取預(yù)處理，再進(jìn)行數(shù)據(jù)擴(kuò)充。數(shù)據(jù)擴(kuò)充的過(guò)程為：以0°、45°、90°、135°、180°為旋轉(zhuǎn)軸旋轉(zhuǎn)，再進(jìn)行水平、垂直和鏡像翻轉(zhuǎn)擴(kuò)充到原來(lái)的15 倍，將原始DRIVE 訓(xùn)練集圖像變?yōu)?00 張；將圖像隨機(jī)裁剪為48×48的訓(xùn)練集圖像塊，抽取180 000 塊進(jìn)行下一步實(shí)驗(yàn)。測(cè)試集不進(jìn)行數(shù)據(jù)預(yù)處理。

2.3 實(shí)驗(yàn)結(jié)果分析與對(duì)比

為驗(yàn)證分析文中方法對(duì)眼底視網(wǎng)膜血管的分割性能，確定其算法水平，除了使用準(zhǔn)確率(AC)、敏感性(SE)、特異性(SP)3 個(gè)最常用的參數(shù)進(jìn)行評(píng)估，還用了F1 值評(píng)估分割水平[2]。F1 值越高，表示該算法對(duì)眼底視網(wǎng)膜的分割結(jié)果與金標(biāo)準(zhǔn)圖越相似。其公式如下：

其中，TP、FP、TN、FN分別表示真陽(yáng)率、假陽(yáng)率、真陰率和假陰率，實(shí)驗(yàn)結(jié)果如表1 所示。通過(guò)與金標(biāo)準(zhǔn)圖像結(jié)果進(jìn)行比較，可以驗(yàn)證文中算法基本可以完成眼底視網(wǎng)膜血管分割任務(wù)。

表1 算法分割性能結(jié)果

DRIVE 數(shù)據(jù)庫(kù)部分圖像分割結(jié)果，如圖4 所示。由圖可知，文中算法在血管分叉處分割出更詳盡的細(xì)小血管形態(tài)，在粗細(xì)血管交替處中也有較好的連通性，分割血管處較完整，較原始U-Net 算法信息完整度與敏感性都有較大提升。

圖4 DRIVE數(shù)據(jù)庫(kù)部分圖像分割結(jié)果

為更好地說(shuō)明文中所提算法在視網(wǎng)膜血管分割方法領(lǐng)域的水平，使用上述的評(píng)價(jià)指標(biāo)將文中算法與當(dāng)前文獻(xiàn)進(jìn)行了比較，結(jié)果如表2 所示。基于DRIVE 數(shù)據(jù)庫(kù)進(jìn)行對(duì)比，文中方法的準(zhǔn)確率AC達(dá)到 了0.953 9，SE為0.784 2，SP為0.980 4，F(xiàn)1 值 為0.821 3，與文獻(xiàn)[2]中原始U-Net 分割結(jié)果相比，準(zhǔn)確率、敏感度有明顯的提升，說(shuō)明文中算法具有先進(jìn)的血管分割能力，在一定程度上提升了原始算法的綜合性能。

表2 算法分割性能結(jié)果比較

3 結(jié)論

文中改進(jìn)了原始U-Net 視網(wǎng)膜血管分割算法，將編碼器與解碼器中的原始卷積層改為Inception 模塊結(jié)構(gòu)，在不擴(kuò)大網(wǎng)絡(luò)學(xué)習(xí)參數(shù)的同時(shí)增大了提取信息特征向量的感受野；將原始U-Net的底部池化層改為金字塔型的空洞卷積，提取多尺度血管特征，有效解決了細(xì)小血管能力較差、背景混亂導(dǎo)致的分割結(jié)果誤差，更好地捕捉了目標(biāo)的形態(tài)結(jié)構(gòu)。在未來(lái)的工作中，可以研究由于圖像存在不同病灶、眼底血管復(fù)雜多變條件下的分割方法，對(duì)現(xiàn)實(shí)臨床醫(yī)學(xué)工作有著重要的意義。