區域生長和U-Net結合的視網膜血管分割系統設計與實現

蔣夢朵，張鵬宇，張書赫，孫心月，陶黎明，周金華

中國盲人數目約500萬人，占世界盲人總數的18%[1]。心腦血管疾病是歐洲可預防性失明的最常見原因[2]。視網膜血管是全身血管系統中唯一可以無創直接觀測到的部分。Razieh et al[3]指出視網膜血管作為心腦血管疾病檢查的重要部位。在心腦血管疾病檢查中，2D彩色眼底圖[4]相比于3D光學相干斷層掃描[5]有更好的優勢，不僅可以降低成本，而且適合做大規模篩查工作。但是心腦血管疾病的臨床診斷主要依靠于眼科醫師的專業判斷及計算機輔助診斷[6]，并且視網膜血管分割算法主要在編寫腳本程序中進行的，需要進行大量參數調整，不便于觀察可視化結果。該研究旨在設計并開發一種區域生長和U-Net結合的視網膜血管分割處理系統。

1 材料與方法

1.1 數據集DRIVE是一個最常用于血管分割的數字視網膜圖像數據集，它由Nieneijer團隊于2004年組成[7]，包括一組20張訓練圖像和一組20張測試圖像，圖像分辨率均為565×584像素，其中7張顯示輕度早期糖尿病視網膜病變跡象。此外，STARE數據集也是用來進行視網膜血管分割的彩色眼底圖數據庫，包括20張眼底圖像,圖像分辨率為605×700像素。這兩個數據集中每個彩色眼底圖像分別對應著兩組標準的視網膜血管分割結果，本文統一使用第一組專家分割結果做性能分析。

1.2 U-Net網絡匹配濾波模型[8]、數學形態學模型[8]能夠實現視網膜的半自動血管分割，算法簡單，分割精度較高。為了實現是視網膜的全自動分割，U-Net網絡[9]早在2006年就被Hinton提出，其主要由兩大核心部分組成，第一部分為收縮路徑，用于下采樣；第二部分為擴張路徑，用于上采樣，如圖1中間部分所示，圖中卷積層上的數字表示輸出的特征通道數，下采樣過程中通道數增加，上采樣過程中通道數減少。視網膜圖像(見圖1A)輸入U-Net網絡之前，需要對所有訓練集和測試集進行預處理操作[10]以增強血管與背景的對比度，見圖1B。由于數據集的樣本量較少，為獲取大量的數據來擬合模型參數，對數據集進行隨機區塊(見圖1C，圖像分辨率為64×64像素)提取以達到數據擴增的目的。兩個卷積層后面接ReLU激活函數[11]，該函數的主要功能是克服梯度消失現象。為學習區分視野邊界與血管，U-Net網絡需要加入掩膜區塊圖像(見圖6E)。為實現基于整張圖像的自動分割，收縮路徑與擴張路徑上的卷積層的邊界填充均設置為1，采用卷積核大小為1和輸出特征通道數為2的卷積層作為網絡的輸出，輸出結果見圖6G。U-Net網絡不僅能支持少量樣本的訓練模型，針對每個像素點進行分割以獲得更高的分割準確率，而且訓練本身具有自我調節的過程和權重劃分，有效的卷積層能大幅度地降低訓練時間，同時引入圖像鏡像操作，更好地對數據進行訓練。本網絡采用交叉損失熵作為損失函數[12]，像素點經Sigmoid函數[13]映射以輸出血管像素的概率。

圖1 U-Net網絡的可視化結構(以DRIVE為例)

1.2 區域迭代生長經U-Net網絡對視網膜血管進行初次分割后，盡管視盤區域的血管分割和整個血管網絡中的絕大多數血管分割有了顯著效果，但細微視網膜血管仍存在漏分割的現象。為此，借助“視網膜血管網絡是相互連通的血管樹構成”這一先驗知識[14]，在基于U-Net網絡的初步分割的基礎上對視網膜血管樹進行區域生長，具體過程如下：① 對視網膜圖像(見圖2A)進行綠色通道歸一化處理，結果見圖2B。② 將歸一化后的視網膜圖像經均值濾波(卷積核大小為100)后得到背景圖像，歸一化后的視網膜圖像與背景圖像相減得到(見圖2C)的濾波增強圖像。③ 選取視網膜血管的“種子點”：利用四個方向(45°、90°、135°和180°)的線檢測方法對濾波增強圖像進行單像素的血管中心檢測，檢測結果如圖2D～G所示。接著將四個方向的線檢測結果疊加得到如圖2H所示的視網膜血管“種子點”分布圖。④ 區域迭代生長：利用區域生長法和梯度信息對視網膜圖像中的血管區域進行迭代生長和分類。由于視網膜血管樹是一個相互連通的區域，血管部分一般處于梯度較低的區域，在視網膜血管每個“種子點”像素位置上向8鄰域進行遍歷以尋找屬于血管的像素，血管與背景的判斷標準滿足[14]。

(1)

公式(1)中，ρ為像素的梯度值，α=1，每次迭代一次。由于視網膜血管邊緣像素的梯度值較高，參數μf?ρ可防止出現血管邊緣被歸為背景的情況。接著，再次進行區域迭代生長，直到所有像素分類完畢。本文中μf=0.0789和σf=0.0774時，圖2J是在基于U-Net網絡的分割結果的基礎上利用種子點和公式(1)得到的區域迭代生長以后的結果，即最終血管分割結果，與圖2I相比，細微視網膜血管分割效果得到進一步的提升。

圖2 獲取視網膜血管“種子點”的可視化結果

2 結果

2.1 系統配置實驗的仿真平臺為MATLAB，計算機配置為Intel(R) Core(TM) i7-7700 CPU @ 3.60 GHz，16G內存，Nvidia Quadro P4000 GPU，采用64位的windows10。

2.2 性能指標為了系統地定量分析本文血管分割結果的性能，使用三個指標來衡量區域生長與U-Net網絡(Region Growing and U-Net Network，RG-Unet)結合的算法性能。這三個指標為：

(2)

(3)

(4)

其中TP、TN、FP、FN分別為真陽性、真陰性、假陽性、假陰性。敏感度(sensitivity)表示正確分類的血管像素占真正血管像素的百分比；特異性(specificity)表示正確分類的非血管像素占真正非血管像素的百分比。如果提高分割的敏感性，必然降低其分割的特異性，反之亦然。準確率(accuracy)表示正確分類血管和非血管像素占整個圖像總像素的百分比。

2.3 視網膜血管分割結果圖3是對DRIVE眼底圖像庫測試集中編號為01_test、02_test和11_test的示例進行血管分割所得的可視化結果。其中，第一列為三個示例的原圖，第二列為第一位專家分割金標準圖像，第三列為本文算法進行視網膜血管分割的結果。由圖3B、C所示，視網膜血管的主干部分(如金黃色部分所示)都能被分割出來，只有少數微血管以及位于視盤邊緣的血管(如紫色和天藍色部分所示)被漏分割或錯誤分割。表1和表2分別是利用公式(2)-(4)計算DRIVE和STARE中20個示例血管分割的敏感度Sn、特異性Sp和準確率Acc所得的定量結果，經計算得敏感度Sn、特異性Sp和準確率Acc的平均值分別為0.7684、0.9821和0.977 7。根據表1和表2中的敏感度，說明本文方法能正確地分割絕大多數血管；然后根據表1和表2中的特異性，說明本文方法將背景錯誤分割為血管的概率較低(小于3%)；最終根據表1和表2的準確率，說明大部分血管和背景都能被正確地分割的概率高于96%。由圖3、表1和表2綜合看出，RG-Unet能分割出視網膜血管的主干部分，血管網絡具有較好的連續性和平滑性,可以高精度、可視化地觀察到視網膜血管結構。

圖3 三組血管分割結果

RG-Unet及匹配濾波、數學形態學和U-Net網絡四種模型分別對DRIVE眼底圖像庫測試集中編號為01_test、02_test和11_test三個示例圖像進行視網膜血管分割，所得的分割結果見圖4。其中，第一列為三個示例的原圖，第二列是DRIVE眼底圖像庫中第一位專家金標準圖，第3列至第6列分別是匹配濾波模型、數學形態學模型、U-Net網絡模型和RG-Unet對三個示例圖像進行視網膜血管分割的結果。RG-Unet及匹配濾波、數學形態學、U-Net網絡四種分割模型對DRIVE眼底圖像庫測試集中20個示例圖像進行視網膜分割所得敏感度Sn、特異性Sp和準確率Acc的定量結果見表3。在DRIVE眼底圖像庫測試集中選取4張存在輕度早期糖尿視網膜病變跡象的視網膜圖像經本文系統處理后的結果見圖5。其中第1行為4個示例的原圖，第2行為第一位專家金標準圖像，第3列為RG-Unet系統處理后的視網膜血管分割圖像，可以清晰地觀察到存在輕度早期糖尿視網膜病變跡象的視網膜圖像中的血管結構，醫師可通過血管結構的變化對人體患病的位置和程度有大致的判斷，有效地提高診斷與治療的效率，有效避免由于疾病導致的視覺損失。

表1 RG-Unet分割DRIVE眼底圖像庫中20個示例血管的定量結果

表2 RG-Unet分割STARE眼底圖像庫中20個示例血管分割的定量結果

表3 RG-Unet和三種模型分割 DRIVE眼底圖像庫的定量結果

2.4 系統功能在本研究中，利用MATLAB GUIDE實現視網膜圖像處理系統的過程可以分為用戶交互的圖形界面布局和相應功能實現的程序兩大部分。在第1節的研究過程中，本研究將用戶交互界面設計成兩大模塊，分別對應于兩個界面：主界面為視網膜圖像預處理模塊，如圖6所示；子界面為視網膜血管分割模塊，如圖7所示。

圖4 四種不同模型分割DRIVE眼底圖像庫01_test、02_test和11_test的結果

圖5 存在輕度早期糖尿視網膜病變跡象的視網膜圖像經系統所保存輸出的視網膜血管分割結果A：原始的視網膜圖像；B：DRIVE中第一位專家金標準圖像；C：經RG-Unet系統處理后保存輸出的視網膜血管分割圖

2.4.1視網膜圖像預處理模塊 視網膜圖像預處理模塊包括選擇圖片、選擇RGB通道、圖像歸一化、限制對比度自適應直方圖均衡化(contrast limited adaptive histogram equalization，CLAHE)和Gamma校正(gamma correction, GC)，見圖6。原始的視網膜眼底圖像顯示在界面的左上角，RGB通道中的綠色通道結果顯示在界面右邊區域左上角，歸一化圖像顯示在右邊區域右上角，CLAHE增強圖像和GC校正圖像分別顯示在界面右邊區域的左下角和右下角。

2.4.2視網膜血管分割模塊 視網膜血管分割模塊包括基于U-Net網絡的血管分割和再次區域生長的血管分割(最終分割結果)，見圖7。基于U-Net網絡的血管分割結果顯示在界面的左上角，RG-Unet分割結果顯示在界面的右邊區域。U-Net分割結果與RG-Unet分割結果顯示在一個界面，與初次分割結果相比，RG-Unet分割結果在微血管上有了進一步的改善，無需在程序腳本中進行調整參數，更便于調整前后結果的可視化觀察。

圖6 視網膜圖像預處理界面

圖7 視網膜血管分割界面

3 討論

在視網膜血管分割中，微血管分割一直是各種分割方法的研究重點[9]，為此，不同的視網膜血管分割模型被提出，如匹配濾波、數學形態學和深度學習等。基于匹配濾波的方法主要是通過計算濾波后圖像的最大響應值來提取血管分割圖像[14]，容易在視網膜視盤處(高亮部分)出現誤分割現象。為充分考慮血管自身的特性，數學形態學法直接對血管進行操作來彌補較弱的響應以實現血管分割[14]，分割后的血管上容易出現“空洞”，在血管連通性和平滑性上表現不好。根據大量的血管先驗知識，基于深度學習的方法開始被使用于視網膜眼底圖像處理中。U-Net網絡利用專家手工標定的訓練集訓練后對像素進行分類的有監督學習方法對血管進行自動提取[8]，這種方法在高亮部分和血管連通性上都處理得較好，但細微血管處的分割效果仍需要進一步的提升。RG-Unet就是將U-Net與區域生長相結合，利用四個方向的線檢測來尋找視網膜血管的“種子點”, 增加細微血管像素占真正血管像素的百分比，不僅能夠有效消除視盤處(高亮部分)的影響，正確地分割出大部分視網膜血管，具有較好的血管連續性和平滑性，而且能夠提升細微視網膜血管的分割效果。

盡管RG-Unet獲得了較好的視網膜血管分割效果，借助該系統能夠高精度、可視化地觀察視網膜血管結構，無需在程序腳本中進行調整參數，快速方便，但沒有進一步研究疾病與視網膜血管的形態屬性(如長度、寬度、彎曲度和分支角度等)的關系。因此，如何探究由RG-Unet系統獲取的視網膜血管的形態屬性與疾病的類型、程度之間的聯系是下一步的研究重點。

本研究利用MALAB軟件在算法實現以及可視化界面開發等方面的優勢，對視網膜圖像中的血管進行預處理并利用U-Net網絡原理進行視網膜血管初步分割，再通過利用區域迭代生長算法對視網膜血管進行二次分割。通過MATLAB GUIDE設計完成了視網膜血管分割系統，利用MATLAB編寫血管分割相關的腳本程序，進而視網膜血管分割的界面設計與功能實現。本研究提供了一個有效的眼底血管分割系統，在醫學圖像分割方面具有一定的研究與應用價值。此外，該系統具有界面交互性良好、操作簡單等特點，為醫師可視化地觀察視網膜血管結構的變化提供了一種有效的應用平臺，也為醫師判斷病變性質提供了思考方向。