基于全連接條件隨機場模型的眼底圖像血管分割

（沈陽工業大學信息科學與工程學院，沈陽110870）

1 引言

眼底圖像又被稱為視網膜圖像，是人眼內表面的彩色投影圖像。大多數的疾病可以通過觀察眼底圖像中的血管樹、視神經盤、中央窩等內部構造的變化來診斷、預防和治療[1]。使用計算機輔助方式對眼底圖像中血管網絡的結構特征進行準確檢測和定量分析是醫生完成眼底圖像分析的基礎，其準確性和實時性影響著對疾病的診治效率[2]，因此眼底圖像的血管分割一直都是醫學圖像處理和機器智能領域的研究熱點。

2002年Zana和Klein基于數學形態學[3]的思想和線性處理的方法提出了一種視網膜血管分割方法。該方法首先定義了四種不合需要的模式的幾何模型，以便能夠從各種噪聲環境中分離出血管；然后運用數學形態學方法從視網膜圖像中提取線狀結構，接著使用Laplacian算子計算出曲線的不同屬性；最后根據曲線的曲率差異提取血管。這種方法的優點是速度快，對噪聲不敏感，缺點是血管的其他有效特征沒有得到充分利用且分割結果中血管的連續性較差。

2006年Soares等人[4]利用小波變換理論提出了一種基于2D Gabor變換的快速分割方法。該方法采用了像素灰度值和各尺度下的2D Gabor小波變換響應[5]結果作為特征向量，使用貝葉斯高斯混合分類器對血管特征進行識別。此方法的缺陷是在像素特征選取方面僅考慮了圖像的2D Gabor濾波信息，忽略了血管的形狀和結構信息，但其分割結果中容易出現血管融合的現象。

2013年Nguyen等人[6]提出了一種從視網膜圖像中自動提取血管的有效方法。該方法基于對基本線性探測器的長度的改變，使其可在不同尺度上進行分割，同時又保持了原探測器的強度，消除了各探測器的缺陷，由線性探測器在不同尺度上的響應的線性組合產生了最終分割結果，但其在血管檢測中出錯的問題比較嚴重。

2015年王曉紅等人[7]以視網膜2D Gabor小波變換為基礎，針對視網膜粗血管和細血管分別進行提取，提出了一種基于多尺度2D Gabor小波變換的視網膜血管自動分割方法。該方法只使用了低分辨率圖像，并沒有擴展到高分辨率眼底圖像。

2016年吳奎等人[8]針對單一的2D Gabor算法性能的缺陷，提出了一種基于2D Gabor小波變換和組合線檢測算子的視網膜血管自動分割方法，但同樣該方法并沒有應用于高分辨率眼底圖像。

實際上，眼底圖像中血管像素之間不是相互獨立的，而是具有互相影響的特點，這一特點恰恰可用條件隨機場理論中的線性鏈結構進行描述，故此提出一種基于全連接條件隨機場（Fully Connected Conditional Random Field，FC-CRF）模型的眼底圖像血管分割方法。該方法不僅考慮了眼底圖像的像素特征，同時還考慮了像素之間的相互作用，很好地改善了細小血管處的錯誤分割、血管融合等問題，提高了血管的連續性以及分割的準確性。研究中采用不同的支持向量機（Support Vector Machine，SVM）實現了對不同像素的分類以及對此方法所涉及參數的自動調節。另外，通過調整不同數據集上的最佳特征參數，解決了在不同分辨率圖像中特征提取不成比例的問題。本研究的精華之處在于，將一種用于大面積分割事物的方法成功應用于眼底圖像之中，使之不僅可以大面積分割目標圖像中的事物，還可以分割例如血管之類的微弱結構，并通過SVM實現像素的分類以及參數的自動調節，最終應用于不同分辨率的眼底圖像。本研究將以兩個公開數據集中的眼底圖像為實驗對象，對所提算法進行驗證，并與現有方法進行了對比。對比結果表明從分割圖片和評估值上均可體現出該算法的高效性和實時性。

2 選用數據及實現方法

2.1 數據集的選用

根據實際情況，選取兩個公開的數據集DRIVE和HRF中的圖片來進行研究和驗證。

DRIVE[9]數據集中的所有圖片來源于荷蘭的一個糖尿病篩查項目。該項目的篩查對象為25歲至90歲之間的400人。數據集包含40張彩色眼底照片，其中有7張是有輕度糖尿病病癥的圖像，33張無任何病變；全部眼底圖像被平均分為訓練集和測試集。這些圖像使用Canon CR5無需散瞳的3CCD照相機以45°為拍攝角度進行拍攝，得到像素為565×584、格式為JPEG的彩色眼底圖像。

HRF[10]數據集中包含15張健康的彩色眼底圖像、15張糖尿病患者視網膜病變圖像、15張青光眼患者視網膜病變圖像。照相機以60°為拍攝角度進行拍攝，得到像素為3304×2336、格式為JPEG的彩色眼底圖像。

本試驗中，將每種圖像的前五張組成訓練集，其余的圖片作為測試集。

2.2 實驗方法

研究所采用的方法一共包括三個部分：預處理、特征提取、血管分割。整體方法結構如圖1所示。

圖1 方法結構圖

(1)預處理

大多數圖像處理方法中的特征提取采用的都是原始彩色眼底圖像的綠色通道的灰度圖像[11]。本研究考慮到相機邊緣光圈會造成邊緣的錯誤檢測，使用[4]中所提出的方法對圖像進行預處理，對綠色通道圖像邊界進行擴充，然后取其反轉圖像。實驗選用的原始圖像如圖2(a)所示，預處理后的圖像如圖2(b)所示。

(2)特征提取

在特征提取部分，選用了廣泛應用于眼底圖像血管分割領域的特征提取方法，分別對一元特征和成對特征進行提取，即采用Nguyen等人提出的多尺度線性檢測器響應以及二維Gabor小波響應來提取一元特征，采用Zana等人提出的形態學方法來提取成對特征。

Nguyen等人提出的多尺度線性檢測器利用血管為細長結構的屬性，將一條長為l的直線以不同的角度通過目標像素P來計算像素的平均強度[6]。從所有考慮的方向中選擇具有最大平均強度的線Ll(P)，通過做差的方式得到像素的譜線強度Sl(P)=Ll(P)-Ns(P)，是以P為中心，邊界長度為s的矩形窗口的平均強度。圖2(c)所示為多尺度線性檢測器所獲得的結果。

二維Gabor小波變換具有檢測取向特征的能力，并且可以調整特征頻率[4]。由于血管是以不同的大小和方向出現的，所以這種方法能夠有效地增強眼底圖像中的血管。此處選用Soares等人在[4]中提出的方法，在不同的尺度α計算特征，將圖像在不同尺度α的小波反應作為特征，如圖2(d)所示。

Zana等人利用血管是線性的、連續的且沿脊線變化是平滑的等特性來增強眼底圖像中的血管[3]。首先，使用長度為l的線性結構元素對圖像進行開運算操作以減少圖像中的噪音。再用同樣的結構進行多個頂帽形態操作，并對每個角度相應的響應求和。這個操作可以減少亮度較小的噪點，并且提高線性結構的對比度。然后通過使用窗口大小為7×7像素、標準差為7/4的拉普拉斯算子計算橫向曲率來檢測曲率線性相干的結構。最后，用連續的形態學開運算、閉運算去除對過亮或過暗的非線性的不規則區域和背景的錯誤檢測（以上三步使用相同的長度為l的線性結構）。由于連續使用形態學操作會降低血管與背景之間的對比度，因此為了提高眼底圖像的對比度，在使用此方法前會對眼底圖像進行額外處理：從原始彩色圖像的綠色通道中減去圖像的估計背景。估計背景是通過綠色通道圖片進行中值濾波后得到（濾波器的內核的大小要能夠確保模糊的圖像中不含有像血管一樣明顯的結構）如圖2(e)的結果。圖2(f)所示則為形態學方法所獲得的結果。

圖2 圖像預處理及一元特征、成對特征對比

(3)血管分割

CRF模型已被應用于道路檢測領域[12]，但是在道路檢測中只需要考慮近距離像素之間的相關性（例如四鄰域、八鄰域）就可以完成道路檢測。在醫學領域中，FC-CRF模型[13]也已經被用在肝臟和大腦腫瘤的分割中，但是目前FC-CRF模型只能用來定位事物的輪廓或者大面積的分割事物，應用于分割血管之類的微弱結構并不成功。不同于大面積的分割事物，眼底圖像中的血管非常細小且分支結構比較明顯和復雜，有時還會因為背景中存在不同的病變以及照明問題導致分割錯誤，因此要想準確分割出連續的、清晰的血管類微弱結構難度會大大增加。因此，考慮到眼底圖像在分割過程中像素之間存在不同轉移特征和狀態特征的特點，在此提出一種基于全連接條件隨機場模型的眼底圖像血管分割方法。該方法通過計算圖像中遠距離像素之間的轉移特征函數和狀態特征函數，不停訓練并調整權值向量以及特征圖譜，有效地增強了對于微弱結構的連結性的檢測能力。不同于[13]的是此算法能夠成功應用于分割整個眼底圖像，包括對其中分支結構明顯的細小血管的分割，而不只是對目標圖片中的事物進行大面積分割或檢測。

對應全連接條件隨機場模型理論，可把眼底圖像看作由點和線組成的無向圖。無向圖中的一個節點表示原眼底圖像的一個像素。根據連接規則，將各個節點和它的鄰居節點相連，如圖3所示。

圖3 CRF模型節點連接方式示意圖

在該無向圖中，任何兩個結點間均有邊連接的節點子集稱為團。若一個團中不能再加進任何一個節點使其成為更大的團，則稱其為最大團。根據不同的連接方式在眼底圖像中會形成不同的最大團。CRF模型的連接方式可以分為以下兩種：

(1)局部鄰域CRF(Local neighborhood based CRF，LNB-CRF)：常用的局部鄰域連接方法一共有三種：四鄰域、八鄰域以及D鄰域。圖3(a)為四鄰域的連接示意圖。圖3中節點為眼底圖像的像素點，黑色點是根據不同的連接規則進行能量計算的像素點。

(2)FC-CRF：全連接方法是假設無向圖中的任意節點都與無向圖中的其余節點相連，如圖3(b)所示。

如果無向圖模型能夠表示成一系列最大團的非負乘積形式，這個無向圖模型的概率分布就稱為吉布斯分布，于是求最大后驗概率被轉化為求能量函數的最小值。因此在CRF中可將分割問題看作是能量最小化問題。

為了分割血管像素和非血管像素，首先定義一個標簽空間L={-1,1}用于對眼底圖像I中所有像素進行標識，1表示該像素是血管，-1表示該像素為非血管，此處用y={yi}表示眼底圖像I中所有像素的標簽。這樣，由對眼底圖像I和其中所有像素的標簽y組成的條件隨機場{I,y}可以用吉布斯分布表示為：

式中，Z(I)是一個歸一化常數，G是與I相關的無向圖，CG是G中的團，yc為無向圖中最大團的像素標簽，Ψc為勢函數。式(1)表示在給定圖像I的情況下，求得標簽y的條件概率函數。定義式(1)中吉布斯能量函數為：

通過最小化式(2)中得到的能量，可以得到眼底圖像血管的二值分割[14]：

為了表示方便，用Ψc(yc)表示Ψc(yc|I)。

上述的吉布斯能量函數可以分為一元能量函數和成對能量函數兩種。一元能量函數是通過紋理、顏色等一元特征計算得到的；但是眼底圖像具有復雜性和多樣性（例如：光照不均勻、病變等因素），僅僅提取一元特征是不夠的，還需要結合像素之間的相互作用（成對特征）進行分析，成對能量函數即是通過成對特征計算得到的。因此，在此將能量函數分別對一元能量函數和成對能量函數來進行分析。假設在無向圖G中的標簽為y，其總能量是通過對一元能量函數和成對能量函數求和得到的（Ψu和Ψp分別表示一元能量函數和成對能量函數），如下式：

式中xi和fi分別表示從眼底圖像中提取的一元特征和成對特征。

因此根據上文所述，能量函數計算流程如圖4所示，且有下述三點論證：

圖4 能量計算流程圖

1)一元能量函數

一元能量函數(Unary Potential,UP)是通過提取眼底圖像的一元特征計算得到的。在CRF模型中一般采用紋理、顏色、位置、形狀等圖像特征來訓練分類器，然后在分類器的分類結果上計算CRF模型所需的一元能量函數值。

在LNB-CRF模型和FC-CRF模型上一元能量函數的計算公式是相同的，可根據下式計算得到：

2)成對能量函數

成對能量函數(Pairwise Potential)是通過提取的眼底圖像的成對特征計算得到的。傳統的CRF模型一般采用鄰域連接的結構（實驗中采用四鄰域連接的方式），但是這很難將較遠處的同類像素與之聯系起來，而FC-CRF模型則考慮了所有像素點之間的聯系，提高了眼底圖像中血管的連通性，并且有助于細小血管的分割。

成對能量函數定義為高斯核函數的線性組合，因此，成對能量可以根據下式計算得到：

式中每個k(m)都是一個任意特征f(m)的固定函數，wp(m)是權重的線性組合，滋(yi,yj)是表示標簽兼容性的函數，利用Potts模型將兩個相似的像素分為不同的標簽，避免了不利因素的存在。高斯內核通過f(m)確定連接的像素之間的相似度，LNB-CRF和FC-CRF有不同的內核函數計算公式。

LNB-CRF模型定義在網格圖上，以四鄰域結構連接為例，可根據下式計算得到核函數：式中，θ(m)是帶寬，調節不同圖像特征的相關性，f(m)表示提取的眼底圖像特征。

FC-CRF模型是假設無向圖中每一個節點都與圖中其余節點相連接。此方法不僅考慮節點周圍的鄰域信息，還能夠考慮遠距離像素間的相互作用，從而提高了分割的精確度，但是也使得計算量和推理過程大大增加，因此實驗中選用[13]等人最近提出來一種基于原始CRF的平均近似場理論，可以提高計算速度，在幾秒鐘內產生準確的血管分割圖像。全連接模型的核函數有以下形式：

式中pi和pj是像素i和j的坐標向量。內核寬度θp和θ(m)調節式(8)中像素和特征之間的相關性程度；表示提取的眼底圖像特征，例如，隨著θp的增加，考慮的更多是遠距離之間的相互作用，與之相反，若θp減小，只有局部鄰域結構會對分割結果產生影響。

3)像素分類

線性分類器有三大類：感知器準則函數、支持向量機(SVM)[14]、Fisher準則。SVM是很經典的算法，優化目標是最大間隔（margin），又稱最大間隔分類器，是一種典型的線性分類器，通過使用核函數可解決非線性問題。因此實驗選用SVM進行像素分類。

對于式(5)中涉及到的權值向量憎以及式(6)中涉及到的特征圖譜漬(s,y)，在實驗中是通過兩種不同的SVM訓練得到的：

(1)第一種訓練方式

用具有邊緣調整能力的支持向量機SVM來對全連接模型進行訓練分類，并完成參數的自動調節。這種訓練方式可以應用于多個領域的高度復雜且精確的模型中，有助于眼底圖像的血管分割[15]。具體過程為：

首先，使用[16]中提出的具有邊緣調整能力的SVM的計算得到憎。先假設一個訓練集S={(s(1),y(1)),...,(s(n),y(n))}，其中，n表示訓練的眼底圖像的數量，y(i)表示的是訓練集中第i張圖片所對應的專家人工分割圖像。每個集合S(i)={x(i),β,f(i))中包括每張圖像的一元特征集合x(i)，偏差常數茁=1，以及成對特征集合f(i)。若特征圖譜函數與損失函數之間滿足下式那么權值向量憎為：

其次，計算特征圖譜：

則眼底圖像特征圖譜分別通過下式計算得到：

(2)第二種訓練方式

選用結構化最小支持向量機（Structural Least Squares Support Vector Machine，SLSSVM）對僅考慮一元特征時的眼底圖像進行訓練分類，并完成參數的自動調節。

SLSSVM是將SVM中的不等式約束改為等式約束，通過求解方程組得到兩類超平面，即若特征圖譜函數與損失函數之間滿足：

那么權值向量w為：

SLSSVM通過將不同的數據分成不同的簇結構，引入樣例均值和協方差矩陣來考慮數據的分布情況，這樣也就使分類器的泛化能力得到增強。

2.3 比例模型

比例模型被用來調整在不同分辨率圖像中特征不成比例的問題。一般來說，各個方法中所涉及的參數會影響特征的提取結果，這些參數通常與血管屬性（例如血管口徑）相關，同時也與圖像分辨率相關。例如，2D Gabor小波的響應取決于其尺度琢。同樣，Nguyen等人的線檢測器和Zana等人的形態學方法分別取決于檢測器或線性結構元件的長度l。大多數的特征參數最初是根據低分辨率圖像（例如DRIVE數據庫）設置的。當將這些參數應用于高分辨率圖像時，特征提取過程可能會不成比例，那么系統的性能就會顯著降低。

因此，當系統應用于不同分辨率圖像時，需要對其中的一些參數進行適當的調整，由于所包含的參數及其組合屬于高維空間，所以手動調整參數的方法并不可行。因此，針對所選的分割方法提出一種簡單的調節方法，通過調整每個數據集上的最佳特征參數來代替調整每個數據集的分辨率，保證在高分辨率圖像中也能夠成比例的提取特征從而保證了系統性能不會降低。然后，通過乘以修正系數籽=xnew/xtraining來調整這些參數，其中xtraining表示眼底圖像中視場(Field of View,FOV)的平均寬度，xnew表示新圖像中FOV的平均寬度。由于分辨率的變化與FOV區域內相關聯的像素數量的變化有關，這種簡單的方法近似于有關縮放特征計算的不變性。

3 實驗結果

3.1 評價指標

將分割結果與數據集中提供的標準分割相比較，可得到七種不同的測量結果，這些結果都是根據真陽性 TP(true positive)、真陰性 TN(true negative)、假陽性 FP(false positive)、假陰性 FN(false negative)的數量計算得到，并且只考慮FOV區域內，具體參數定義如表1。

表1 血管分割的性能指標

其中N=TP+TN+FP+FN是圖像中像素總數，S=(TP+FN)/N,P=(TP+FP)/N。靈敏度（Se也稱為召回率Re）衡量方法正確檢測血管的能力，特異性（Sp）則是區分其它非血管結構能力的指標。然而，盡管需要較高的Se值，但是必須與Sp結合進行分析，因為如果將所有像素標記為血管，則可以將Se最大化。精度（Pr）正確識別出血管像素所占的比例。此外還使用馬修斯相關系數（MCC），F1-score（F1）以及 G-mean(G)作為整體性能的評估指標，因為相比于準確率（ACC）更適用于評估非平衡數據（非平衡數據集是指陽性數據在整個數據集中所占比例很小）。MCC是人工分割與預期分割之間的相關系數，已經廣泛用于評估視網膜血管分割方法。F1-score(F1)是精度和召回率的諧波均值，是一種統計量，F1越高說明實驗方法越有效[17]。同樣，幾何均值G-mean(G)也是非平衡數據集學習常用的評估指標，通過獲取和的幾何平均數來進行評估，返回一個介于0和1之間的數。最后，生成ROC曲線，通過計算得到曲線下的面積(AUC)。根據ROC曲線的定義，ROC曲線下面積應在1.0和0.5之間。在AUC>0.5的情況下，AUC越接近于1，說明診斷效果越好。AUC在0.5耀0.7時有較低準確性，AUC在0.7～0.9時有一定準確性，AUC在0.9以上時有較高準確性。AUC=0.5時，說明診斷方法完全不起作用，無診斷價值。AUC<0.5不符合真實情況，在現實中很少出現。

3.2 測試結果

表2分別給出了僅用一元能量和使用實驗算法所得出來評估結果。訓練LNB-CRF模型時，由于SVM給局部能量函數的權重wp一個幾乎為0的值，同時又不會更改一元能量函數的權重，導致使用LNB-CRF所獲得的分割結果與只使用一元函數獲得的結果相同，所以表中不包含使用LNB-CRF所獲得的結果以及其評估值。與之相反，當訓練FCCRF模型時，具有邊緣調整能力的SVM為wp分配了一個非零值，并且還會修改一元特征和偏差項的權重，這意味著成對能量函數會對其他參數造成影響并且有助于預測函數。

表2 在DRIVE集和HRF集上的評估結果

從DRIVE數據集上的評估值中可以觀察到，雖然成對能量函數在提高Se值的同時略微的降低了Sp值，但是從F1值、G值、MCC值的改善可以看出，Se的改善程度是要高于Sp的降低程度的。同樣的，在HRF數據集中，一些相應的值都得到了改善。

圖5所示為實驗算法對DRIVE集中的20幅測試圖像所得的性能指標。包括各個圖像的敏感度、特異性以及分割的準確度。從圖中可以看出本文的敏感度和特異性值較高，這說明實驗方法的分割更準確，其準確性的均值可以達到0.9486，這高于Gabor分割方法的平均準確性0.9466、形態學分割法的平均準確性0.9320以及多尺度線性檢測器方法的平均準確度0.9407。

圖5 血管分割的性能結果

圖6所示的分割結果中包含原始數據集中的彩色圖像、專家手動分割結果、僅考慮一元特征的分割結果以及全連接條件隨機場的分割結果。從中可以看出，相比于圖6(c)、6(g)僅考慮一元能量的分割結果，圖6(d)、6(h)使用FC-CRF模型分割的血管圖像中包含更多的細小血管，改善了血管結構的連通性，并且與專家手工分割的血管更為相似。圖5中的圖像分別取自DRIVE集和HRF集，因此可以證明實驗方法無論是應用于低分辨率圖像還是高分辨率圖像都有很好的分割結果。

圖6 分割結果

在圖7中，圖7(a)為形態學方法的分割圖像，圖7(b)為Gabor小波變換后的分割圖像，圖7(c)為多尺度線性檢測器的分割圖像,圖7(d)為使用本研究中提出的實驗方法所獲得的分割圖像，從圖中可以看出與形態學方法的分割圖像（如圖7(a)）相比，實驗方法所獲得血管的連通性更好。與Gabor小波變換的血管分割圖像（如圖7(b)）相比，血管融合的情況得到了改善。與線性檢測器增強的血管分割圖像（如圖7(b)）相比，錯誤的血管檢測較少。因此，相比于其他的血管分割方法本文方法更接近專家的手動分割結果。

圖7 分割結果

圖8是實驗方法生成的ROC曲線。曲線下面積的均值可以達到0.9476，這說明此方法有較高的準確性。M.Niemeijer等人[18]的方法獲得的曲線下面積為0.9294，M.A.Amin等人[19]的方法獲得的曲線下面積為0.9360，T.Chakraboriti等人[20]的方法所獲得的曲線下面積為0.9419，均小于此方法獲得的曲線下面積值。

圖8 DRIVE集上的ROC曲線

表3是將實驗方法（屬于監督式）與其它現有監督式、非監督式方法進行比較所獲得的評估參數值。從表中的評估值可以看出相比于Soares、Wang等人的方法，此法的敏感度有所提升，雖然在特異性方面沒有其他方法所獲得的數值高，但是從F1、G以及MCC的值可以看出，實驗方法敏感度的改善程度要高于特異性的降低程度。盡評估值沒有很大程度的提升，但已相當接近于專家手動分割值。

表3 在DRIVE集上評估值對比

上述數據均說明本研究所用的實驗方法的分割結構在性能參數上相對優勢較高，對血管和非血管的定位更加準確。

4 結束語

結合條件隨機場理論與眼底圖像血管分割問題，提出一種基于全連接條件隨機場模型的眼底圖像血管分割方法，具體工作包括：使用條件隨機場模型實現眼底圖像血管分割;使用不同的支持向量機對分割過程中不同的像素進行分類并對實驗涉及參數自動調節。通過調整不同分辨率圖像的最佳特征參數避免特征提取不成比例的問題，確保了分割結果的準確性。在兩個有著不同分辨率的數據集DRIVE和HRF上進行評估，結果表明，此方法既可以用于低分辨率圖像又可以用于高分辨率圖像。在評估值方面，不僅使用了敏感度、特異性以及準確率來證明方法的有效性，還使用更具代表性的評估值F1、G-mean以及MCC進行評估。通過與現有方法評估值的對比可以看出，此方法可以較好地提高敏感度、改善特異性。