融合邊緣和形狀先驗的MRF目標分割

張 微

(寶雞文理學院計算機科學系，陜西寶雞 721016)

圖像分割作為計算機視覺與圖像處理領域中極其重要的一項研究內容，是圖像分析與理解的關鍵步驟，在圖像工程中占有非常重要的地位［1－7］。對圖像中感興趣的目標進行分割成為目前研究的熱點。然而，當圖像受到噪聲、遮擋、陰影、復雜背景等因素影響時，圖像目標的精確分割往往會變得很困難，得不到較好的分割結果。目前，大多數圖像分割方法是對圖像的底層特征(如顏色、強度等)進行分割，但這并不足以克服上述困難。

形狀先驗是應對上述問題的一種有效方式，得到了越來越多的關注［8］。在實際應用中，待分割目標的形狀通常是已知的，可以利用該已知信息來指導分割過程，使分割結果向理想的形狀靠近。目前，形狀先驗在馬爾科夫隨機場(markov random fields，MRFs)模型與圖割(graph cuts)框架中的應用受到了廣泛的關注。文獻［9］將一種橢圓先驗形狀以參數曲線的形式加入到能量函數中，取得了較好的分割結果。但在通常情況下，待分割目標并不能用簡單的參數形式表示，這使其在應用中受到一定的限制。在文獻［10］中，形狀模板用水平集的形式表示，并以二階勢函數的形式加入到能量函數中。雖然形狀模板可以是任意的，但卻是單一固定的，并不能適應形狀的變化。文獻［11］將通量最大約束引入MRF模型，與其他兩種約束共同構成形狀先驗能量函數以改善分割結果。但該方法采用手工標記作為形狀模板，方法也較為單一，并且沒有提及形狀的變化。在上述方法中并沒有將圖像的邊緣信息考慮進來。圖像的邊緣也是圖像的基本特征之一，在圖像處理領域中有著廣泛應用［12－13］。如果能夠將圖像的邊緣信息進行有效的利用，那么在一定程度上可以幫助改善圖像目標的分割效果。

本文在MRF中同時引入邊緣和形狀先驗信息，建立了一種融合邊緣和形狀先驗的MRF模型，并用于對圖像目標的分割。形狀先驗先在包含多個形狀模版的訓練集上定義，解決了形狀對齊問題。相比于單一形狀模版的情形，它更加靈活，能夠反應出形狀的變化。圖像的邊緣信息再與形狀先驗相結合，轉化為勢函數的形式加入到能量函數中，最后通過graph cuts算法進行能量最小化得到分割結果。實驗結果表明:邊緣和形狀先驗的引入可以較好地約束目標邊界，減少遮擋、復雜背景等因素對分割結果的影響，取得較好的分割效果。

1 馬爾科夫隨機場目標分割理論框架

圖像目標分割問題可以被認為是一個標記問題。對于待分割圖像D，集合 P={1，…，m}對應于圖像中的m個像素;L={l1，…，ln}是n個標記的集合，對應于n個待分割的目標。目標分割的目的是尋找某種程度上最優的一個映射 φ:P→L，其中映射φ為P集合上隨機變量的一個場 F=(F1，…，Fm)，Fp表示像素p的隨機變量，從集合L上取值。向量f=(f1，…，fm)表示給隨機變量場標記分配的一個配置或標記，其中 fp表示分配給隨機變量Fp的標記。集合P的鄰域系統可以記為N={Np|?p∈P}，其中Np表示像素p∈P的鄰域集合。

在MRF建模中給定觀測圖像D時，標記f的后驗概率為Pr(f|D)。根據Hammersley-Clifford原理［14］，一個 MRF等價于一個 Gibbs隨機場(GRF)，以Gibbs分布的形式表示為

Gibbs能量函數可以進一步表示為一階勢函數Vp(fp)和二階勢函數Vpq(fp，fq)之和的形式:

式(3)中:Vp(fp)衡量給定觀測圖像D時為像素p分配標記fp的懲罰，該懲罰僅與像素p的特征有關;Vpq(fp，fq)表示同時為像素p分配標記fp與為其相鄰像素q∈Np分配標記fq的懲罰，該懲罰通過相鄰像素間的相似性來描述相鄰像素間的相互作用關系。

最優標記f*通過最大化后驗概率獲得，等價于Gibbs能量函數的最小化。

由于本文僅考慮單一目標(目標/背景)的分割問題，標記集合取值為L={0，1}，其中:0對應背景;1對應待分割的目標。

2 融合邊緣和形狀先驗的馬爾科夫隨機場目標分割模型

前面已經給出了基于MRF的目標分割理論框架，為了將邊緣和形狀先驗信息引入，能量函數可定義為3部分:

其中EA(f)，EB(f)和ES(f)分別表示外觀(appearance)先驗能量項、邊緣能量項以及形狀先驗能量項，分別采用一階或二階勢函數或兩者相結合的形式定義。

2.1 外觀先驗

式(5)中的EA(f)能量根據待分割目標的特征信息來建模，采用一階與二階勢函數相結合的形式定義為如式(6)所示的形式。

式(7)中:Pr(dp|fp=i，θ)表示類概率密度函數，這里采用高斯混合模型來建模;dp表示像素p的特征向量;θ是高斯混合模型中的參數，通過極大似然法估計得到。

式(9)中:K(p，q)是一個非負權值，這里用它來懲罰相鄰像素之間的不連續性;dp表示像素p處的特征向量;γ用來衡量二階能量函數的相對重要性;σI可看作噪聲的估計值。

2.2 邊緣的引入

本文引入圖像的已知特征邊緣，通過對待分割目標的邊界進行約束，達到指導圖像目標正確分割的目的。需要將其轉化為勢函數，加入到能量函數中，通過能量最小化過程，使結果向目標邊緣收斂，那么目標邊緣處的能量應該是最小的。本研究先使用canny算子對圖像進行邊緣提取，再對該結果做距離變換，計算像素 p到距離其最近的邊緣上點q的距離。除此之外，還將圖像梯度轉化為參數以調節該距離。對于圖像邊緣上的任意一個像素點p，其到自身的距離為0。因此，圖像的邊緣距離變換可以用符號B表示，如式(10)所示。

式(10)中:Bp表示圖像中任意一個像素點p的邊緣距離變換結果;μ用梯度幅值來調節像素點到距離其最近的邊緣上點的距離大小，且gradp是像素p處的梯度幅值，c是圖像中所有像素梯度幅值的均值。若像素p在邊緣附近，則其梯度幅值越大，其倒數值越小。dist(p，q)為像素點p和點q間的歐式距離。對于圖像中的任意一個像素點p，若其不在邊緣上，則可計算出距其最近邊緣上點之間的歐式距離。p距邊緣越近，則該距離變換值也就越小，反之則越大;若其在邊緣上，則該值為0。

邊緣能量項EB(f)采用如下的形式定義:

權值g(p，q)用來計算出相鄰像素點p和q的邊緣距離變換結果，該值越小，表明它們距離邊緣越近，屬于不同類別的概率越大。參數γ與式(9)相同，用來權衡二階勢函數的相對重要性。與外觀先驗中的二階勢函數類似，這里也考慮相鄰像素間的相互作用關系，若其標記相同，則懲罰為0;反之，懲罰也會越大。顯然，越靠近目標邊緣的點懲罰也會越小，反之越大。

邊緣這一已知圖像特征的利用增加了對目標邊界的有效約束，能夠在一定程度上幫助目標的準確分割。

2.3 形狀先驗的表示及形狀對齊過程

從本文的論述可以看出:目標分割實際上是根據圖像已知特征為像素分配標記的過程。需要建模給定圖像 D時，標記 f的后驗概率為Pr(f|D)。由貝葉斯定理可知:后驗概率滿足Pr(f|D)∝Pr(D|f)Pr(f)。其中，Pr(f)表示先驗概率分布，可以讓Pr(fp=1)和Pr(fp=0)分別表示像素p屬于目標或背景的形狀先驗概率。形狀先驗在包含多個形狀模版的訓練集上定義，這里的形狀模版采用二值的手工標記。對于一個已對齊的形狀訓練集 S={S1，S2，..Sn}，形狀先驗概率

形狀先驗能量函數可定義為其中一階勢函數VSp(fp)根據形狀先驗概率定義為

這里將形狀先驗引入，通過最小能量過程使分割結果向與形狀相似處收斂，從而提高分割精度，達到改善分割效果的目的。實際上，該過程也相當于求解最大概率，式(15)中的形狀先驗對應增加了像素被分為目標的概率。

需要注意的是:形狀先驗的計算需要在一組已對齊的形狀訓練集上進行。本文實現形狀對齊的過程如下:先通過SURF［15］算法找到待對齊形狀間的特征點對;再采用RANSAC［16］算法去除匹配點對中錯誤匹配點對;最后利用剩余的匹配對計算變換矩陣，得到對齊后的形狀。圖1給出了對MSRC dataset［17］中人臉圖像的形狀模版進行對齊的過程。從圖1中可以看出:當使用RANSAC方法以后，形狀模版間的一些錯誤匹配點被消除。

圖1 形狀對齊過程示意圖

2.4 Graph cuts能量最小化

Graph cuts［18］是常用的能量最小化方法之一。對于目標/背景分割問題，graph cuts可以有效地對E(f)進行最小化，但二階勢函數Vpq必須是一個sub-modular函數，即 Vpq(0，0)+Vpq(1，1)≤Vpq(0，1)+Vpq(1，0)。由前面的討論可以明顯看出:本文能量函數滿足上述條件，可以通過graph cuts算法求出全局最優解。

3 算法流程

對于給定的圖像集，本文算法過程可以描述為:

1)對待分割圖像進行初始化，得到初始標記f，估計參數θ，設定參數σI和γ，根據式(6)～(9)計算得到EA(f)。

2)采用graph cuts算法對能量函數EA(f)進行最小化，得到分割結果f'，并將f'→f。

3)給定一個已對齊的形狀訓練集S，計算形狀先驗概率分布，然后將形狀先驗與當前的分割結果f對齊。根據式(15)～(16)計算，并將

4)提取圖像邊緣、梯度信息，根據式(10)～(13)計算 Bp，得到，將+，得到總能量函數 E(f)=EA(f)+ES(f)+EB(f)。

5)用graph cuts算法對E(f)進行最小化，得到最終分割結果f'。

4 實驗結果分析

本文算法的程序文件是在Windows 7系統中的Matlab R2010b環境下編程實現的。硬件環境:處理器為 i52.67GHz，內存為4G。

本文算法分別在標準圖像庫Caltech leaves dataset［19］和 MSRC dataset上進行測試。Caltech leaves dataset包含不同背景下不同形狀的葉子圖像，從中選擇66幅具有相似形狀的圖像進行實驗，并對其進行手工標記。從中選擇33幅圖像的手工標記作為形狀模版。由于本文考慮的情形較為簡單，可以將訓練集中的形狀按照其質心進行平移來實現對齊，然后計算形狀先驗概率，其余33幅圖像用于測試。從MSRC dataset中選擇不同背景下具有相似形狀的人臉圖像進行實驗。該類別中形狀模版間在尺度、位置上均有不同，采用本文2.3節中的方法實現對齊。從該類別30幅圖像中選擇10幅圖像的手工標記作為形狀模版用于訓練，其余20幅圖像用于測試。圖2給出了實驗中所用到的部分形狀模版及形狀先驗，其中每一行中的最后一幅圖像為形狀先驗?？梢钥吹?，用于實驗的形狀模版雖然較為相似，但仍有明顯的差異，增加了用形狀指導分割的難度。

圖2 形狀模版及形狀先驗

在實驗中，將式(9)中的參數σI設為相鄰像素間顏色特征差異的均值，這樣對于不同圖像，該參數值也會不同。為簡單起見，將參數γ的值固定為5。

圖3給出了部分形狀不同的葉子圖像的分割結果，同時包含了遮擋的情形。在相同初始化的情況下，將本文算法與未包含邊緣和形狀先驗的傳統圖割算法進行比較。圖3(a)中，紅色和藍色的線分別表示目標和背景的初始化標記，圖3(b)和(c)中綠色的輪廓表示最終分割結果。可以看出:待分割的圖像中包含復雜的背景，且目標邊緣處及背景中都有與目標顏色相近的部分，使得不添加先驗信息得到精確的分割結果較為困難。不同圖像中目標的形狀也有較為明顯的差異，也為形狀先驗的加入增加了難度。若采用單一形狀模版，則不能適應目標形狀間的較大變化，而這里采用多個形狀模版能夠適應更復雜的情形。

圖3 葉子圖像分割結果對比(圖像大小:448×296)

從分割結果可以看出:當考慮邊緣和形狀先驗時，相比于未加入該信息的情形，分割結果有了明顯的改善。在邊緣信息的約束下，形狀先驗可以較好地適應圖像中目標形狀上的差異，在復雜背景和遮擋的情況下仍然可以起到約束的作用，并驅使目標向理想的形狀靠近。此時邊緣信息和形狀先驗都起到了非常重要的作用。

圖4(a)給出了人臉圖像的原始圖像及初始化標記。相比于前一種情形，待分割目標不僅在位置、尺度上有差異，有的還有一定傾斜角度的變化，且圖像背景更為復雜，增加了目標正確分割的難度。圖4(b)和(c)分別給出了傳統圖割算法和本文算法的分割結果。

從結果可以看出:相比于傳統圖割算法，本文算法同時考慮了邊緣和形狀信息，得到了較為完整的目標分割結果。目標顏色信息常與背景相似，導致背景中的部分被錯分為目標。邊緣和形狀先驗的引入有效地解決了這類問題，且邊緣能夠增加對目標邊界的約束，更好地適應目標在形狀上的變化。

圖4 人臉圖像分割結果對比(圖像大小:320×213)

表1給出了不同圖像庫下算法性能的比較，包括未包含邊緣和形狀先驗的傳統圖割算法與本文算法在分割錯誤率及運行時間上的比較。同時還比較了本文算法中參數μ對最終分割結果的影響。當參數時，相比于不考慮μ的情況，分割錯誤率仍有一定的減小，表明梯度幅值對邊緣距離變換結果具有一定的調節作用。將邊緣和形狀先驗相結合，在取得較好分割結果的同時，運行時間并沒有大量增加，兩類信息都起到了約束目標邊界的作用。

表1 算法性能比較

5 結束語

本文提出一種融合邊緣和形狀先驗的MRF目標分割方法。該方法在多個形狀模版上計算形狀先驗概率，然后提取圖像的邊緣信息，分別將邊緣信息和形狀先驗轉化為能量函數的形式，最后通過圖割算法進行能量最小化，得到最終分割結果。相比于未包含邊緣信息和形狀先驗的傳統圖割算法，該方法通過邊緣和形狀先驗約束目標，可以有效地減小復雜背景和遮擋問題的影響，取得了較好的分割結果。

［1］Li Xuchao，Zhu Shanan.A survey of the markov random field method for image segmentation［J］.Journal of Image and Graphics，2007，5(12):789 －798.

［2］單改仙，甘平，孫露，等.照度不均的皮膚圖像分割方法的研究［J］.激光雜志，2013(3):23－25.

［3］郭鎖利，辛棟，劉延飛.近代圖像分割方法綜述［J］.四川兵工學報，2012(7):93－96.

［4］叢超.醫用心臟圖像分割算法的量化評估框架［J］.重慶理工大學學報:自然科學版，2013(7):71－75，112.

［5］趙杰，祁永梅，潘正勇.結合邊界和區域的水平集超聲圖像分割算法［J］.激光雜志，2013(6):46－48.

［6］董昌灝，閆鑌，曾磊，等.融合背景能量項的Graph-CutsPCBCT 圖像分割［J］.激光雜志，2013，34(4):25－27.

［7］李京娜，王國宏，王剛.基于光滑分割的局部脊波變換圖像去噪算法研究［J］.激光雜志，2012，33(6):25－27.

［8］張微.基于概率圖模型的圖像分類研究［D］.西安:陜西師范大學，2013.

［9］SlabaughL G，Unal G.Graph cuts segmentation using an elliptical shape prior［C］//Image Processing，2005.ICIP 2005.IEEE International Conference on.USA:IEEE，2005:II－1222－5.

［10］Freedman D，Zhang T.Interactive graph cut based segmentation with shape priors［C］//Computer Vision and Pattern Recognition，2005.CVPR 2005.IEEE Computer Society Conference on.USA:IEEE，2005:755 －762.

［11］Chittajallu D R，Shah S K，Kakdiaris I A.A shape-driven MRF model for the segmentation of organs in medical images［C］//Computer Vision and Pattern Recognition(CVPR)，2010 IEEE Conference on.USA:IEEE，2010:3233－3240.

［12］Martin D R，Fowlkes C C，Malik J.Learning to detect natural image boundaries using local brightness，color，and texture cues［J］.Pattern Analysis and Machine Intelligence，IEEE Transactions on，2004，26(5):530 －549.

［13］Arbelaez P，Maire M，Fowlkes C，et al.Contour detection and hierarchical image segmentation［J］.Pattern Analysis and Machine Intelligence，IEEE Transactions on，2011，33(5):898－916.

［14］Li S Z.Markov random field modeling in computer vision［M］.New York:Springer-Verlag New York，Inc.，1995:11－12.

［15］Bay H，Ess A，Tuytelaars T，et al.Speeded-up robust features(SURF)［J］.Computer vision and image understanding，2008，110(3):346 －359.

［16］Fischler M A，Bolles R C.Random sample consensus:a paradigm for model fitting with applications to image analysis and automated cartography［J］.Communications of the ACM，1981，24(6):381 －395.

［17］Shotton J，Winn J，Rother C，et al.Textonboost:Joint appearance，shape and context modeling for multi-class object recognition and segmentation［C］//Computer Vision-ECCV 2006.Austria:Springer Berlin Heidelberg，2006:1－15.

［18］Boykov Y Y，Jolly M P.Interactive graph cuts for optimal boundary＆region segmentation of objects in ND images［C］//Computer Vision，2001.ICCV 2001.Proceedings.Eighth IEEE International Conference on.USA:IEEE，2001:105－112.

［19］Overgaard N C，Fundana K，Heyden A.Pose Invariant Shape Prior Segmentation Using Continuous Cuts and Gradient Descent on Lie Groups［C］//Scale Space and Variational Methods in Computer Vision，SSVM 2009.Norway:Springer Berlin Heidelberg，2009:684 －695.