基于卡通提取的自然圖像分割

郭 娟，何 坤，周激流

(四川大學(xué) 計(jì)算機(jī)學(xué)院，四川 成都 610065)

基于卡通提取的自然圖像分割

郭 娟，何 坤，周激流

(四川大學(xué) 計(jì)算機(jī)學(xué)院，四川 成都 610065)

傳統(tǒng)圖像分割方法中基于邊緣的水平集圖像分割對(duì)紋理豐富的自然圖像存在過(guò)分割和欠分割現(xiàn)象。自然圖像含有豐富紋理，為了抑制紋理對(duì)圖像分割的影響，文中結(jié)合ROF的保邊模型和Y. Meyer的保紋理模型，將圖像分解為卡通分量與紋理分量之和，根據(jù)紋理的像素變化特性將其表示為一個(gè)函數(shù)梯度的散度，建立了保邊卡通提取的數(shù)學(xué)模型。結(jié)合對(duì)象輪廓與卡通分量邊緣之間的關(guān)系，運(yùn)用固定點(diǎn)迭代算法提取圖像的卡通分量，并對(duì)卡通分量運(yùn)用基于水平集的曲線(xiàn)演化實(shí)現(xiàn)自然圖像分割。實(shí)驗(yàn)結(jié)果表明：該算法提取的卡通分量繼承傳統(tǒng)全變分算法優(yōu)點(diǎn)，實(shí)現(xiàn)了紋理區(qū)域近似常數(shù)表示，模糊了對(duì)象內(nèi)部的弱邊緣，保護(hù)了對(duì)象輪廓，在一定程度上抑制了紋理對(duì)圖像分割的影響。

圖像分割；卡通分量；紋理分量；保邊；水平集

1 概 述

圖像分割技術(shù)是把圖像中感興趣區(qū)域分離出來(lái)，為高層次的圖像分析打下基礎(chǔ)[1-2]。自然圖像含有豐富紋理，這是影響圖像分割準(zhǔn)確性的主要因素[3-4]。CV圖像分割是基于Mumford-Shah模型[5]提出的一種常見(jiàn)的圖像分割算法。該算法假設(shè)在圖像區(qū)域Ω內(nèi)存在一條連續(xù)的對(duì)象輪廓閉曲線(xiàn)C，對(duì)閉曲線(xiàn)內(nèi)外區(qū)域Ω/C依特征運(yùn)用分段光滑函數(shù)對(duì)圖像進(jìn)行逼近。高斯平滑是最簡(jiǎn)單的分段逼近處理，Chan-Vese提出的無(wú)邊界的活動(dòng)分割模型[6-7]對(duì)待分割圖像運(yùn)用高斯窗口函數(shù)進(jìn)行平滑。高斯平滑利用鄰域相似性對(duì)區(qū)域進(jìn)行各向同性的點(diǎn)擴(kuò)散處理[8]，忽略了閉曲線(xiàn)內(nèi)外區(qū)域的邊緣特征，致使區(qū)域內(nèi)的邊緣模糊[9]，影響分割效果。

圖像的視覺(jué)特征通過(guò)紋理和邊緣表征出來(lái)。根據(jù)圖像內(nèi)容的“能量”集中性，對(duì)圖像運(yùn)用固定核函數(shù)進(jìn)行正交變換[10]，實(shí)現(xiàn)圖像的稀疏表示，將低于閾值的變換系數(shù)置為0，從而達(dá)到抑制紋理的目的。如果正交變換的閾值選取太大，紋理抑制呈現(xiàn)方塊效應(yīng)，反之殘余紋理較多。為了彌補(bǔ)這一現(xiàn)象，根據(jù)紋理的尺度和方向性，設(shè)計(jì)不同中心頻率和方向的Gabor濾波器函數(shù)集[11]，利用Gabor濾波器函數(shù)集與圖像進(jìn)行卷積，得到不同尺度和方向的紋理特征集合。根據(jù)圖像紋理的統(tǒng)計(jì)分布特性對(duì)對(duì)象內(nèi)外區(qū)域進(jìn)行對(duì)半監(jiān)督性學(xué)習(xí)，統(tǒng)計(jì)分析紋理分布密度[12-13]，挖掘其統(tǒng)計(jì)參數(shù)，從而抑制紋理對(duì)曲線(xiàn)演化的影響。

傳統(tǒng)活動(dòng)輪廓分割算法對(duì)已知封閉曲線(xiàn)進(jìn)行演化，例如snake算子和水平集方法[14-15]。在這種模型下，圖像被劃分成兩部分(即對(duì)象和背景)，通過(guò)能量函數(shù)對(duì)圖像進(jìn)行逼近。傳統(tǒng)活動(dòng)輪廓分割算法對(duì)二值圖像和卡通圖像分割效果較好，對(duì)紋理豐富的自然圖像存在過(guò)分割和欠分割現(xiàn)象，而自然圖像目標(biāo)和背景中紋理豐富。為了抑制紋理對(duì)圖像分割的影響，文中在Y.Meyer的紋理保留模型[16]上將圖像表示為卡通分量和紋理分量，根據(jù)紋理在空間域像素的變化特性，將紋理表示為函數(shù)梯度的散度。以ROF[17]的保邊模型為基石，以卡通分量梯度幅度為變量，建立了新的圖像域上保邊卡通提取的數(shù)學(xué)模型。

文中基于鄰域像素的相關(guān)性設(shè)計(jì)了卡通分量的離散迭代函數(shù)，結(jié)合對(duì)象輪廓與卡通分量邊緣之間的關(guān)系設(shè)計(jì)了迭代收斂函數(shù)，運(yùn)用固定點(diǎn)迭代算法從自然圖像中提取相應(yīng)的卡通分量，對(duì)卡通分量運(yùn)用基于水平集的曲線(xiàn)演化實(shí)現(xiàn)自然圖像分割。

實(shí)驗(yàn)結(jié)果表明：該算法提取的卡通分量繼承傳統(tǒng)全變分算法的優(yōu)點(diǎn)，實(shí)現(xiàn)了紋理區(qū)域近似常數(shù)表示，模糊了對(duì)象內(nèi)部的弱邊緣，保護(hù)了對(duì)象輪廓，在一定程度上抑制了紋理對(duì)圖像分割的影響，彌補(bǔ)了傳統(tǒng)活動(dòng)輪廓分割算法對(duì)自然圖像分割的不足。

2 圖像的卡通分量提取

2.1 卡通分量模型

CV模型是根據(jù)Mumford-Shah模型提出的一種基于區(qū)域的活動(dòng)輪廓模型，即曲線(xiàn)演化[6]。Mumford-Shah模型的基本思想是為一幅給定的圖像I(x,y)找到一組(u,C)，其中u是I(x,y)的分段光滑近似圖像，C表示光滑的封閉曲線(xiàn)。Mumford-Shah能量泛函的一般形式可以寫(xiě)作[5]：

(1)

CV算法對(duì)卡通圖像分割效果較好，對(duì)紋理豐富的自然圖像存在過(guò)分割和欠分割現(xiàn)象，見(jiàn)圖1。

為了抑制紋理對(duì)自然圖像分割的影響，文中根據(jù)Y.Meyer的保紋理模型，將自然圖像I(x,y)表示為卡通分量u(x,y)和紋理分量v(x,y)[16]，即：

(2)

式中，u(x,y)是圖像分段光滑的簡(jiǎn)化逼近，由均勻區(qū)域和突變的邊界構(gòu)成；v(x,y)表示區(qū)域內(nèi)部重復(fù)的圖案細(xì)節(jié)。

圖像紋理在空間上表現(xiàn)為像素變化，但變化緩慢且變化幅度較小，所以紋理分量包含大量的弱邊緣。

圖1 CV算法對(duì)圖像的分割

自然圖像的卡通紋理分解見(jiàn)圖2。

圖2 自然圖像的卡通紋理分解

根據(jù)紋理的像素變化特性，將紋理表示為一個(gè)振動(dòng)函數(shù)f(x,y)梯度的散度[18]：

(3)

結(jié)合圖像像素變化特征，以函數(shù)梯度的散度表示的紋理具有兩個(gè)性質(zhì)：零均值振蕩和“能量”有限性。

(4)

將式(4)帶入式(1)中，得到相應(yīng)的圖像分割模型：

(5)

文中將紋理能量有限性作為約束條件，運(yùn)用拉格朗日乘法，得到無(wú)約束的分割模型：

(6)

式中，第一項(xiàng)表示閉曲線(xiàn)內(nèi)外區(qū)域Ω/C卡通分量的結(jié)構(gòu)信息。卡通分量包含對(duì)象邊界信息，為了從整個(gè)圖像區(qū)域中提取保邊卡通分量，文中基于ROF[17]的保邊模型，運(yùn)用卡通分量梯度的l1范式表示該項(xiàng)得到卡通提取的圖像分割模型：

(7)

式中，最后一項(xiàng)表示已知曲線(xiàn)。根據(jù)自然圖像各個(gè)物體形成的光學(xué)原理，物體的輪廓通常表現(xiàn)為灰度的不連續(xù)。

文中根據(jù)物體輪廓屬于強(qiáng)邊緣這一性質(zhì)，假設(shè)卡通分量的邊緣均屬于目標(biāo)對(duì)象輪廓，將卡通分量邊緣像素點(diǎn)的個(gè)數(shù)作為輪廓曲線(xiàn)C的長(zhǎng)度：

(8)

將式(8)帶入式(7)，同時(shí)取γ=1得：

(9)

式中，曲線(xiàn)長(zhǎng)度表示為卡通分量邊緣像素的個(gè)數(shù)(l0范式)，文中運(yùn)用分步算法將式(9)分解為以下兩個(gè)子公式：

(10)

運(yùn)用全變差分析式(10a)，得到的拉格朗日方程如下：

(11)

2.2 數(shù)值實(shí)現(xiàn)

從圖像中提取的卡通分量應(yīng)該具有如下性質(zhì)：

(1)原始圖像的平滑、紋理區(qū)在卡通分量相應(yīng)的區(qū)域表現(xiàn)為近似常數(shù)；

(2)原始圖像的對(duì)象輪廓在卡通分量中得以保護(hù)，對(duì)象內(nèi)的弱邊緣盡量模糊。

數(shù)字圖像是二維離散的。為了離散化方程(11a)，使用了一個(gè)半隱有限差分格式。方程(11a)中u的離散化表示如下：

(12)

其中,Λ0表示(i,j)像素的鄰域集合{(i,j-1),(i,j+1),(i-1,j),(i+1,j)}。當(dāng)p=(i+1,j)時(shí),

(13)

(14)

為了得到式(10a)的最優(yōu)解，文中通過(guò)固定點(diǎn)迭代式(12)可獲得卡通分量，第n步un(i,j)迭代表達(dá)式為：

(15)

隨著迭代次數(shù)的增加，卡通分量均趨于常值。為了避免這一問(wèn)題，文中分析第n步卡通分量的梯度un(i,j)，采用固定閾值T得到該分量邊緣點(diǎn)cn(i,j)。若>T，則cn(i,j)=1；否則為0：

(16)

卡通分量un(i,j)是自然圖像分段光滑的逼近分量，它主要包含了自然圖像中的強(qiáng)邊緣，而對(duì)象輪廓曲線(xiàn)屬于強(qiáng)邊緣，文中將卡通分量邊緣像素點(diǎn)個(gè)數(shù)作為對(duì)象輪廓曲線(xiàn)C的長(zhǎng)度。卡通分量un(i,j)中對(duì)象輪廓長(zhǎng)度為：

(17)

每次迭代時(shí)，卡通分量中對(duì)象輪廓曲線(xiàn)長(zhǎng)度逐漸減小，當(dāng)相鄰兩次曲線(xiàn)長(zhǎng)度相對(duì)差不超過(guò)2%時(shí)，停止迭代。即滿(mǎn)足式(18)：

(18)

3 基于水平集的圖像分割

文中運(yùn)用水平集對(duì)初始曲線(xiàn)進(jìn)行演化從而實(shí)現(xiàn)圖像分割。水平集曲線(xiàn)演化將二維平面上的曲線(xiàn)演化問(wèn)題轉(zhuǎn)化成三維空間上的函數(shù)演化，水平集函數(shù)φ隨時(shí)間的演化方程為[19]：

(19)

(20)

函數(shù)演化終止時(shí)，其零水平集對(duì)應(yīng)的曲線(xiàn)為對(duì)象輪廓。

4 實(shí)驗(yàn)結(jié)果及分析

為了使卡通分量包含清晰的對(duì)象輪廓，在卡通分量提取時(shí)引進(jìn)了參數(shù)。文中算法對(duì)自然圖像運(yùn)用不同參數(shù)λ提取的卡通分量，如圖3所示。

圖3 不同λ提取的卡通分量

當(dāng)λ=0.008時(shí)，卡通分量中殘余紋理信息較少，但對(duì)象輪廓存在模糊現(xiàn)象，影響分割的準(zhǔn)確性；隨著λ逐漸變大，卡通分量的殘余紋理信息逐漸增多，對(duì)象輪廓保護(hù)能力增強(qiáng)；當(dāng)λ=0.026時(shí)，輪廓保護(hù)較好，但對(duì)象內(nèi)部存在較多的紋理信息，紋理抑制不充分，導(dǎo)致欠分割或過(guò)分割現(xiàn)象。為了提高分割的準(zhǔn)確性，文中折中紋理抑制和輪廓保護(hù)能力，參數(shù)λ取值為0.02。

文中以固定迭代算法離散計(jì)算偏微分方程式(11a)，得到相應(yīng)的卡通分量，以相鄰兩次卡通分量邊緣長(zhǎng)度的相對(duì)差值作為收斂條件。卡通分量邊緣點(diǎn)個(gè)數(shù)定義為該分量邊緣長(zhǎng)度，文中將該分量梯度大于閾值點(diǎn)作為邊緣點(diǎn)。為了避免早期迭代紋理信息模糊較小，相應(yīng)卡通分量邊緣長(zhǎng)度變化較小，導(dǎo)致早收斂。文中采用雙閾值計(jì)算相鄰兩次卡通分量邊緣長(zhǎng)度，其高閾值取為0.52。不同低閾值的卡通分量如圖4所示。

低閾值為0.461時(shí)，卡通分量對(duì)象內(nèi)部近似平滑，迭代489次才收斂；當(dāng)取0.484時(shí)，卡通分量對(duì)象內(nèi)部平滑性相對(duì)于0.461變化不大，只需要迭代231次就收斂，系統(tǒng)運(yùn)算時(shí)間大大減小；如果繼續(xù)提高低閾值，縮小高低閾值間的差值，卡通分量的紋理信息增加，運(yùn)算時(shí)間降低，當(dāng)取0.508時(shí)僅僅迭代52次，卡通分量殘余紋理較多，出現(xiàn)早收斂現(xiàn)象。為了防止早收斂現(xiàn)象，文中低閾值選為0.5。

圖4 不同閾值提取的卡通分量

文中算法每次迭代時(shí)，對(duì)象輪廓曲線(xiàn)長(zhǎng)度逐漸減小。圖4中卡通分量邊緣長(zhǎng)度與迭代次數(shù)之間的關(guān)系如圖5所示。

圖5 迭代次數(shù)和邊緣長(zhǎng)度的關(guān)系

圖5表明隨迭代次數(shù)的增加，卡通分量殘余紋理信息逐漸減少，對(duì)圖像分段光滑效果較好，抑制了紋理對(duì)圖像分割的影響。

為了驗(yàn)證文中圖像分割方法的有效性，在初始曲線(xiàn)相同的條件下，對(duì)紋理簡(jiǎn)單和豐富的自然圖像分別運(yùn)用文中和傳統(tǒng)CV分割算法進(jìn)行分割，其部分結(jié)果如圖6所示。

圖6 自然圖像分割結(jié)果

圖6中第一列待分割圖像紋理很少，目標(biāo)和背景分界線(xiàn)明確，文中分割結(jié)果與傳統(tǒng)CV[6]差異不大；第二列待分割圖像中對(duì)象內(nèi)部紋理信息較多，文中分割結(jié)果接近于目標(biāo)輪廓，傳統(tǒng)CV將大部分背景誤分割為目標(biāo)；第三列待分割圖像紋理信息較多，文中分割結(jié)果存在欠分割現(xiàn)象，這是由于背景區(qū)域存在突變邊緣，相對(duì)于傳統(tǒng)CV，文中分割結(jié)果接近于目標(biāo)輪廓。

5 結(jié)束語(yǔ)

文中在Y.Meyer的紋理保留模型和ROF的保邊模型的基礎(chǔ)上，建立了圖像整體論域上保邊卡通提取的數(shù)學(xué)模型。結(jié)合對(duì)象輪廓與卡通分量邊緣之間的關(guān)系設(shè)計(jì)了迭代收斂函數(shù)，運(yùn)用固定點(diǎn)迭代算法設(shè)計(jì)了保邊卡通提取的離散迭代運(yùn)算，同時(shí)從自然圖像中提取保邊卡通分量，對(duì)卡通分量運(yùn)用基于水平集的曲線(xiàn)演化實(shí)現(xiàn)圖像分割。

實(shí)驗(yàn)結(jié)果表明：文中算法彌補(bǔ)了傳統(tǒng)活動(dòng)輪廓分割算法對(duì)自然圖像分割的不足。目前，該卡通提取算法僅僅保護(hù)了亮度形成的強(qiáng)邊緣，忽略了色度形成的邊緣。未來(lái)將計(jì)劃討論從亮度和色度提取帶邊界的卡通分量。

[1]SalahMB,MiticheA,AyedIB.Multi-regionimagesegmentationbyparametrickernelgraphcuts[J].IEEETransactionsonImageProcessing,2011,20(2):545-557.

[2]YangYong,HanShoudong,WangTianjiang,etal.Multilayergraphcutsbasedunsupervisedcolor-textureimagesegmentationusingmultivariatemixedstudent'st-distributionandregionalcredibilitymerging[J].PatternRecognition,2013,46(4):1101-1124.

[3]JeethuMM,PhilominaS.Colortextureimagesegmentationbasedonneutrosophicsetandnon-subsampledcontour-lettransformation[J].LectureNotesinComputerScience,2014,8321:164-173.

[4]ZhouHailing,ZhengJianmin,WeiLei.Textureawareimagesegmentationusinggraphcutsandactivecontours[J].PatternRecognition,2013,46(8):1719-1733.

[5]MumfordD,ShahJ.Optimalapproximationsbypiecewisesmoothfunctionsandassociatedvariationalproblems[J].CommunicationsonPureandAppliedMathematics,1989,42(5)：577-685.

[6] 陳 波,賴(lài)劍煌.用于圖像分割的活動(dòng)輪廓模型綜述[J].中國(guó)圖象圖形學(xué)報(bào),2007,12(1):11-20.

[7]ChanTF,VeseLA.Activecontourswithoutedges[J].IEEETransactionsonImageProcessing,2001,10(2):266-277.

[8]AnderssonT,L?thénG,LenzR,etal.Modifiedgradientsearch

for level set based image segmentation[J].IEEE Transactions on Image Processing,2013,22(2):621-630.

[9] Brown E S,Chan T F,Bresson X.Completely convex formulation of the chan-vese image segmentation model[J].International Journal of Computer Vision,2012,98(9):103-121.

[10] Malgouyers F.Mathematical analysis of a model which combines total variation and wavelet for image restoration[J].Journal of Information Processes,2002,2(1):1-10.

[11] Sandberg B,Chan T,Vese L.A level-set and gabor-based active contour algorithms for segmenting textured images[R].[s.l.]:[s.n.],2002.

[12] Tran K A,Vo N Q,Nguyen T T,et al.Gaussian mixture model based on hidden Markov random field for color image segmentation[J].Lecture Notes in Electrical Engineering,2014,280:189-197.

[13] 劉 麗,匡綱要.圖像紋理特征提取方法綜述[J].中國(guó)圖象圖形學(xué)報(bào),2009,14(4):622-635.

[14] Zheng Qiang,Dong Enqing,Cao Zhulou,et al.Active contour model driven by linear speed function for local segmentation with robust initialization and applications in MR brain images[J].Signal Processing,2014,97(4):117-133.

[15] Liu Lixiong,Zhang Qi,Wu Min,et al.Adaptive segmentation of magnetic resonance images with intensity in-homogeneity using level set method[J].Magnetic Resonance Imaging,2013,31(4):567-574.

[16] Meyer Y.Oscillating patterns in image processing and nonlinear evolution equations[J].University Lecture Series,2002,22:21-28.

[17] Rudin L I,Osher S,Fattemi E.Nonlinear total variation based noise removal algorithms[J].Physica D,1992,60:259-268.

[18] Vese L A,Osher S J.Modeling textures with total variation minimization and oscillating patterns in image processing[J].Journal of Scientific Computing,2003,19(1-3):553-572.

[19] Li Chunming,Xu Chenyang,Gui Changfeng,et al.Level set evolution without re-initialization:a new variational formulation[C]//Proceedings of the 2005 IEEE computer society conference on computer vision and pattern recognition.[s.l.]:IEEE Computer Society,2005:430-436.

Natural Image Segmentation Based on Cartoon Component Extracting

GUO Juan,HE Kun,ZHOU Ji-liu

(College of Computer Science,Sichuan University,Chengdu 610065,China)

The traditional edge based level set image segmentation may be over- or under segmentation for nature scene,rich in texture.To suppress the texture on the influence of the image segmentation,propose a new model for natural image segmentation,which follows results of R.O.F. edge-preserving model and Y. Meyer texture-preserving model,using it to extract images to cartoon component and texture component.According to the pixel variation characteristics of texture in the spatial domain,express texture as the divergence of function gradient and build a new cartoon-extracting model in the image domain.In addition,design diverse equation for the model by fixed point iteration algorithm,and the convergence condition by the relationship between the contour of the object and the edge of cartoon component.The experimental results show that the cartoon component extraction algorithm inherits the advantages of traditional total variation algorithm，implementing the approximated constant expression for the texture region,retaining the object contour,bluring weak edges inside the object,to a certain extent,suppressing the effect of texture on segmentation algorithm.

image segmentation;cartoon component;texture component;edge preserving;level set

2015-05-06

2015-08-09

時(shí)間：2016-01-26

四川省科技支撐項(xiàng)目(2013SF0157)

郭 娟(1990-)，女，碩士研究生，研究方向?yàn)閿?shù)字圖像處理；何 坤，副教授，研究方向?yàn)槟Ｊ阶R(shí)別、數(shù)字圖像處理、圖像水印；周激流，教授，博士生導(dǎo)師，研究方向?yàn)閳D像處理、人臉識(shí)別、無(wú)線(xiàn)網(wǎng)絡(luò)、分?jǐn)?shù)階微積分、計(jì)算機(jī)智能。

http://www.cnki.net/kcms/detail/61.1450.TP.20160126.1517.014.html

TP301.6

A

1673-629X(2016)02-0012-05

10.3969/j.issn.1673-629X.2016.02.003