基于樣本塊的圖像修復(fù)改進(jìn)算法

韓明珠，郭樹(shù)旭，臧玲玲，鐘 菲

HAN Mingzhu,GUO Shuxu,ZANG Lingling,ZHONG Fei

吉林大學(xué) 電子科學(xué)與工程學(xué)院，長(zhǎng)春130012

College of Electronic Science and Engineering,Jilin University,Changchun 130012,China

1 引言

圖像修復(fù)是對(duì)破損的圖像修復(fù)重建或是除去圖像中多余物體的一種技術(shù)。圖像修復(fù)時(shí)，要在保證圖像達(dá)到最理想效果的前提下，用最恰當(dāng)?shù)姆椒ㄊ箞D像恢復(fù)到原始狀態(tài)。

2000 年，Bertalmio 等人提出基于偏微分方程的圖像修復(fù)算法[1]，隨后更多人提出更復(fù)雜的PDE 模型[2-4]，該類算法能夠保持圖像的結(jié)構(gòu)信息，但是對(duì)破損區(qū)域較大的圖像修復(fù)效果不理想。2003 年，Criminisi等人提出了一種基于樣本塊的修補(bǔ)算法，采用紋理合成的方法[5-12]去除圖像中的大物體，得到了很好的效果。Criminisi 算法[5]實(shí)現(xiàn)簡(jiǎn)單，實(shí)驗(yàn)速度較快，處理結(jié)果較好。不過(guò)在實(shí)際應(yīng)用中，由于該算法對(duì)圖像邊緣的估計(jì)受到圖像紋理等高頻信息的影響，導(dǎo)致修復(fù)塊錯(cuò)誤的優(yōu)先級(jí)順序，影響最終修復(fù)效果。

本文算法在Criminisi 算法基礎(chǔ)上改進(jìn)了優(yōu)先權(quán)的計(jì)算公式。首先，在圖像填充過(guò)程中，為了得到較準(zhǔn)確的填充邊緣的優(yōu)先級(jí)順序，在公式中引入一個(gè)調(diào)節(jié)因子α，α的存在提高了優(yōu)先級(jí)對(duì)圖像紋理細(xì)節(jié)部分的敏感程度。并且將優(yōu)先權(quán)公式由相乘改成相加，以提高優(yōu)先權(quán)計(jì)算的可靠性，進(jìn)而加強(qiáng)修補(bǔ)效果。

2 Criminisi算法

Criminisi 算法主要是考慮了目標(biāo)區(qū)域的修復(fù)順序問(wèn)題，即在填充目標(biāo)區(qū)域時(shí)，計(jì)算圖像輪廓上所有待修復(fù)塊的優(yōu)先權(quán)，使優(yōu)先權(quán)高的先進(jìn)行修復(fù)。如圖1 所示，Ω是目標(biāo)區(qū)域，即待修復(fù)區(qū)域；?Ω是Ω的邊界；Φ是源區(qū)域，即已知區(qū)域，源區(qū)域?yàn)槟繕?biāo)區(qū)域提供樣本。隨著填充過(guò)程的進(jìn)行，目標(biāo)區(qū)域Ω的面積會(huì)不斷減小，直至為零。

設(shè)Ψp是以點(diǎn)p為中心一個(gè)方形窗口區(qū)域，其中p∈?Ω，整個(gè)修復(fù)過(guò)程包括以下幾步：

圖1 Criminisi算法填充原理

（1）確定待修復(fù)區(qū)域Ω。定義整個(gè)圖像區(qū)域?yàn)镽，已知區(qū)域Φ=R-Ω。

（2）計(jì)算優(yōu)先權(quán)。為了使圖像中具有較強(qiáng)邊緣特征及具有較多已知信息的樣本塊優(yōu)先修復(fù)，選取邊緣上一點(diǎn)p∈?Ω，定義塊的優(yōu)先權(quán)P(p)為：

式中，C(p)為置信度項(xiàng)；D(p)為數(shù)據(jù)項(xiàng)。它們分別定義為：

式中，|Ψp|是Ψp的面積；常用灰度圖像中，歸一化因子β=225；np為填充邊緣?Ω上點(diǎn)p的法向量，為點(diǎn)p的光照線（同色線）[4]，即點(diǎn)p梯度方向的垂直方向。

（4）在Ψp填充了新像素之后，更新置信度C(p)，令，?q∈Ψp∩Ω。

（5）重復(fù)步驟（3）～（5），直到整個(gè)目標(biāo)區(qū)域都被填充。

3 本文算法

為了得到較準(zhǔn)確的填充邊緣的優(yōu)先級(jí)順序，以及提高優(yōu)先權(quán)計(jì)算的可靠性，進(jìn)而加強(qiáng)修補(bǔ)效果，本文給出改進(jìn)的優(yōu)先權(quán)計(jì)算公式：

Criminisi算法優(yōu)先權(quán)的計(jì)算公式（1），P(p)=C(p)D(p)，在進(jìn)行圖像修復(fù)的過(guò)程中，置信度值逐漸減小至零，使優(yōu)先權(quán)計(jì)算有誤，導(dǎo)致錯(cuò)誤的填充順序。本文算法將置信度項(xiàng)與數(shù)據(jù)項(xiàng)由相乘改成相加運(yùn)算。

根據(jù)C(p)計(jì)算公式（2）可知，若待修復(fù)塊中屬于源區(qū)域部分的比例大，即修復(fù)完成的像素點(diǎn)多，置信度項(xiàng)C(p)的值越大，就越早被修復(fù)。

根據(jù)D(p)計(jì)算公式（3）可知，填充邊緣上的一點(diǎn)p，的值越大，與np的夾角越小，數(shù)據(jù)項(xiàng)D(p)的值越大，就越早被修復(fù)。圖像線性結(jié)構(gòu)部分的光照線強(qiáng)度決定了數(shù)據(jù)項(xiàng)D(p)的大小，在修復(fù)過(guò)程中，優(yōu)先修復(fù)圖像的邊緣部分，使圖像在紋理修補(bǔ)的同時(shí)擴(kuò)散了圖像的結(jié)構(gòu)。所以在優(yōu)先權(quán)計(jì)算時(shí)，提高對(duì)D(p)的重視程度，優(yōu)先修復(fù)填充邊緣梯度值較大的點(diǎn)。其中圖像邊緣及梯度都反映了圖像的紋理特征，當(dāng)圖像在某一像素梯度值較大時(shí)表示在該點(diǎn)附近圖像的紋理較為豐富。要提高對(duì)于梯度變化的重視程度，也就是增加D(p)權(quán)重，可以通過(guò)對(duì)C(p)的減弱來(lái)實(shí)現(xiàn)。

4 仿真分析與比較

對(duì)人物破損圖進(jìn)行修復(fù)如圖2。

對(duì)于圖2，本文算法中分別取α=0.1，0.7，6，17，結(jié)果如圖3 所示，當(dāng)α從0.1 逐漸增大時(shí)，修復(fù)效果變好，α取0.7 時(shí)效果最好，在α取值增大到6 時(shí)效果反而變差。

圖2 目標(biāo)物去除修復(fù)效果比較

圖3 α 值對(duì)修復(fù)效果的影響

對(duì)于結(jié)構(gòu)性紋理圖像，圖像本身的紋理特征決定了數(shù)據(jù)項(xiàng)D(p)的重要程度，且α因子提高了數(shù)據(jù)項(xiàng)D(p)在優(yōu)先值計(jì)算公式中的重要性，所以增大α的值會(huì)使修復(fù)過(guò)程對(duì)細(xì)節(jié)紋理更加敏感，從而改善修復(fù)效果。（本文計(jì)算α=0.7）。

為了說(shuō)明本文算法的有效性，對(duì)peppers 破損圖及photograghy 破損圖用Criminisi 算法，文獻(xiàn)[13]算法，及本文算法分別進(jìn)行修復(fù)，并對(duì)修復(fù)效果進(jìn)行對(duì)比。其中文獻(xiàn)[13]算法是陳卿等人在2011 年提出的基于紋理特征的自適應(yīng)圖像修復(fù)算法，該算法在修復(fù)過(guò)程中對(duì)圖像紋理細(xì)節(jié)的部分較為敏感。

對(duì)peppers破損圖進(jìn)行修復(fù)如圖4。

圖4 peppers破損圖像修復(fù)效果比較

如圖對(duì)比可以看出，在橢圓圈起的部分，利用本文算法比Criminisi及文獻(xiàn)[13]算法修復(fù)效果要好。

對(duì)photograghy破損圖進(jìn)行修復(fù)如圖5。

如圖對(duì)比可以看出，在photograghy 頭部和手臂部分，利用本文算法比Criminisi 及文獻(xiàn)[13]算法修復(fù)效果要好。

從表1 中數(shù)據(jù)可以看出，本文算法在峰值信噪比上優(yōu)于Criminisi算法及文獻(xiàn)[13]算法。

表1 三種算法PSNR 值對(duì)比 dB

5 結(jié)束語(yǔ)

本文研究了基于樣本塊填充的圖像修復(fù)算法，對(duì)置信度項(xiàng)和數(shù)據(jù)項(xiàng)進(jìn)行相加運(yùn)算得到優(yōu)先權(quán)的計(jì)算公式，在置信度項(xiàng)衰減過(guò)程中，降低了樣本塊的誤匹配。并且通過(guò)調(diào)節(jié)α因子的大小來(lái)提高數(shù)據(jù)項(xiàng)的重要程度，從而保證了圖像紋理細(xì)節(jié)部分的修復(fù)效果。

[1] Bertahnio M，Sapiro G，Gaseelles V，et al.Image inpainting[C]//Proceedings of the 27th Annual Conference on Computer Graphics，2000：417-424.

[2] Chan T F，Shen J H.Mathem atical models for local nontexture inpaintings[J].SIAM Journal on Applied Mathem atics，2002，62（3）：1019-1043.

[3] Chan T F，Shen J H.Nontexture inpainting by curvature driven diffusions[J].Visual Communication and Image Representation，2001，12（4）：436-449.

[4] Esedoglu S，Shen J H.Digital inpainting based on the Mumford-Shah-Euler image model[J].European Journal of Applied Mathematics，2002，13（4）：353-370.

[5] Criminisi A，Perez P，Toyama K.Object removal by exemplarbased inpainting[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition，Madison，Wisconsin，USA，2003：721-728.

[6] Wu J，Ruan Q.Object removal by cross isophotes exemplar based inpainting[C]//Proceedings of the 18th International Conference on Pattern Recognition，Hong Kong IEEE Computer Society，2006：3810-3813.

[7] 楊剛，王文成，吳恩華.基于邊界圖的紋理合成方法[J].計(jì)算機(jī)研究與發(fā)展，2005，42（12）：2118-2125.

[8] 屈磊，韋穗，梁棟，等.快速自適應(yīng)模板圖像修復(fù)算法[J].中國(guó)圖象圖形學(xué)報(bào)，2008，13（1）：24-28.

[9] 李晉江，張彩明，范輝，等.基于分形的圖像修復(fù)算法[J].電子學(xué)報(bào)，2010，38（10）：2430-2435.

[10] 郝川艷，陳昕，吳恩華.基于紋理規(guī)則性分析的圖像填補(bǔ)方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2012，24（2）：184-190.

[11] 張晴，林家駿.紋理分布分析的快速圖像修復(fù)算法[J].中國(guó)圖像圖形學(xué)報(bào)，2012，17（1）：124-129.

[12] 李大錦.一種改進(jìn)的自然紋理合成方法[J].圖學(xué)學(xué)報(bào)，2012，33（4）：89-92.

[13] 陳卿，王慧琴，吳萌.基于紋理特征的自適應(yīng)圖像修復(fù)算法[J].計(jì)算機(jī)應(yīng)用，2011，31（6）.