基于統計及結構稀疏特性的圖像修復算法

于文靜　畢東旭　顏學峰　林家駿

(華東理工大學信息學院　上海 200237)

?

基于統計及結構稀疏特性的圖像修復算法

于文靜畢東旭顏學峰*林家駿

(華東理工大學信息學院上海 200237)

目前普遍使用的基于等照度線的優先權圖像修復算法，不能快速準確地確定待修復圖像的結構位置。提出利用破損區域邊緣圖像塊的灰度均值直方圖，快速準確定位結構點的位置，優先修復結構區域后，實現紋理區域修復，獲得很好的修復結果。該算法與傳統算法相比，不必計算每個邊緣圖像塊的優先級，直接利用統計信息獲得結構點的位置，比傳統算法更準確獲取結構點位置。算法的計算效率和修復效果都有了很大提升。

圖像修復灰度均值直方圖結構稀疏

0　引　言

圖像修復[1]是利用已知信息估計未知信息，從而將破損的圖像修補完整，使其平滑、連續、符合人眼的視覺要求。隨著圖像修復在數字特效、圖像恢復和圖像編碼、傳輸等方面的廣泛應用，圖像修復正在成為圖像處理研究中的基礎領域。

目前常用的圖像修復方法可以分為基于擴散的方法，基于樣本的方法。基于擴散的方法[1-3]是利用待修補區域的邊緣信息確定擴散信息和擴散方向，從區域的邊界各向異性地向邊界內擴散，這些算法通過變分法或高階的偏微分方程實現。基于擴散的算法在處理非紋理圖像和破損區域較小的圖像修復中取得了較好的效果。基于樣本的圖像修復方法[4-6]是在已知區域中尋找最匹配的圖像塊，對于未知區域進行填充。這一方法最早由Efros等[7]提出的利用從已知區域采樣最為匹配的圖像塊來合成未知區域的信息。Criminsi等[4]提出了一種基于圖像塊的圖像修復算法，對于破損區域綜合地考慮結構和紋理的特征，算法實現了部分圖像從結構區域首先去修復，取得了很好的效果。近年來，稀疏表達開始應用于圖像修復[8-11]，其基本思想是用稀疏的組合來表達圖像塊的信息。基于樣本的圖像修復算法對圖像進行修復時需要計算破損區域邊緣圖像塊的優先級以保證位于結構的區域首先被修復，這既增加了計算的冗余而且在結構區域復雜的圖像中不能準確確定結構點的位置。本文提出基于統計及結構稀疏特性的圖像修復算法，利用破損區域邊緣鄰域的圖像塊的灰度均值的統計確定結構稀疏點的位置，能準確獲取圖像結構點的位置，并快速修復結構區域。在修復速度和效率上獲得較好結果。

1　Criminisi算法的實現

Criminisi算法[4]主要通過以下三步來完成。

(1) 確定修復優先權

定義位于破損區域邊界?Ω的點p為中心的待修復塊Ψp，其修復優先權P(p)：

P(p)=C(p)D(p)

(1)

其中，C(p)是置信度表示在Ψp中已知信息所占的比例，D(p)是待修復塊Ψp的數據項。

(2)

(3)

其中：

(4)

(5)

(3) 置信度的更新

每完成一次填充修復，新填入像素p′的置信度更新為：

C(p)=C(p′),?p∈Ψp′∩Ω

(6)

重復(1)、(2)、(3)直到修復完成。

2　基于統計的結構稀疏特性算法的實現

在Criminisi算法中，每修復一塊圖像塊，即要對邊緣所有點進行優先權的計算，而且在圖像紋理區域具有顏色變化時，會產生紋理修復過渡擴展的現象。

自然圖像的結構相比紋理具有更高的稀疏度，處于圖像結構位置的圖像塊與鄰域的圖像塊的相似性具有更高的稀疏度。利用圖像的這一特征，提出利用結構稀疏性的特征，統計破損區域鄰域信息，獲取結構點位置，并從結構點位置開始進行修復。不必計算每個點的修復優先權，既能準確獲取結構點的位置，并能魯棒性地修復結構信息。算法實現步驟如下。

(1) 破損區域鄰域圖像塊灰度均值獲取

如圖1所示，沿著?Ω以邊緣的P點為中心點計算每個待修復塊Ψp中已知像素的平均灰度值。算法中圖像塊的大小設為3×3。圖中紅色區域為破損區域。

圖1　原理圖

(7)

(2) 灰度值統計直方圖的建立

(8)

圖2　鄰域灰度統計直方圖

(3) 破損區域結構位置的獲取

利用直方圖灰度數量較少的點，如圖2中灰度值均值分別為0.4和0.6是圖像中的稀疏點，其在圖像中的位置如圖3中標識A、B點。算法確定這兩點的位置為結構位置，從這些點開始對破損圖像進行修復。修復過程塊的匹配利用在特定鄰域中圖像塊的匹配算法，如文獻[8]算法中圖像塊的匹配方法。

圖3　結構點位置

利用圖像灰度均值直方圖確定結構位置時，會出現某些鄰域灰度均值的數量較少但是不位于結構位置，但是通過迭代后這些點會消失，稀疏點的位置會回歸到結構位置。

(4) 修復迭代至結構稀疏點消失

每修復一個圖像塊，對于改變后的邊緣直方圖信息進行更新，只需重新計算增加的邊緣信息，重新回到(1)。直到直方圖中結構稀疏點的消失，即結構區域已修復完成。如圖4為利用本算法修復結構后的圖像。

圖4　結構修復完成

(5) 沿著破損區域方向修復紋理區域

確定結構區域修復結束后，沿著破損區域直接在鄰域中進行塊的匹配和修復即可獲得。紋理區域的修復，只在結構位置兩側分別進行圖像塊的匹配，在保證修復質量的同時節省修復時間。

3　實驗結果與分析

利用本算法對BSDS300圖像數據庫中的多幅圖像進行處理，并運用Criminisi算法和本算法進行比較，結果表明本算法的修復效果比較好。另外，為了定量比較算法的修復效果，采用峰值信噪比(PSNR)和算法運行時間作為比較的評價標準。

實驗1中物體移除過程中，如圖5所示，由于Criminisi算法在修復過程中對于最先修復點的依賴性大，而且在迭代過程中誤差的積累使得修復的結果中出現將錯誤區域的信息匹配到填充區域。本算法利用鄰域統計，計算破損區域邊緣的每個點的3×3鄰域圖像塊的平均灰度值，利用灰度值建立邊緣的灰度信息直方圖，準確獲得破損區域結構位置，首先修復結構區域。所以修復結果中結構區域更自然。

圖5　實驗1

實驗2在修復破損區域時，如圖6所示，在其鄰域存在結構的變化，Criminisi算法在修復過程中隨著迭代次數的增加，置信度下降，使修復結果出現結構的不連續。本算法在修復結構后利用鄰域信息匹配為填充區域，獲得滿意的結果。

圖6　實驗2

表1給出了實驗1和實驗2利用Criminisi算法與本算法進行處理后PSNR值的對比。本算法修復的結果在2個實驗中PSNR與Criminisi算法近似。在計算時間上，實驗1和實驗2對于破損區域修復，本算法修復時間是Criminisi算法所用時間的50%。對于BSDS300圖像庫中的50幅圖像，對于不同面積的破損區域(大小從20×20～70×70)的圖像進行修復兩種算法進行比較，本算法的修復時間平均為Criminisi算法的50%。

表1　圖像修復性能的比較

4　結　語

本文算法首次將統計直方圖應用于結構位置的確定，使修復算法在無需對邊緣每個像素點進行優先級的復雜計算的條件下，快速準確地確定結構位置。算法充分利用自然圖像稀疏性先驗的特征，通過計算圖像塊的平均灰度，利用信息分布的稀疏性，簡便，有效。算法可以準確地確定區域中是否存在結構區域，在純紋理區域及結構和紋理區域混雜的圖像中，自適應地對圖像進行修復，獲得較好效果。

本文算法不能很好處理破損區域中同時含有多種結構信息的圖像，這一問題是要進一步研究解決的。

[1]BertalmioM,SapiroG,CasellesV,etal.Imageinpainting[J].ACMTransactiononGraphics,2000,19(3):417-424.

[2]ChanT,OsherS,ShenJ.TotalvariationdenoisingandenhancementofcolorimagesbasedontheCBandHSVcolormodels[J].JournalofVisualCommunicationandImageRepresentation,2001,12(4):422-435.

[3]BertalmioM,BertozziAL,SapiroG.Navier-Strokes,fluiddynamics,andimageandvideoinpainting[C]//ProceedingsofIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition,2001:417-424.

[4]CriminisiA,PerezP,ToyamaK.Objectremovalbyexamplar-basedimageinpainting[C]//ProceedingsofInternationalConfereceonComputerVision,2003:721-728.

[5]WuJ,RuanQQ.Objectremovalbycrossisophotesexamplar-basedimageinpainting[C]//ProceedingsofInternationalConferenceonPatternRecognition,2006:810-813.

[6]WongA,OrchardJ.Anonlocal-meansapproachtoexamplar-basedinpainting[C]//ProceedingsofIEEEInternationalConferenceonImageProcessing,2008:2600-2603.

[7]EfrosA,LeungT.Texturesynthesisbynon-parametricsampling[C]//ProceedingsofInternationalConferenceonComputerVision,1999:1033-1038.

[8]XuZB,SunJ.Imageinpaintingbypatchpropagationusingpatchsparsity[J].IEEETransactionsonImageProcessing,2010,19(5):1153-1165.

[9]ZhangQ,LiJJ.Examplar-basedimageinpaintingusingcolordistributionanalysis[J].JournalofInformationofScienceandEngineering,2012,28(4):641-654.

[10]EladM,StarckJL,QuerreP,etal.Simultaneouscartoonandtextureimageinpaintingusingmorphologicalcomponentanalysis[J].AppliedandComputationalHarmonicAnalysis,2005,19:340-358.

[11]GuleryuzOG.Nonlinearapproximationbasedimagerecoveryusingadaptivesparsereconstructions[C]//ProceedingsofIEEEInternationalConferenceonImageProcessing,2003:713-716.

IMAGEINPAINTINGALGORITHMBASEDONSTATISTICSANDSTRUCTURESPARSITYCHARACTER

YuWenjingBiDongxuYanXuefeng*LinJiajun

(School of Information,East China University of Science and Technology,Shanghai 200237,China)

Currentpopularimageinpaintingalgorithmisbasedonisophotepriority,whichcannotdeterminethestructurelocationoftheimagetoberestoredfastandaccurately.Ouralgorithmsuggeststousegray-meanhistogramofthepatchonrimofthedeterioratedregiontorapidlypositionthelocationofstructurepoints,andafterapriorinpaintingonstructureregion,thefilling-inoftextureregionwillbeimplemented.Thisachievesverygoodrestoringresult.Comparingouralgorithmwiththeclassicalalgorithm,itdoesnotneedtocalculatetheprioritiesofeveryedgepatchbutdirectlymakesuseofstatisticsinformationtoobtainthelocationofstructurepoints,andismoreaccuratethanacquiredbytraditionalalgorithm.Boththecomputationefficiencyandinpaintingeffectofthisalgorithmaregreatlyimproved.

ImageinpaintingGray-meanhistogramStructuresparsity

2015-05-20。于文靜，講師，主研領域：數字圖像修復算法及優化算法。畢東旭，碩士。顏學峰，教授。林家駿，教授。

TP391.41

ADOI:10.3969/j.issn.1000-386x.2016.03.049