基于模式相似性的圖像修復算法

謝瓊 張紅英　彭博

摘要：圖像修復是一種去除圖像中多余可視物體并用合理的紋理填充未知區域的技術。針對Criminisi等人提出的基于樣本的圖像修復算法在尋找匹配塊時存在的一些不足，提出一種基于模式相似性的修復算法。該算法使用樣本紋理的亮度變化和空域特性作為尋找匹配模塊的約束條件。實驗結果表明該方法在修復強結構紋理圖像時有很好的效果。

關鍵字：圖像修復算法； 圖像補全； 模式相似性； 匹配模塊

中圖分類號：TN919?34 文獻標識碼：A 文章編號：1004?373X（2013）02?0094?03

近年來，隨著多媒體和通信技術的發展與進步，數字圖像處理技術也在數字產品中得到了廣泛應用。但是經常會碰到圖像上信息缺損的現象：破損或劃痕圖像；去除圖像上多余物體或文字留下的未知空白區域；在數字圖像的處理和傳輸等過程中，因信息丟失所留下的信息缺損區等[1]。圖像修復技術是由圖像的已知鄰域信息來預測待修復區域內信息的過程，從而達到在人眼主觀系統可以接受的條件下恢復出原始未失真或符合人類視覺要求圖像的目的。目前，數字圖像修補技術可以分為以下幾類[2]：第一類是變分PDE（Partial Differential Equation，PDE）修補技術；第二類是基于紋理合成的修補技術；第三類是基于稀疏重構的圖像修補技術；第四類是其他修補技術。變分PDE修復模型就是將圖像修復過程轉化為一系列的偏微分方程或能量泛函模型，然后對該模型求解，最終達到修復的目的。Bertalmio，sapiro，easelles等借助于PDE模仿手工修復過程，采用迭代和擴展2種算法沿等照度方向由粗到精的向破損區域內擴散[3]。

T.Chan和J.Shen建立了能量最小化的修復模型即整體變分模型（Total Variation，TV），取得了良好的效果[4]。T. Chan和J.Shen又提出了曲率推動擴散的修復模型（Curvature Driven Diffusion，CDD）[5]，該模型增加了一個曲率項來滿足“連接性準則”。

有關稀疏表示的圖像修復方法如：Fadili等采用稀疏表示進行圖像修復和放大[6]；Mairal等采用K?SVD訓練彩色圖像得到學習字典進行彩色圖像去噪和修復[7]。

Xu等同時考慮了圖像的結構和紋理信息，提出了基于塊結構稀疏的修復模型[8]。Peyre利用從一些樣本中通過機器學習推理而來的字典修復圖像，能較好的修復紋理圖像[9]。

基于紋理合成技術簡單來說既是根據圖像的紋理特征，選取大小合適的紋理塊，生成具有同樣效果的新的紋理，用來修復圖像中的紋理區域。

Criminisi等提出的基于樣本的修復方法在時間和視覺上優先于基于非紋理的修復方法等其他算法[10]，但是由于其算法的特殊性，在修復強結構紋理圖像時，修復結果會出現明顯的結構不連續現象。

本文在Criminisi工作的基礎上，為了取得精確的匹配塊，引入了一種新的約束條件：

（1）引入樣本紋理的亮度變化來獲得有效樣本。

（2）紋理塊的空域特性被認為是一個隱式約束條件，該條件滿足許多真實的場景。實驗證明該方法可以得到良好的修復結果。

3 實驗結果及分析

實驗環境是PIV2.66G CPU，2 GB內存。表1為試驗中的各參數的設置。表2為實驗結果的客觀評價比較，從中可以看出本文算法的PSNR值高于Criminisi算法，從而得出本文優于原始算法。圖2（a）為待修復圖像模版，圖2（b）為原始的Criminisi算法結果，圖2（c）為尋找搜索范圍為待修復點周圍80個像素結果，圖2（d）為本文算法。從圖中結果可以看出（a），（b）中的邊緣（屋頂邊緣）有不連續的情況，而本文的算法對于結構紋理起到了很好的修復效果。

4 結 語

通過分析Criminisi算法，找出Criminisi算法的缺點，提出一種改進的算法進行修復。在尋找匹配塊時引入兩個約束條件：

（1）引入樣本紋理的亮度變化來獲得有效樣本；

（2）紋理塊的空域特性被認為是一個隱式約束條件。

在實驗中，通過比較提出算法與傳統算法證明了該算法的有效性。該實驗中，參數如窗口大小等通過經驗確定。在未來的工作中，應該建立一個方法來確定最優參數。

參考文獻

[1] 張紅英.數字圖像修復技術的研究與應用[D].成都：電子科技大學，2006.

[2] 張紅英，彭啟琮.數字圖像修復技術綜述[J].中國圖象圖形學報，2007，12（1）：23?45

[3] BERTALMIO M， SAPIRO G， CASELLES V， et al. Image inpainting [C]// SIGGRAPH 2000 Computer Graphics Proceedings. USA： ACM Press， 2000： 417?424.

[4] CHAN T， SHEN J. Mathematical models for local non?texture inpainting [J]. SlAM Journal of Applied Mathematics， 2001， 62（3）： 1019?1043.

[5] CHAN T， SHEN J. Non?texture inpaintings by curvature?driven diffusions （CDD） [J]. Journal of Visual Communication and Image Representation， 2001， 12（4）： 436?449.

[6] FADILI M J， STARCK J L， MURTAGH F. Inpainting and zooming using sparse representations [J]. The Compter Journal， 2007（6）： 1?16.

[7] MAIRAL J， BACH F， PONCE J， et al. Online learning for matrix factorization and sparse coding [J]. Journal of Machine Learning Research， 2010， 11： 19?60.

[8] XU Z， SUN J. Image inpainting by patch propagation using patch sparsity [J]. IEEE Transactions on Image Processing， 2010， 19（5）： 1153?1165.

[9] PEYRE G. Sparse modeling of textures [J]. Journal of Mathematical Imaging and Vision， 2009， 34（1）： 17?31.

[10] CRIMINISI A， PEREZ P， TOYAMA K. Region filling and object removal by exemplar?based image inpainting [J].IEEE Transactions on Image Processing， 2004， 13（9）： 1200?1212.