基于邊緣結構的Criminisi圖像修復

李 尊，吳 謹，劉 勁

（武漢科技大學 信息科學與工程學院，湖北 武漢 430081）

1 引 言

圖像修復［1］是指對受到損壞導致信息不完整的圖像進行修復重建或者去除圖像中多余的目標。圖像修復是圖像復原［2］的重要內容，是數字圖像處理與計算機視覺的一個研究熱點，廣泛地應用到了殘缺照片的修復、去除文字、去除干擾目標等方面。

目前圖像修復算法主要分為兩大類：基于偏微分方程的圖像修復法和基于紋理的圖像修復法。

基于偏微分方程的圖像修復法是針對圖像中的像素點進行修復，其利用物理學中的熱擴散方程原理來建立圖像的偏微分方程，從而使圖像中破損區域的周邊信息擴散到破損區域的內部，達到圖像修復的目的，代表的方法有BSCB模型算法［3］和TV模型算法［4］等。此修復方法適用于小區域信息缺失的圖像修復。

基于紋理的圖像修復法是針對圖像中的像素塊進行修復，其以受損邊緣上的一個像素點為中心，用圖像中現存的像素塊進行匹配，來填充信息受損的區域，達到圖像修復的目的，代表的方法有Criminisi算法［5］等。此修復算法適用于大區域信息缺失的圖像修復。

近幾年，對于Criminisi算法的改進有很多。文獻［6］的改進主要根據修復邊緣的復雜性，動態的選擇匹配塊搜索的區域，側重于減少系統開銷；文獻［7］的改進主要是引入曲率到優先權中，提高了優先權的信度；文獻［8］的改進主要是動態因子和新的匹配原則的引入，目的在于匹配模塊的合理選取。文獻［9］采用區域分割的變尺寸樣本塊高效圖像修復算法，降低了時耗且改進修復質量。本文優化Criminisi算法重點在邊緣結構信息修復，且利用圖像融合技術［10］中的 FDIM（finite difference iterative mosa）算法［11］對修復后圖像進行邊緣無痕處理，使得圖像在視覺效果上達到自然完整統一。

2 Criminisi算法

Criminisi算法是基于樣本塊紋理合成圖像修補算法，此算法由Criminisi等人于2004年提出，其核心就是優先權的計算、匹配塊的搜索、填充、更新置信度和提取新的邊緣信息。假設修補前的圖像如圖1所示。

圖1 符號說明圖Fig.1 Figure of symbol

其中φ表示的區域是未標記的區域，即完好區域；Ω表示的區域是標記的區域，即修補區域；δΩ表示待修補區域的邊界。

Criminisi算法優先權共有2項所決定。其中一項是置信度C（p），C（p）表示的是以P為中心的待修補塊ψP中原圖的像素所占的比重，C（p）的數值越大優先級越高，反映了含有的原圖區域的信息多，應給予優先修補；另一項是數據項D（p），D（p）表示的是邊界ψP在P處的梯度法向量np與完好區域中邊緣梯度向量的乘積，D（p）數值越大越好，表示修補區域邊界與原圖中明顯邊界的交匯處，反映了進化表面線性結構強度高，應給予優先修補。Criminisi算法提出的P點優先權計算如式（1）所示，C（p）、D（p）如式（2）、（3）所示。

其中：α是歸一化算子，在灰度圖中我們取α為255。

3 優化的修復方法

本文修復方法由優化的Criminisi算法和FDIM算法共同構成，旨在提高圖像的修復質量，特別是修復區域的邊緣。

3.1 Criminisi算法分析

在Criminisi算法中，圖像修復質量由兩個關鍵因素所決定：填充順序和匹配原則，其中填充順序在兩者中更為重要。若填充順序不合理，隨之的所有操作都將在不合理的基礎上進行，進而導致不斷地錯誤累加，出現圖像修復不協調的現象，無法滿足人的視覺需求。本文主要針對Criminisi算法的優先權進行改進。

Criminisi算法存在不足，主要有以下兩個原因：

（1）置信度C（p）會隨著修補次數的增加使得C（p）中原圖的信息會減少，會有數量級的差別出現。這樣的情況下，式（1）的優先權計算基本完全是由C（p）所控制。

3.2 優化Criminisi算法

從數學的角度來看，當輸出正比于輸入時能夠很好地抵抗噪聲及外部的干擾。所以為了增強修復邊緣結構過程的魯棒性，本文引用正規化函數平滑數據項D（p）曲線。

因此得出的新數據項如式（4）所示：

新數據項的引入，保證其取值的范圍在ω～1，置信度的曲線被平滑了，且其曲線的形狀得以保留。通常選取ω＝0.7。

為了降低C（p）的誤差累積對優先權的影響，本文把優先權轉換成兩項相加形式，來保證優先權準確度的穩定。優化的優先權計算公式為：

其中：α＋β＝1，0.35≤α，β≤0.65。

把優先權的式子換成置信度C（p）與數據項RD（p）相加的形式，可以增加其修復的魯棒性。α，β的選取對圖像修復的影響是很大，一般來說選取α＝β＝0.5，當修復效果達不到預期的效果時，我們可以微調α，β進行圖像修復。且本文實驗要求α＋β＝1，0.35≤α，β≤0.65保證優先權的計算兼顧到結構和紋理信息。

3.3 FDIM算法無縫處理

Criminisi算法是針對圖像像素塊進行修復的，在修復區域邊緣極易出現與原區域結構“脫節”，導致視覺上不自然，不協調。針對這種情況，本文對圖像修復的邊緣進行無縫處理。

優化的Criminisi算法修復的圖像可看作兩幅圖像不含重疊區域的融合，即圖像鑲嵌。FDIM（finite difference iterative mosa）算法是基于向導矢量場的圖像鑲嵌的算法，可以用于任意形狀的修復邊緣的拼縫的消除。其迭代公式如下所示：

其中：t表示迭代次數。

經過本文改進的Criminisi算法修復的圖像，利用圖像融合的FDIM算法對修復區域邊界進行無縫處理，能夠使圖像的整體的視覺效果得以提升，達到灰度和諧、修復邊緣光滑過渡的效果。

4 仿真實驗結果與分析

本文圖像修復方法的仿真實驗所用的軟件是MATLAB7.0和VC＋＋6.0，仿真結果如圖2～圖4所示。圖中（a）表示原始圖像，（b）表示待修復圖像，（c）表示Criminisi算法修復的圖像結果，（d）表示文獻［8］的優先權修復的圖像結果，（e）表示本文方法修復的圖像結果。

圖2 人群移除圖像修復結果Fig.2 Image inpainting of crowd removal

圖3 垃圾桶移除圖像修復結果Fig.3 Image inpainting of trash removal

由圖2可以看出，仿真實驗是為了移除背景中多余的人群，得到所需的前景圖像。經對比可以看出：（c）中的邊緣結構信息處理效果不夠好，墻壁的信息延伸到了樓梯中；（d）中能夠處理好邊緣結構信息，但是在樓梯處出現錯誤信息的修復；（e）中邊緣結構信息處理較好，且錯誤信息的累積較少，基本滿足了人的視覺需求。

圖4 荷花信息缺失圖像修復結果Fig.4 Image inpainting of lotus’s missing information

由圖3可以看出，仿真實驗是為了移除垃圾桶，得到視野更為寬闊的十字路口圖像。經對比可以看出：（c）出現了大面積錯誤的結構紋理修復信息，把遠處的房子灰度信息修復到了馬路上并且修復的區域出現了塊狀的結構；（d）出現了錯誤的結構紋理修復信息，把樹木的信息修復到了馬路上，與（c）相比，修復的錯誤信息像素數減少，但是仍然無法滿足人的視覺需求并且同樣出現了塊狀修復的結構；（e）同樣也出現了錯誤的修復信息，把馬路上的臺階處的信息修復到了馬路上，但視覺需求基本滿足且修復區域的塊狀結構減少，修復區域的信息和周圍能夠協調。

由圖4可以看出，仿真實驗是為了修復荷葉與荷花莖部缺失的大面積圖像信息。經對比可以看出：（c）、（d）、（e）均能夠較好地完成圖像的修復，沒有大面積錯誤信息累積，視覺上基本上滿足了人的需求。但是，就細節上而言，（e）的修復結果在邊緣結構的處理效果上更好一點，使得葉子和后面的背景分離且錯誤信息修復降低。

5 結 論

本文修復方法的優先權的整體魯棒性提高，能夠有效地將圖像中原有的信息延伸到待修復區域，并且經過FDIM算法的無縫處理使得圖像的修復結果特別是邊緣結構信息的修復更能滿足人的視覺需求。今后需要更進一步研究目標的合理標記、圖像修復塊的合理有效的尋找等問題。

［1］Bertalmio M，Sapiro G，Caselles V，et al.Image inpainting［C］.Proceedings of International Conference on Conputer Graphics and Interactive Techniques ，USA：John Seely Brown，2000：417－424.

［2］沈峘，李舜酩，毛建國，等.數字圖像復原技術綜述［J］.中國圖象圖形學報，2009，14（9）：1764－1775.Shen H，Li S M，Mao J G，et al.Digital image restoration techniques a review ［J］.Journal of Image and Graphics，2009，14（9）：1764－1775.（in Chinese）

［3］Ballester C，Bertalmio M ，Caselles V，et al.Filling－in by joint interpolation of vector field and gray levels［J］.IEEE Trans.Image Process，2001，10（8）：1200－1211.

［4］Chan T，Shen F.Mathematical models for local non－texture inpaintings［J］.SIAM Journal on Applied Mathematics，2002，62（3）：1019－1043.

［5］Criminisi A，Perez P，Toyama K.Region filling and object removal by exemplar based inpainting［J］.IEEE Trans.Image Process，2004，13（9）：1200－1212.

［6］趙倫.一種基于樣本紋理的圖像修復算法研究［J］.電腦知識與技術，2013，9（19）：4509－4528.Zhao L.An image restoration algorithm based on the sample texture［J］.Computer Knowledge And Technology，2013，9（19）：4509－4528.（in Chinese）

［7］常晨，尹立新，方寶龍.一種改進的Criminisi圖像修復算法［J］.計算機應用與軟件，2012，29（9）：238－267.Chang C，Yin L X，Fang B L.An improved criminisi algorithm for image inpainting ［J］.Computer Applications and Software，2012，29（9）：238－267.（in Chinese）

［8］張斐.大區域圖像修復算法研究［D］.南京：南京郵電大學，2013.Zhang F.Research on large area image inpainting［D］.Nanjing：Nanjing University of Posts and Telecommunications，2013.（in Chinese）

［9］劉洋，王昊京，田小建，等.采用區域分割的變尺寸樣本塊高效圖像修復［J］.光學精密工程，2010，18（12）：2657－2664.Liu Y，Wang H J，Tian X J，et al.Efficient image inpainting based on region segmentation and varying exemplar［J］.Optics and Precision Engineering，2010，18（12）：2657－2664.（in Chinese）

［10］邵明省，杜廣朝.基于量子克隆多宇宙算法的圖像融合研究［J］.液晶與顯示，2012，27（6）；837－841.Shao M S，Du G C.Image fusion processing based on multi－universe quantum cloning algorithm ［J］.Chinese Journal of Liquid Crystals and Diaplays，2012，27（6）；837－841.（in Chinese）

［11］張煥龍.圖像無縫拼接技術的研究［D］.開封：河南大學，2007.Zhang H L.Research on seamless image mosaic technology［D］.Kaifeng：Henan University，2007.（in Chinese）