基于樣本塊的圖像修復方法

張君　常霞　王利娟

【摘 要】圖像修復是圖像處理的一個重要研究部分，圖像修復方法是試圖估計原圖像信息， 對破損區域進行修補和改善，提高圖像視覺質量的技術。基于樣本塊的圖像修復方法以修復速度快，處理效果好，且對破損面積較大的圖像修復效果佳等顯著優點，成為當前圖像修復的熱點方向之一。本文詳細介紹了基于樣本塊圖像修復方法的優缺點和改進方向，為研究者在圖像修復上提供了相關的理論依據，同時也為圖像修復方法創新提供了研究思路。文章最后給出了圖像修復的發展方向，對深入學習圖像修復方法具有重要的指導意義。

【關鍵詞】圖像修復;樣本塊;優先權;置信度;數據項

中圖分類號： TP391.41文獻標識碼： A文章編號： 2095-2457（2019）33-0021-003

DOI：10.19694/j.cnki.issn2095-2457.2019.33.009

Image Inpainting Method Based on Sample Patch

ZHANG Jun CHANG Xia WANG Li-juan

（The Key Laboratory of Intelligent Information and Big Data Processing of Ningxia Province，

North Minzu University，Yinchuan Ningxia 750021，China）

【Abstract】Image inpainting is one of the important contents in image processing.The image inpainting method is a technique that attempts to estimate the original image information，repair and improve the damaged area，and improve the visual quality of the original picture.The image inpainting method based on sample patchs has obvious advantages such as fast restoration speed，good processing effect and good image restoration effect for images with large damage area，becoming one of the hot spots of image restoration at present.In this paper，the advantages，disadvantages and improvement directions of image restoration methods based on sample blocks are introduced in detail，which provides relevant theoretical basis for researchers in image inpainting and research ideas for image restoration method innovation.At the end of this paper，the development direction of image restoration is given，which has important guiding significance for further study of image restoration methods.

【Key words】Image inpainting;Sample patch;Priority;Data term;Confidence data;Matching patch

0 引言

早期的圖像修復主要應用于文藝復興時期藝術作品的修復，現階段圖像修復在生物醫療圖像、壁畫修補、視頻處理等方面有著廣泛的應用。圖像修復是利用圖像原有的先驗信息，去估計和修復破損區域的缺失信息，使修復后的圖像符合人眼視覺的連續性和合理性，最終達到改善圖像的視覺效果。圖像修復結果不具有唯一性，滿足修復后圖像視覺質量得到改善的結果，都是修復問題的解。

圖像修復方法中常見的兩種方法：基于偏微分方程的圖像修復方法及基于紋理的圖像修復方法。基于偏微分方程的圖像修復方法是在建立合適的修復模型下，通過解方程來實現圖像的修復，該方法雖然可以穩定地保持圖像自身的線性結構信息，但是對圖像的細節信息卻并不能很好地保留。在處理含有大面積破損區域的圖像時，基于偏微分方程的圖像修復方法在擴散過程中會不斷引入模糊，模糊程度隨著破損區域尺度的增加而增加，因此該方法適用于修復尺度較小的圖像。基于紋理的圖像修復方法是通過原圖像及完好的區域信息去估計和填充破損區域信息，尋找最佳匹配塊，并將完好的匹配塊信息填充到對應破損區域的位置上，逐次迭代完成整幅圖像的填充。圖像大多是由結構和紋理細節組成，而針對紋理細節明顯的圖像更適合用基于紋理的修復方法進行填充。若圖像的破損區域尺度較大，內外紋理信息可能差別會很大，顯然基于紋理圖像修復方法更合適此種修復情況。基于樣本塊的圖像修復方法是基于紋理的圖像修復方法中最具有代表性的方法。在填補紋理信息方面，基于樣本塊的圖像修復方法更優，尤其當破損區域面積較大時。

本文首先介紹了基于樣本塊的圖像修復方法的基本原理，以及最新研究進展，結合算法的局限性，討論了改進思路和方法，并對圖像修復的發展趨勢進行了展望。

1 基于樣本塊的圖像修復算法

基于樣本塊的圖像修復方法是以樣本塊為基本單元，分別給予待填充樣本塊的中心像素一個灰度值和一個置信度值。臨時對填充邊緣的樣本塊賦予一個的優先權值，通過優先權值的大小順序來確定樣本塊被填充的順序。再通過SSD匹配原則，尋找與之最為相似的源匹配塊，將最佳匹配塊的紋理信息和結構信息復制填充到待修復塊中，已填充像素塊的置信度值需要重新更換，以此完成一次修復。按照同樣方法，逐步對破損區域進行推進式填充，直至最后完成整幅圖像的填充。

算法步驟處理如下：

1）計算優先權并確定待修復樣本塊。在圖像待修復前緣選擇一點p，則p點的優先權為：

其中，C（p）為p點的置信度項，D（p）為p點的數據項。

通過計算填充邊緣點的優先權函數值的大小，確定優先權函數值最大的那個點所在的樣本塊，作為最先需要填充的樣本塊。處于連續邊緣上和被高置信度像素包圍的圖像塊，其優先權值較大，將最先被填充，因此會更好地保持圖像的結構信息和紋理信息。

2）確定最佳匹配塊和填充待修復塊。根據SSD（sum of squared difference）匹配原則，在圖像整個完好區域內找出與樣本塊最相似的匹配塊，并將最佳匹配塊的結構信息和紋理信息復制給待填充樣本塊。

3）更新置信度項。優先權值最大的樣本塊被填充之后，更新已填充樣本塊的置信度項重復以上三個步驟，直至最終填充完畢。

2 基于樣本塊的圖像修復方法的改進分析

綜合分析基于樣本塊的圖像修復方法的基本原理，我們從該算法所涉及的影響像素運算的因素，得出四個可改進的方面：優先權函數、匹配原則、更新原則和自適應原則。

2.1 優先權函數

優先權函數的計算在圖像修復的整個過程中尤為重要。優先權值決定著圖像樣本塊填充的次序，影響著圖像的最終視覺效果。圖像修復過程中，隨著填充的進行，置信度項的可信度值越來越小，甚至出現驟降為零的情況，進而使得圖像塊填充次序混亂，后期填充圖像嚴重模糊，而修復面積越大出現置信度驟降為零的概率越大。即使遇到線性結構豐富的區域，圖像塊也不能被優先填充，嚴重影響了圖像修復的效果。另外，若樣本塊處等照度線方向與該中心像素塊的法線方向垂直，不管此時的置信度項值多大，數據項和優先權值都為零，失去了填充的意義。Criminisi等[1]人最早提出基于樣本塊的圖像修復算法，尤其針對大面積破損圖像具有很好的修復效果。但因其在圖像填充后期，置信度項的驟降，導致修復后期出現嚴重的偽影和振鈴效應。為此，研究者們將研究重點放于改善優先權函數上面。Zhou Yatong等[2]人建議將優先權函數表示為P（p）=C（p）D（p）+nD（p），適當增加函數中數據項的比重，平衡置信度項驟降的限制。歐先鋒等[3]人提出將優先權函數改為P（p）=C（p）D（p）+C（p）α。此改進方法從置信度項入手，減緩置信度項驟降趨勢，增加置信度項的比重，使優先權函數在整個變化中，有著平穩的變化過程，減緩變化的速度，同時也增加填充順序的可信度。康凱等[4]人提出將數據項改為D（p）=|np|×（ξ×Iξξ+k×η×Iηη），置信度項不做任何變動，從數據項方面出發，鼓勵優先填充與np夾角較小的邊緣結構，并且鼓勵優先填充圖像中破損的突變區域，具有更強的識別能力和糾錯能力。侯玉婷等[5]人提出將優先權函數改為P（p）=C（p）+（1-λ）·D（p）+λ·δS2，將采用數據項和置信度項的相加運算，具有更強的識別紋理區域和邊緣區域的能力，防止置信度迅速衰減帶來的錯誤填充次序。曾接賢等[6]人將置信度項的計算重新定義，采用棋盤全包圍的方法計算置信度項，增加樣本塊置信度項的充分利用，降低置信度項的驟變速度，較好地緩解了填充誤差。劉業妃等[7]人采用指數函數加權的形式將優先權函數改進為P（p）=α×ec（p）+β×D（p），增加了優先權函數的可靠性和變化范圍，使算法運行具有更強的穩定性。

2.2 匹配原則

基于樣本塊的圖像修復算法步驟的第二部分是匹配塊的選擇與填充。確定待填充的樣本塊后，下一步是在源區域尋找最佳匹配塊。匹配原則的設計具有至關重要的作用，原算法中是根據SSD（sum of squared difference）匹配原則篩選最佳匹配塊，隨著對算法的深入研究，學者們紛紛對匹配原則進行改進和豐富，使得匹配塊的確定更加精準，大大地降低了填充誤差，修復效果也有一定改善。康凱等[4]人在原有的SSD匹配原則的基礎上增加了距離計算，根據SSD和距離因素，尋找最佳匹配塊。往往距離近的區域，相似性更高一點，就近原則也有一定的理論意義。原算法初期進行了全局搜索，后期再進行全局搜索，相對來說有些浪費時間，侯玉婷等[5]人重新設計了匹配塊搜索范圍，重新定義一個新的相似性函數，實現最佳匹配塊的尋找。此改進方法兼顧搜索效率和匹配原則設計的合理性。曾接賢等[6]人使用相似塊的劃分原則，將RGB圖像轉化成HSV圖像，將三維像素合成一維特征向量，提取圖像塊顏色特征，計算像素塊特征的歐氏距離，由紋理特征和顏色特征共同決定最佳匹配塊的選擇。此設計具有更強的適應性和穩定性，對像素塊特征的抓取更完整，可以降低修復過程中產生的誤差。任澎等[8]人引入像素點誤差平方和的平均值ASSD（average sum of squared differences）。在初期SSD的判斷下找到匹配塊后，通過ASSD的再判斷，進一步尋找不良匹配塊，對其再重新修復，盡量保證修復的準確性，深入修正誤差匹配塊。何雨亭等[9]人在原有匹配原則的基礎上增加了結構張量相干因子，兩個原則共同約束匹配塊的滿足條件，使得修復準確性有了進一步的提升。Wang Jing等[10]人在匹配塊的尋找過程中進行了二次篩選，第一次篩選根據原有的SSD匹配原則，第二次進行NCC歸一化原則篩選，即以一種色彩定義距離的物理量進行篩選。兩輪篩選的策略，在準確性上有了一定可信度，但是時間耗費上可能要多一些。

2.3 更新原則

樣本塊被修復后，置信度項要進行重新更新，避免修復區被二次識別修復，以保證后續圖像修復的順利進行。延續優先權的變化趨勢問題，研究者不斷地在更新置信度項上尋求改善，盡可能使得更新后的置信度項降低趨勢減緩，避免過快出現為零的情況。李愛菊等[11]人提出在更新置信度項時，設定一個顏色閾值，按實際圖像處理情況區別對待需要更新的樣本塊，更符合圖像修復的具體情況。李尊等[12]人采用FDIM算法，圖像修復后，針對出現圖像不連續的邊緣區域，采用無縫處理對其進行進一步的更新和修復，提高了圖像修復的質量。萬寶龍等[13]人重新定義更新的置信度項，引入相似度系數，使更新的置信度項在數量級上比未修改的置信度項大，減緩置信度項的劇變。相似度系數保證了在合適的范圍內適當放大數值，置信度也具有更強的可信度。

2.4 自適應原則

原始的基于樣本塊的圖像修復算法，樣本塊的大小是固定的。隨著學者們的深入研究，提出自適應的圖像修復策略。自適應策略具有更強的適應性，針對不同的圖像結構情況，自適應調整待修復樣本塊的大小，更細膩化的修復圖像。歐先鋒等[3]人提出自適應樣本塊，以像素點處的梯度作為判斷條件，根據梯度值大小分成三個區間，進而將樣本塊分成三種不同大小的類型。三種類型的樣本塊比較貼合圖像修復的實際紋理和結構情況，更好地保證了修復的視覺效果。曾接賢等[6]人根據圖像局部自相似性，將圖像自適應地劃分為不同圖像塊，根據圖像塊的不相似性決定劃分樣本大小。引入濾波器，對圖像塊進行處理，提取紋理特征，進而確定圖像的不相似性，保證匹配和填充的準確性。任澎等[8]人根據結構張量特征值，將圖像劃分為邊緣區域、紋理區域和平坦區域，定義新物理量平均相干因子，以此識別三種不同區域，進而根據三種區域的紋理特征確定樣本塊的大小。此設計方法對紋理復雜的破損區域也能把握好細節，魯棒性更強，修復的視覺效果更佳。孟春芝等[14]人也是根據像素點的梯度值確定填充邊緣的紋理結構，在對其進行做結構差異性檢測，滿足最小差異性約束條件，保證樣本塊自適應調節大小和填充的精確性。朱園珠等[15]人對通過局部梯度場的變化衡量局部結構特征的變化，局部結構特征值的設定是重新定義的，巧妙地保證了像素塊與填充邊緣的融合效果，最后通過局部結構特征的變化確定樣本塊的大小。鄭晚秋等人引入像素點的二階微分量，進而利用曲率確定樣本塊的大小，相對具有一定的準確性，對結構變化具有更強的適應性。何凱等人定義梯度相似度函數和結構相似度函數，結合紋理特征，設定誤差限制準則，進而自適應調整樣本塊大小。

3 總結與展望

本文分析了基于樣本塊的圖像修復方法改進的四個方面，后續仍需要對更多細節問題進行深入探討，針對不同圖像類型的進一步分析和研究具體改進策略。目前圖像修復的破損區域基本靠人工標注，而針對一些顏色豐富的破損圖像，人眼無法察覺出圖像的缺失顏色，人工標注將受到限制。所以未來的研究工作可從自動獲取破損圖像區域方向入手，擴大圖像修復方法的適用范圍。另外圖像修復效果的客觀評價指標較為單一，得到的有效信息受限，未來工作也可從圖像修復效果的客觀評價指標方面進行創新。

【參考文獻】

[1]Criminisi A，Pérez P，Toyama K.Region filling and object removal by exemplar-based image inpainting[J].IEEE Transactions on Image Processing， 2004，13（9）：1200-1212.

[2]Zhou Y，Li L，Xia K.Research on weighted priority（下轉第3頁） （上接第23頁）of exemplar-based image inpainting[J].Journal of Electronics（China），2012，29（1-2）：166-170.

[3]歐先鋒，晏鵬程，郭龍源.一種改進的Criminisi圖像修復算法[J].成都工業學院學報，2018，21（1）：27-30.

[4]康凱，尹東，張榮.一種基于樣圖的圖像修復改進算法[J].計算機工程與應用，2014，50（13）：187-190.

[5]侯玉婷，彭進業，韓東辰.改進的Criminisi圖像修復算法研究[J].計算機工程與應用，2015，51（11）：135-138.

[6]曾接賢，王璨.基于優先權改進和塊劃分的圖像修復[J]. 中國圖象圖形學報，2017，22（9）：1183-1193.

[7]改進的Criminisi圖像修復算法[J].小型微型計算機系統，2014，35（12）：2754-2758.

[8]任澍，唐向宏，康佳倫.紋理和邊緣特征相結合的圖像修復算法[J].計算機輔助設計與圖形學學報，2013，25（11）：1682-1693.

[9]何雨亭，唐向宏，張越，et al.結構張量的改進Criminisi修復[J].中國圖象圖形學報，2018，23（10）：64-79.

[10]Wang J，Lu K，Pan D，et al.Robust object removal with an exemplar-based image inpainting approach[J].Neurocomputing， 2014，123：150-155.

[11]李愛菊，鈕文良.基于改進Criminisi算法的圖像修復[J]. 計算機工程與應用，2014，50（18）：167-170.

[12]李尊，吳謹，劉勁.基于邊緣結構的Criminisi圖像修復[J].液晶與顯示，2014（5）：756-760.

[13]方寶龍，尹立新，常晨.改進的基于樣例的圖像修復方法[J].計算機工程與應用，2014（8）：143-146.

[14]何凱，牛俊慧，沈成南，et al.一種自適應樣本塊圖像修復方法[J].中國圖象圖形學報.

[15]朱園珠，朱曉臨，陳嫚，et al.基于改進優先級的自適應圖像修復算法[J].合肥工業大學學報（自然科學版），2014（6）：683-689.

[16]鄭晚秋，廖勝輝.紋理結構引導的自適應圖像修復算法[J].計算機技術與發展，2016，26（6）.

[17]何凱，牛俊慧，沈成南，et al.基于SSIM的自適應樣本塊圖像修復算法[J].天津大學學報（自然科學與工程技術版）， 2018，v.51;No.329（07）：101-105.