基于改進樣本塊匹配準則的圖像修復

張君　常霞　王利娟

摘 要 基于樣本塊的圖像修復方法是圖像修復中常用的方法，有修復速度快，處理效果好，尤其可以處理大面積破損區域的圖像等優點。基于樣本塊的圖像修復方法在進行修復時，置信度項逐漸衰減為零，使得優先權計算的準確性明顯降低，導致后期樣本塊的修復順序發生較大的誤差，產生圖像局部模糊等情況。針對以上問題，本文引入引導因子和改用L1距離作為新的匹配準則。根據實驗處理結果，本文改進的圖像修復方法具有更佳的視覺效果和更強的魯棒性，縮短了修復所用時間，取得了較好的修復效果。

關鍵詞 圖像修復;樣本塊;優先權;置信度項;匹配準則

中圖分類號： TP391.41 文獻標識碼： A

DOI：10.19694/j.cnki.issn2095-2457.2020.02.006

0 引言

圖像修復是圖像處理的一個熱點問題，已用于文藝作品修護、醫學影像診斷、刑事偵查、日常修圖等方面。圖像修復技術根據圖像未破損區域的先驗信息，來處理圖像中破損區域，滿足人眼視覺連續性并符合當前圖像場景的方法。圖像修復是根據圖像先驗信息的幾何特征和紋理結構模擬出來的結果，可能與原圖像差別較大，但視覺上不會有明顯違和感，且與當前圖像場境搭配融洽。因此，主觀方面上感知效果佳和客觀評價指標相吻合的修復方法，都可視為最佳修復方法。

2000年Bertalmio和Sapiro等人[1]提出了數字圖像修復問題，使得圖像修復引起人們的普遍關注。他們模仿流體力學方程，將等照度線方向進行延伸和擴散，進而將圖像受損部分填補。該修復方法是一個連續迭代并不斷光滑擴散的圖像變換（BCSB模型）過程。為改善該模型的缺陷，研究者在偏微分方程的基礎上，又相繼提出了整體變分模型（TV模型）和曲率驅動擴散模型（CDD模型）。當修復區域面積較大時，以上三種修復方法會出現修復效果過度平滑、偽影延伸過度的現象。因此，基于偏微分方程的修復模型適用于處理破損面積相對較小的圖像。

2004年Criminisi等人[2]提出了基于樣本塊的圖像修復模型。該方法可修復破損面積較大的圖像，改善了基于偏微分方程圖像修復的不足。基于樣本塊的圖像修復方法是將完整的圖像信息以樣本塊為基本單元，通過一定的匹配準則，復制到圖像受損區域，完成整個圖像修復的過程。以置信度項和數據項的乘積構成優先權函數，經過計算優先權函數大小，確定圖像修復順序，進而完成填充修復過程。隨著樣本塊填充的進行，置信度項逐漸衰減為零，就造成填充后期圖像模糊等問題。為解決這一問題，諸多學者進行不同方向的算法改進。例如，改善優先權性能[3-6]，自適應調節樣本塊的大小[7-9]，優化匹配準則[10-11]，改進樣本塊搜索原則和樣本塊的填充方式[12]。本文從優先權函數的性能和匹配準則這兩個方面進行改進和優化。將原始算法中數據項和置信度項乘積改為三項之和，規避了置信度項急劇衰減為零和數據項中等照度線方向正交于法線方向而降為零等這兩種情況，更好的減緩了各項因素的制約關系，擴大了數值的變化范圍，更有利于處理復雜結構的圖像。另外采用L1距離作為匹配準則，降低計算的復雜度，提高了匹配的準確性。

1 基于樣本塊的圖像修復模型

基于樣本塊的圖像修復方法是在圖像破損區域尋找優先權函數值最大的樣本塊，然后通過SSD準則，在完好的圖像區域找到與之最匹配的源樣本塊，將源樣本塊中的紋理信息和結構信息復制給待修復的樣本塊，完成一次填充。

整個圖像區域為I，Φ為圖像的源區域，Ω為圖像的待修復區域，其中I=Φ+Ω。p為待修復邊緣上的像素點，Ψp是以p為中心的待修復樣本塊。

基于樣本塊的圖像修復算法步驟如下：

（1）計算優先權。首先確定待修復區域的邊緣，然后計算待修復區域邊緣上樣本塊的優先權值，并找出優先權值最大的像素點p所在的樣本塊Ψp。

m和n分別表示樣本塊的長和寬，R，G和B分別表示紅綠藍色素帶，p和q分別表示待修復樣本塊中心點和匹配塊中心點。

（3）置信度項的更新。目標樣本塊被填充后，則變成已知像素點，此時置信度值需要重新更新，使得C（p）=C（q），并重新計算新的優先權值。如此完成一次填充，循環進行以上步驟，直至完成全部區域填充。

在基于樣本塊的圖像修復算法中，優先權函數是由置信度項和數據項這兩項相乘得到的，根據優先權函數值的大小確定需要填充的樣本塊順序。樣本塊填充順序決定著圖像修復質量的好壞。而由置信度項和數據項構成的優先權函數，就具有至關重要的決定性作用。隨著后期填充的進行，置信度項的可信度會越來越低，導致填充順序出現越來越大的累積誤差。甚至可能還未完成破損區域填充，就已經出現邊緣模糊不清晰的情況。

2 改進的優先權函數

基于樣本塊圖像修復算法中，優先權函數由兩項組成：置信度項C（p）和數據項D（p）。修復過程中，樣本塊的填充順序由填充前緣的優先權函數大小決定的。隨著填充的進行，置信度項逐漸衰減為零，且累積誤差越來越大，比想象中更容易達到零，即在原始圖像修復過程中，圖像后期的填充效果不佳，局部圖像模糊，偽影情況比較明顯，與圖像場景不融合，肉眼可見修復效果不理想。考慮到這些情況，本文提出一種新的優先權函數

P（p）=C（p）+D（p）+7*τ（6）

其中，τ為引導因子。首先優先權函數由之前的兩項數乘變為三項相加，將置信度項的大小變化更細膩化，在一定程度上延拓置信度項衰減程度，相比之前的數乘，有了很大的改善。另外，填充順序并非只受置信度項衰減影響，填充前緣的線性結構對此也有著至關重要的影響，因此將線性結構的變化進一步加強和放大也可以緩沖數據項的影響。而本文設計的引導因子τ正好利用了圖像填充前緣結構的變化，即類似于梯度，對填充順序的選擇起到了一定的引導作用和加強優先權函數的篩選優先樣本塊的填充順序的準確性。其中τ的計算如下：

從數學表達式上看，優先權函數兼顧了數據項和置信度項的變化情況及影響效果，可以較好地適應圖像的局部變化情況。另外從圖中也可以看出隨著修復過程的進行，置信度項的變化相較之前，大小變化明顯緩慢了很多，面對相同的圖片修復過程，在把握圖像紋理信息和結構信息的細節變化上，更勝一籌。

圖1（a）為原圖，圖1（b）為受損圖，圖1（c）為原始算法修復圖，圖1（d）為以置信度項和數據項之和為優先權函數的算法修復圖，圖1（e）為本文改進優先權的算法修復圖。由表1可以看出改進優先權函數的算法是三種算法中效率最高的。

3 匹配原則設計

基于樣本塊圖像修復的原始算法中，根據像素差的平方和原則（SUM OF SQUARED DIFFERENCES）尋找最佳匹配塊。本文采用L1距離作為最佳匹配塊的尋找原則，將原來的像素差的平方和改為像素差的絕對值和。在計算方面，將原來的二次改為一次，降低了運算的復雜度，縮短了圖像處理的運行時間，精確度上也得到了明顯的改善。下圖為處理結果對比：

圖2（1）為原圖，圖2（2）為受損圖，圖2（3）為原始算法修復圖，圖2（4）為SSD匹配準則和L1距離結合的修復圖，圖2（5）為以L1距離為匹配準則的修復圖。從表2中可以看到，以L1為匹配準則的修復圖像的峰值信噪比是最高的，且所用時間也是最短的，也因此證明了L1距離的有效性和運算的高效率性。

4 實驗結果

下面是三組實驗處理結果，字母標號的圖為程序運行結果圖。其中，A1、B1、C1為原始基于樣本塊圖像修復方法的處理結果圖，A2、B2、C2為文獻[4]中算法處理結果圖，A3、B3、C3為本文算法處理結果圖。表3為三組實驗結果的運行數據。第一組魚群實驗組，原始算法和文獻[4]算法處理結果圖中，都可以明顯看到有偽影情況，本文算法結果圖畫面比較清晰無偽影情況出現，且與周圍環境比較契合。結合表3中的數據，可以看到本文算法要比文獻[4]算法運行速度快，峰值信噪比是三種算法中最大的，也充分說明本文在應對復雜背景破損圖時，也可以很好地修復圖像。第二組牛群實驗組，原始算法處理圖中，在路和草叢的銜接處不自然，路的拐彎處有些僵直生硬。參考文獻[4]算法修復結果圖中在拐角處草叢和路銜接有斷缺，路中間的黑點和周圍環境不協調，視覺上略有不自然。本文算法修復結果圖中，草叢處修復比較自然，且草叢的葉也比較茂盛，修復效果細膩。第三組冰川實驗圖中，破損修復圖中，補全部分雪塊、雪塊與流水的連接以及水面波紋的修復是難點，這三種算法修復各有不同，但從處理結果圖中可以看出，本文算法在水面波紋修復上修復效果更好。

從這三組實驗中不難發現，若原圖像受損部分與未受損部分顏色差別較大，則修復后的圖像與原圖像計算后得到的峰值信噪比會降低很多。第一組和第二組實驗缺損部分與原圖像色彩差別不大，所以整體修復后的峰值信噪比要高一點，但第二組實驗缺損的牛與周圍色彩差別較大，所以修復后的圖像與原圖像計算得到的峰值信噪比相對要低很多。所以峰值信噪比作為圖像修復的客觀評價指標是有一定的局限性的，與主觀評價指標存在一定的差異性。

5 結束語

本文改進的算法中，增加了引導因子，最大限度改善置信度項驟降為零的情況。通過實驗對比，驗證了本文改進的算法具有更強適應性和填充的準確性。本文算法的缺點是針對太復雜的圖像背景，修復的情況還存在一定的缺憾，因此需要進一步研究修復過程中細節信息的處理和利用，進一步提高修復效果和修復效率。另外，圖像修復的客觀評價指標還需要進一步研究，主觀評價指標更加一致的客觀評價函數。

參考文獻

[1]Bertalmio M，Sapiro G，Caselles V，et al.Image inpainting. Proceedings of the 27th annual conference on Computer graphics and interactive techniques.2000.

[2]A. Criminisi，P. Perez，K. Toyama.Region filling and object removal by exemplar-based image inpainting. IEEE Transactions on Image Processing.2004.

[3]李開宇，孫玉剛.引入連續性強度和置信度因子的快速圖像修復[J].中國圖象圖形學報，2012，17（4）：23-28.

[4]梁淑芬，郭敏，梁湘群.改進的Criminisi算法的數字圖像修復技術[J].計算機工程與設計，2016，37（5）.

[5]張申華，王克剛，祝軒.局部特征信息約束的改進Criminisi算法[J].計算機工程與應用，2014（8）.

[6]侯玉婷[1]，彭進業[1]，韓東辰[1].改進的Criminisi圖像修復算法研究[J].計算機工程與應用，2015，51（11）：135-138.

[7]孟春芝，何凱，焦青蘭.自適應樣本塊大小的圖像修復方法[J].中國圖象圖形學報，2012（03）：40-44.

[8]朱園珠，朱曉臨，陳嫚，李雪艷.基于改進優先級的自適應圖像修復算法[J].合肥工業大學學報：自然科學版，2014（37）：689.

[9]陳美玲，朱鋁芬，張云，et al.一種改進的Criminisi新算法的圖像復原技術[J].現代信息科技，2019（18）.

[10]常晨，尹立新，方寶龍.一種改進的Criminisi圖像修復算法[J].計算機應用與軟件，2012（09）：246-248+273.

[11]李志丹，茍慧玲，程吉祥，et al.結合梯度特征與色彩一致性的圖像修復[J].光學精密工程，2019，27（01）：256-264.

[12]劉華明，畢學慧，葉中付，王維蘭.樣本塊搜索和優先權填充的弧形推進圖像修復[J].中國圖象圖形學報（8期）：993-1003.