基于球形收斂和結構一致性的圖像修復算法

李志丹，陳 嬌，茍慧玲，程吉祥

(西南石油大學 電氣信息學院，四川 成都 610500)

數字圖像修復概念由Bertalmio等[1]在2000年的SIGGRAPH會議上提出，也被稱為圖像補全或圖像去遮擋。數字圖像修復是利用待修復圖像內已知信息對未知信息進行估計并恢復補全，達到修復后圖像看起來連貫自然的目標。經過近些年的發展，圖像修復技術的研究越來越廣泛和深入，已成為計算機視覺和圖像處理領域的研究熱點。

根據修復算法的適用對象，可將現有圖像修復算法粗略地分為兩類：適合于修復小區域破損圖像和適合于修復大區域破損圖像。在適合于小區域破損圖像修復方面，主要包括基于擴散的方法[1-2]和基于稀疏表示[3-4]的方法。基于擴散的方法是根據合適的偏微分方程對丟失區域進行建模，然后將已知信息根據所建模型擴散到丟失區域。這類方法易引入平滑效應，不能較好地保持修復后圖像結構紋理信息的清晰性?；谙∈璞硎镜男迯退惴ㄊ羌俣ù迯蛨D像的已知信息和未知信息在某個基上具有相同的稀疏表示，通過迭代優化能量方程以重構丟失信息。這類方法僅可較好地修復文字劃痕等小區域破損類型的圖像，而對包含復雜信息的圖像易產生平滑現象。在適合于修復大面積破損圖像方面，主要包括基于樣本塊的修復算法[5]和基于深度學習的方法[6-7]?；谏疃葘W習的方法利用神經網絡訓練已有數據，根據訓練模型生成缺失部分。這類方法訓練時間長，且極大地依賴于數據集的選擇。

Criminisi等[5]提出的樣本塊修復算法主要包括兩個部分，一是根據優先權法則確定當前待填充塊，另一是選擇匹配塊及填充方式。為提高修復效果，學者們對這兩個方面進行了研究并提出大量改進算法[8-18]。如Hesabi等[8]引入梯度和散度信息以構造匹配準則；文獻[9]利用基于多方向特征的結構稀疏度函數構造更魯棒的優先權法則，同時引入多方向特征以構造合適的匹配準則；文獻[10]引入邊緣特征以優先填充結構部分，并將加權巴氏距離與歐氏距離融合以尋找匹配塊；Kumar等[11]在優先權法則中引入邊緣長度項以期獲得穩定的填充順序；Lee等[12]利用拉普拉斯金字塔分離紋理和結構區域，增強了對邊緣信息的識別能力；文獻[13]采用空間變化策略更新置信度項以獲得穩定的填充順序；Alilou等[14]對目標塊利用奇異值分解方法構造填充信息并進行填充，獲得了良好的修補結果；Cho等[15]引入水平正則化項和背景項來獲得穩定的填充順序，并綜合拉格朗日乘子項和方差信息尋找匹配塊；文獻[16]在匹配準則中引入結構相似性信息來選擇匹配塊；Ding等[17]提出高斯加權非局部紋理相似性以獲得候選塊；文獻[18]使用動態建模方法確定填充順序，以確保紋理和邊界的可靠傳播。

雖然上述算法在一定程度上提升了樣本塊修復算法性能，但對于較大區域破損的圖像仍不能較好的保持其結構完整性，且易出現錯誤延伸現象。為提高樣本塊圖像修復性能，本文從填充次序和匹配準則兩個方面入手。首先為獲得穩定的填充次序，將球形收斂準則和基于斯特林理論的置信度更新準則融合，構造魯棒的優先權法則，以優先修復圖像結構信息，同時適度延伸紋理；其次為選擇更優的匹配塊進行填充，將結構一致性引入以構造更合適的匹配準則。實驗結果表明，本文算法能保持修復后圖像的結構連貫性，且有效地減輕了誤差累積現象。

1 基于球形收斂和結構一致性的樣本塊圖像修復算法

1.1 基于球形收斂的優先權法則

填充順序的穩定性是保持修復后圖像結構連貫性的前提。在修復過程中，樣本塊圖像修復算法若不能較好區分結構與紋理信息，則易導致紋理信息過度延伸而不能較好保持修復后圖像的結構連貫性。為提高修復性能，本節提出基于球形收斂的優先權法則，其主要思想是首先優先修復結構部分，而后按照球形收斂規則逐漸向內填充破損區域，以保證填充順序的穩定性。優先權法則P(p)描述為

(1)

式中：C(p)和D(p)分別為樣本塊Ψp的置信度項和數據項，定義同Criminisi算法[5]；pi為填充邊界?Ω上的像素點；Ψpi為根據max{dS(Ψp,Ψpi),pi∈?Ω}確定的下一個待修復塊，Ψp為當前待修復塊；dS(Ψp,Ψpi)為樣本塊Ψp和Ψpi的空間距離；δ=max{C(pi),pi∈?Ω}，為填充邊界上所有置信度的最大值；t為根據δ設定的閾值；ρ為平衡因子。

當δ≥t時，因數據項可以反映樣本塊所處區域特性，故提高數據項的占比ρ，以優先修復圖像的結構部分，根據經驗分析將ρ取值為0.7；當δ

球形收斂修復過程見圖1。Ω為優先修復圖像結構部分后剩余的未知區域，假設Ψp′為以p′為中心點的當前待修復塊，則下一個待修復塊Ψp″將根據max{dS(Ψp′,Ψp″),p″∈?Ω}確定；Ψp′被填充完畢之后再以Ψp″為當前待修復塊，重復上述過程，直至破損區域完全被填充。對于待修復區域有多個時的情形，比如文字或劃痕破損，優先修復結構部分后，將剩余的破損區域當作一個整體進行修復。

圖1 球形收斂的修復過程

1.2 基于斯特林理論的置信度更新準則

根據置信度的定義[5]可知，隨著填充過程的進行，置信度值會迅速衰減并趨近于0。置信度的快速衰減將破壞填充順序的穩定性，出現結構不連貫現象。

受到斯特林公式的啟發，同時為抑制置信度項的迅速衰減，將斯特林公式與指數項eλn結合，提出基于斯特林理論的置信度更新準則為

(2)

式中：C(q)為更新后的置信度值；λ為平衡參數。若λ取值較大，會使更新后的置信度值大于1；若λ取值較小，則衰減速度較快；根據經驗本文λ取0.08。

為測試本節提出的基于斯特林理論置信度更新準則的有效性，對圖2(a)進行目標移除，掩模圖像見圖2(b),其修復效果見圖2(c)和圖2(d)。其中，圖2(c)為使用文獻[5]算法的修復結果；圖2(d)為使用本文置信度更新準則的修復結果；圖2(e)為圖2(c)和圖2(d)中第140行所有像素點的置信度值曲線。

圖2 置信度項更新準則對圖像修復效果的影響

從圖2(e)中可以看出，采用文獻[5]算法修復后圖像的一些置信度值趨于0，這時將極度削弱優先權法則中數據項的作用，不能很好地優先修復結構部分，出現了圖2(c)中結構部分的不連貫。利用本文提出的置信度更新準則修復后圖像的置信度值未趨近于0，使得優先權更為穩定，并未出現結構不連貫的現象，見圖2(d)。這說明本文提出的基于斯特林理論的更新準則能有效抑制置信度項的衰減速度，保證優先填充結構部分，使得填充次序更為穩定。

1.3 基于結構一致性的匹配準則

由于圖像信息的多樣性和復雜性，傳統樣本塊修復算法僅采用顏色信息度量樣本塊間的差異性是不夠的，易產生錯誤匹配，且由于填充過程的貪婪性，從而產生誤差累積現象。為減輕誤匹配現象，引入樣本標準偏差以尋找最佳匹配塊。標準偏差用于度量數據集分布的分散程度，是衡量數據值偏離算術平均值的程度。樣本塊間標準偏差定義為

(3)

基于結構一致性的匹配準則為

d(Ψp,Ψq)=a×dE(Ψp,Ψq)+(1-a)×

dstd(Ψp,Ψq)

(4)

式中：dE(Ψp,Ψq)為樣本塊Ψp與Ψq在顏色空間上的歐氏距離；a為權重系數，其作用是平衡歐氏距離和樣本標準偏差值。

2 實驗結果與分析

本文所有實驗均采用Matlab2015b和Visual Studio2015作為工具，在Intel Core i5-7500 CPU 3.40 GHz的計算機上進行。實驗分為3個部分，分別為參數取值討論、小區域破損修復及目標移除實驗。實驗采用的數據為含有豐富結構和紋理信息的圖像。因峰值信噪比PSNR值的大小表明了修復后圖像與原始真實圖像相似程度的高低，故采用PSNR作為客觀評價指標以衡量修復效果的優劣。

2.1 參數討論

包含復雜結構和紋理區域的小尺度破損圖像見圖3。

圖3 破損圖像

為探討閾值t及權重系數a對修復性能的影響，選擇不同的參數值對圖3中各種圖像進行修復。

(1)測試t變化時對修復效果的影響。t取不同值時修復后圖像PSNR值的變化見圖4。從圖4(a)中看出，當t開始逐漸增大時，修復后圖像的PSNR值幾乎沒有變化；但當t進一步增大時，PSNR值急劇下降。因t=0.6時平均PSNR最大(如圖4(b)中所示)，故閾值t取0.6。

圖4 不同t值對修復后圖像PSNR值的影響

由于t取值較小時PSNR值的變化較小是因小區域破損中結構部分的破損也較少，故選擇對破損圖像進行填充以驗證閾值t選擇的合理性。閾值t取不同值時的修復結果對比見圖5。從圖5可以看出，t=0.6時的修復效果最優，修復后圖像的連貫性較好，且沒有在填充區域內出現錯誤填充的情形。

圖5 不同閾值t對修復效果的影響

(2)測試a變化時對修復效果的影響。a取不同值時修復后圖像的PSNR值變化曲線見圖6。由圖6(a)可見，不同修復后圖像的PSNR值變化趨勢并不完全一致，但大致上先是隨著a的增大有增大的趨勢，而后隨著a的繼續增大呈下降趨勢。因在圖6(b)中a=0.3時平均PSNR值最大，故在本文實驗中a取0.3。

圖6 不同a值對修復結果的影響

2.2 小尺度破損修復

為說明本文算法能有效修復劃痕等小區域破損圖像，選擇4幅具有較為豐富結構和紋理信息的圖像作為測試對象，見圖7(a)。分別用本文算法，以及適合小區域修復的算法[3]、樣本塊修復算法[5,13]對其破損圖像進行修復，見圖7(b)。修復結果對比見圖7(c)～圖7(f)，修復后圖像的PSNR值見表1。

從圖7中可以看出：文獻[3]留下了明顯的平滑痕跡，且破損區域稍大時出現了結構不連貫現象，如圖7(c)中第二行所示；Criminisi算法[5]的修復結果中出現了邊緣不連貫現象，如圖7(d)中第2行所示，且出現了錯誤延伸現象，如圖7(d)中第1、2、4行所示；文獻[13]出現了些微的紋理過度延伸和結構不連貫現象，如圖7(e)所示。從圖7(f)可以看出，本文算法取得了良好的修復效果，并未出現結構不連貫和誤差累積現象。且由表1可知，本文算法均獲得了最高的PSNR值，說明本文算法修復效果最優，誤匹配現象最低。綜上所述，從主觀評價和客觀評價指標均可說明本文算法的有效性。

圖7 小尺度破損修復結果對比

表1 不同修復算法的修復結果對比(PSNR值) dB

2.3 目標移除

選擇4幅圖像作為目標移除的測試圖像見圖8(a)，其破損模板圖像見圖8(b)，對比樣本塊修復算法[5,12-13]與本文算法的修復結果見圖8(c)～圖8(f)。

圖8 目標移除結果對比

從圖8(c)和圖8(e)可以看出，Criminisi算法[5]和文獻[13]的修復結果中均出現了結構不連貫現象，以及紋理錯誤延伸現象，這是由于填充順序不穩定及匹配準則不合理造成的。文獻[12]雖基本上未出現錯誤填充現象，但其修復結果中也出現了結構不連貫的情形，見圖8(d)，這是搜索區域有限導致的，未能找到更為合適的匹配塊。從圖8(f)中可以看出，本文算法較好地保持了結構部分的連貫性和紋理信息連續性，修復效果優于文獻[5, 12-13]算法。這是因為本文算法采用的優先權法則和置信度更新準則能獲得更穩定的填充順序，且利用基于結構一致性的匹配準則能獲得更合適的匹配塊。

3 結論

本文從填充次序和匹配準則入手以獲得良好的圖像修復結果，可得出以下結論：

(1)通過區分圖像位于結構區域或是紋理區域，確定采用結構優先比例計算優先權值或是按照球形收斂法則確定填充順序，使得填充次序更加穩定。

(2)將斯特林理論引入置信度項更新準則以減緩其衰減速度，進一步提高填充順序的穩定性。

(3)將結構一致性與顏色信息加權來衡量樣本塊間的相似性，以獲得與鄰域一致性更高的匹配塊，有效地削弱誤匹配現象。

實驗結果表明本文算法較對比算法可以獲得更高的PSNR值，并且很好地保持了修復后圖像結構部分的連貫自然及與鄰域信息的連續一致性。但本文算法存在些微的塊效應和接縫效應，未來希望基于破損區域特征來確定搜索區域，以進一步提升修復效果。