基于圖像分塊和改進Criminisi算法的圖像修復方法

摘 ?要： 圖像在采集和傳輸過程中，由于多種因素的干擾，圖像會受到一定的損傷，導致圖像質量下降。針對目前圖像修復方法存在修復時間長，修復效果有限等不足，提出基于圖像分塊和改進Criminisi算法的圖像修復方法。首先將原始圖像劃分為多個子塊，然后采用Criminisi算法對每一子塊圖像進行修復，并針對傳統Criminisi算法存在的局限性進行相應的改進，最后通過具體的圖像修復實驗分析所提方法的有效性和優越性。結果表明，所提方法減少了圖像修復時間，可以加快圖像修復的速度，圖像修復后的質量要遠優于對比方法，是一種速度快、效果好的圖像修復方法。

關鍵詞： 圖像修復; 圖像子塊; Criminisi算法; 修復效率; 修復效果; 實驗分析

中圖分類號： TN911.73?34; TP181 ? ? ? ? ? ? ? ? ? 文獻標識碼： A ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）01?0063?04

Image inpainting method based on image partition and

improved Criminisi algorithm

QI Juhui

Abstract： In the process of image acquisition and transmission， the image may be damaged to a certain extent due to the interference of many factors， resulting in the degradation of image quality. There are some shortcomings in the current image inpainting methods， such as long inpaiting time and limited repair effect. Therefore， an image inpainting method based on image segmentation and improved Criminisi algorithm is proposed. In the method， the original image is divided into several sub?blocks， and then each image sub?block is renovated with the Criminisi algorithm. The corresponding timing is changed for the limitations of the traditional Criminisi algorithm. Finauy， the effectiveness and superiority of the proposed method are analyzed by specific image inpainting experiments. The results show that the proposed method can shorten the duration of image restoration， accelerate the speed of image restoration， and the quality of image restoration is much better than that of contrast method. It is a fast and effective image restoration method.

Keywords： image inpainting; image sub?block; Criminisi algorithm; restoration efficiency; restoration effect; experimental analysis

0 ?引 ?言

隨著多媒體技術、數字攝像設備的不斷發展，圖像處理和分析處理技術在多個領域得到了成功應用，每天都有許多新的圖像產生，并在網絡上進行傳輸。圖像在采集過程中，由于受到外界環境、天氣以及采集設備、攝像人員水平的限制，圖像質量沒有達到實際應用要求。同時在傳輸過程中，受到人為因素、網絡干擾等，使得圖像出現損壞或者部分缺失，這樣嚴重影響圖像的完整性。因此如何保持圖像完整性，提高圖像的清晰度，使其可以更好地描述圖像所要表達的內容成為大家關注的焦點[1?3]。

當前改善圖像質量的方法眾多，如圖像增強技術、圖像復原技術和圖像修復技術。相對圖像增強技術、圖像復原技術，圖像修復技術主要針對缺失或受損圖像，可以對圖像缺失進行修補，實際應用價值更高，因此圖像修復技術的研究成為當前一個重要的研究方向[4?6]。幾十年來，圖像修復技術一直被學者們所關注，國外對圖像修復技術研究的起步比較早，圖像修復技術十分成熟，國內圖像修復技術研究時間比較短，但是發展速度相當快，己經有了長足的進步，在許多方面已經達到了國外圖像修復水平[7]。當前，圖像修復技術主要包括：基于偏微分技術的圖像修復方法、基于紋理信息的圖像修復方法、基于結構信息的圖像修復方法[8]。其中，基于偏微分技術的圖像修復方法主要是對待填充區域進行不斷的擴展，使得修復區域不斷縮小，到最后使得修復區域完全消失，最具代表性的方法是全變分原理的圖像修復，該方法的圖像修復效果好，但是圖像修復時間長，不能進行圖像網絡的在線修復[9?10]。基于結構信息的圖像修復方法，當損壞或者缺失的區域較小時，圖像修復效果好，但是當圖像缺陷的區域比較大，圖像修復效果急劇下降[11]。基于紋理信息的圖像修復方法對圖像進行劃分，得到紋理部分和結構部分，對于紋理部分和結構部分分別進行修復，圖像修復結果更加自然和完整，經典方法為Criminisi算法的圖像修復方法，無論在圖像修復質量或者修復速度方面，均優于其他圖像修復方法。但是Criminisi算法同樣存在一定的缺陷，如重要信息丟失嚴重，修復區域的亮度不夠等[12?13]。

針當目前圖像修復方法存在修復時間長，修復效果有限等不足，提出基于圖像分塊和改進Criminisi算法的圖像修復方法。該方法對原始圖像進行分塊，然后采用改進Criminisi算法對子塊圖像進行修復，最后通過圖像修復仿真實驗測試本文方法的性能。結果表明，本文方法的圖像修復質量好，圖像修復效率高，具有比較明顯的優越性。

1 ?本文提出的圖像修復方法

1.1 ?圖像分塊

對于一幅待修復的原始圖像，將其劃分為多個子塊圖像，子塊圖像之間不存在重復區域，具體劃分思想如圖1所示。圖像經過分塊后，可以對每一下子塊進行修復操作，這些操作可以并行實現，能夠有效減少圖像修復的時間，加快圖像修復的速度。

1.2 ?傳統Criminisi算法

2003年，有學者提出圖像修復的Criminisi算法，突破了傳統圖像修復的框架，相對以前的圖像修復方法，Criminisi算法主要從兩個方面做了比較大的改進，具體為：圖像修復順序的改善;采用區域的方式進行填充和修復。

傳統方法從外往內進行修復，是一個典型的收縮過程，這樣外面圖像的像素優先級別就高;而Criminisi算法采用優先權的修復方式，認為待修復像素點的周圍像素優先級別更高，應該提前進行修改操作，較好地克服了傳統方法無法有效修復圖像邊緣的缺陷。同時，傳統方法修復采用像素點方式進行修復，修復的時間比較長，而Criminisi算法采用區域方式進行修復，大幅度降低了圖像的修復時間。

設原始待修復圖像為[I]，其待修復的區域為[Ω]，[Φ]表示有效區域，[Ω]和[Φ]的邊界為[?Ω]，[p]表示邊界上優先權最大的像素點，[φp]表示以[p]為中心的區域，該區域信息一部分已知，一部分未知待填充，[?Ip]表示[p]的等照度線方向，[np]表示[p]法向量。Criminisi算法的工作原理為：不斷對待修復區域進行填充，直到待修復區域面積為零，具體如圖2所示。

Criminisi算法的工作過程具體如下：

Step1：輸入圖像，并對圖像進行一定的處理，如尺寸大小的修改等。

Step2：將原始圖像待修復區域標記為[Ω]，這樣圖像有用區域為：[Φ=I-Ω]，確定圖像中待修復區域邊界優先權最大像素點，并估計[φp]，計算邊界上像素點的優先權[P（p）]，具體為：

[P（p）=C（p）×D（p） ] （1）

式中：[D（p）]表示置信度，用于描述[φp]的信息量的多少，[D（p）]越大，那么其越早被修復;[C（p）]表示數據項，用于描述[p]點的亮度變化程度，具體為：

[C（p）=q∈φp?ΦC（1）φpD（p）=?Ip*npa] （2）

式中：[φp]表示[φp]的面積;[a]表示歸一化因子;[np]表示[?Ω]和[p]的正交向量。

Step3：在邊界上像素點中找到優先權最大的點[p]后，然后搜索最優先的修復塊，設[φp]表示優先級最高的待修復塊，那么完好區域的最佳樣本塊[φ′q]確定方式為：

[φ′q=arg min dφ′q∈Ω（φq，φ′q）] ? ? （3）

式中：[d（φq，φ′q） ]表示[φq]和[φ′q]之間的距離，計算公式具體為：

[d（φq，φ′q）=i jφq（i，j）-φ′q（i，j）2] ? ?（4）

Step4：采用完好區域的最佳樣本塊[φ′q]像素值填充到[φp]的像素點，[φp]的邊界就會發生變化，這樣[φp]置信度就會發生改變，具體改變方式為：

[C（p）=C（p）， ? ?p∈φp?Ω] ?（5）

Step5：不斷重復Step2～Step4，直至受損區域修復完整為止。

1.3 ?Criminisi算法的不足及改進

在標準Criminisi算法的實際應用中，發現其存在一些問題，具體表現為：到了修復后期，優先權值不太可信，使圖像修復的順序發生錯誤;最佳樣本塊不是真正的最優，修復效果差。因此，本文對標準Criminisi算法進行改進，具體如下。

1.3.1 ?優先權值計算公式的改進

從式（1）可以看出，當[C（p）=0]時，無論置信度[D（p）]有多高，只要優先權[P（p）=0]，就會對該區域進行優先修復，因此，對優先權[P（p）]的計算公式做如下修改：

[Pp=Cp， ? ?Dp=0αCp+βDp， ? ?Dp≠0， ?and ?Cp≥0.5CpDp， ? ?Dp≠0， ?and ?Cp<0.5] （6）

式中[α]和[β]分別為一常數。

從式（6）可知，即使[Cp]=0，只要[Dp]比較大，那么該區域也能夠得到優先修復，較好地解決了Criminisi算法存在的缺陷。

1.3.2 ?最佳樣本塊的確定

在標準Criminisi算法的圖像修改過程中，要搜索到和邊緣上優先權值最大的最佳樣本塊，需要對整個圖像源完好區域進行搜索，這樣搜索空間大，搜索時間長。事實上，最佳樣本塊僅存在于一個固定區域內，基于馬爾可夫隨機場原理，本文將最佳樣本塊限定在待修補像素點為中心的正方形鄰域內，該鄰域大小為[S×S]，如果受損區域最大為[m×n]，那么[S=2max+1]，這樣加快了最佳樣本塊的確定時間，加快圖像修復速度。

1.4 ?本文方法的圖像修復步驟

基于圖像分塊和改進Criminisi算法的圖像修復方法的工作步驟具體為：

1） 收集待修復的圖像，并對圖像進行一定的處理，如去噪、尺寸大小的歸一化操作等。

2） 對待修復的圖像進行分塊操作，得到不同大小的子塊圖像。

3） 對每一個子塊圖像采用改進Criminisi算法進行修復。

4） 對修復后的子塊圖像進行組合，得到最終的圖像修復結果。

2 ?圖像修復效果的測試與分析

2.1 ?測試環境

為了測試基于圖像分塊和改進Criminisi算法的圖像修復方法的性能，選擇的測試平臺為：Intel 奔騰G4560 CPU，威剛XPG Z1 DDR4 2400 16 GB RAM，三星970 EVO NVMe M.2 250 GB固態硬盤，影馳GeForce RTX 2080 GAMER 顯卡的計算機，操作系統為WIN 10，采用Visual C++ 6.0作為編程方法，選擇圖像修復對象如圖3，圖4所示。

2.2 ?圖像修復結果的主觀評價

為了使本文方法的圖像修復結果具有可比性，本文選擇傳統Criminisi算法進行對比測試，它們對鴕鳥圖像和猩猩圖像的修復結果如圖5，圖6所示。

由圖5和圖6的鴕鳥圖像和猩猩圖像的修復結果可知：Criminisi算法的修復結果出現了明顯的斷裂現象，同時一些不合理的信息也進行了過度延伸，如紋理信息，出現了許多錯位的現象;而本文方法可以對損壞區域進行較好地修復，修復后圖像更加完整，視覺效果更優，圖像區域間的過渡效果更加自然，這主要是因為本文方法對Criminisi算法進行了有效的改進，鴕鳥圖像和猩猩圖像的修復結果才會更加理想。

2.3 ?圖像修復結果的客觀評價

采用峰值信噪比（PSNR）[14]對圖像修復結果進行客觀評價，結果如表1所示。從表1可知，鴕鳥圖像或者猩猩圖像，本文方法修復后圖像的PSNR更大，修復后圖像與理想圖像間的誤差小，這表示圖像中有用信息量更多，相對于Criminisi算法，本文方法明顯提升了圖像質量。

統計兩種方法對鴕鳥圖像或者猩猩圖像修復的時間，結果如表2所示。

從表2可知，本文方法的圖像修復時間短，Criminisi算法的圖像修復時間較長，因此本文方法圖像修復速度要快于Criminisi算法，改善了圖像修復效率。

3 ?結 ?語

由于圖像經常受到外界的干擾，出現許多損失區域，一些重要信息丟失，為了改善圖像質量，提出基于圖像分塊和改進Criminisi算法的圖像修復方法。與當前其他圖像修復方法進行了對比測試，結果表明，本文方法的圖像修復時間短，提高了圖像修復效率，圖像修復后視覺效果更優，更加有利于后續的圖像處理和分析研究。

參考文獻

[1] LUO K， LI D X， FENG Y M. Depth?aided inpainting for disocclusion restoration of multi?view images using depth image?based rendering [J]. Journal of Zhenjiang University （Science A）， 2009， 10（12）： 1738?1749.

[2] 耿衛江.結構相似度索引耦合最優稀疏表示的大規模損壞圖像動態修復[J].科學技術與工程，2014，60（25）：107?114.

[3] 康佳倫，唐向宏，張東，等.特征分類學習的結構稀疏傳播圖像修復方法[J].計算機輔助設計與圖形學學報，2015，27（5）：864?872.

[4] 謝瓊，張紅英，彭博.基于模式相似性的圖像修復算法[J].現代電子技術，2013，36（2）：94?96.

[5] 孟春芝，何凱，焦青蘭.自適應樣本塊大小的圖像修復方法[J].中國圖象圖形學報，2012，17（3）：337?341.

[6] 來毅，任莉，劉穎.空間差異度量約束的圖像修復[J].電訊技術，2018，58（8）：900?906.

[7] 楊歆，孫俊航.動態調節耦合紋理差異量化的圖像修復算法[J].計算機工程與設計，2018，39（7）：2015?2019.

[8] 杜閃閃，韓超.基于總變分模型的改進圖像修復算法[J].激光與光電子學進展，2018，55（7）：175?180.

[9] 朱婉霞，王國棟，潘振寬，等.基于多通道非線性擴散項的運動模糊圖像盲復原[J].激光與光電子學進展，2018，55（7）：191?199.

[10] 謝斌，丁成軍，劉壯.基于圖像分解的圖像修復算法[J].激光與紅外，2018，48（5）：651?658.

[11] 劉繼忠，吳文虎，程承，等.基于像素濾波和中值濾波的深度圖像修復方法[J].光電子[?]激光，2018，29（5）：539?544.

[12] 李夢雪，翟東海，孟紅月，等.劃分特征子區域的圖像修復算法[J].計算機應用，2017，37（12）：3541?3546.

[13] 張從飛，邵利平，師軍.結合自適應梯度分類匹配的改進Criminisi圖像修復算法[J].小型微型計算機系統，2018，39（2）：379?385.

[14] 何凱，牛俊慧，沈成南，等.基于SSIM的自適應樣本塊圖像修復算法[J].天津大學學報（自然科學與工程技術版），2018，51（7）：763?767.

作者簡介：齊巨慧（1978—），男，山西原平人，碩士，工程師，研究方向為計算機應用。