一種連續性非局部變分圖像修復模型

李 蘭，陳明舉，熊興中，楊志文，張勁松

(1.四川輕化工大學 自動化與信息工程學院，四川 宜賓 644000；2.四川輕化工大學 人工智能四川省重點實驗室，四川 宜賓 644000)

0 引言

數字圖像修復技術通過相應的、適當的數學模型對圖像缺損區域進行修復，以改善圖像的視覺效果[1]。數字圖像修復已應用在文物保護、影視制作、刑事案件的偵破以及老照片的修復等各個領域[2-3]。近年來，變分技術將圖像修復問題轉化為泛函空間的極值問題[4]，通過數值迭代方法有效地實現圖像破損區域的修復，基于變分(Total Variation，TV)技術的圖像修復技術已成為當前研究熱點。

Bertalmio等[5]最早將變分技術應用于圖像修復中，該方法在圖像破損區域邊界沿著等照度線方向擴散，從而實現利用已知的信息傳播修補破損區域。隨后，一些學者在此基礎上提出了總變分圖像修復模型[6]、幾何信息驅動的曲率擴散圖像修復模型[7]以及分數階總變分圖像修復模型[8]等。這些圖像變分模型利用圖像的結構連續性較好地實現小破損區域的修復。當破損區域較大時，圖像的修復性能變差。為有效實現較大的破損區域的修復，Gilboa等人[9]利用圖像的自相似性，提出了l2范數的非局部變分模型，該模型在考慮到圖像信息的連續性的同時利用圖像非局部的相似性有效地實現大破損圖像的修復。隨后，Yang等人[10]利用l1范數的異向特性，建立非局部異向擴散的圖像非局部變分模型；Shi與Li等人[11-12]針對圖像的修復問題，在l1范數非局部變分的基礎上提出了非局部變分修復(Non-local Total Variation，NLTV)模型。圖像修復的非局部變分利用圖像的相似信息有效地實現大破損區域的修復，其修復性能在局部變分的基礎上有一定提高。

NLTV模型實質上是將圖像看作真實信息區域與破損區域2個部分，利用圖像已知的信息向破損區域擴散，從而有效地實現破損區域的填補[13]。然而，該非局部變分修復模型存在考慮不足之處[14-15]：① 模型僅考慮圖像破損區域的修復，未考慮到破損區域與信息區域的交界區域，從而造成修復后的圖像在交界區域存在不連續性現象；② 修補過程中信息區域參與的擴散強度恒定，未充分利用信息區域的有效信息。

為了在實現圖像的破損區域修復的同時，考慮到破損區域與信息區域邊界的連續性，并且消除修復區域產生的“階梯”現象，提出了一種連續性非局部變分的圖像修復模型，采用羅賓邊界算子[16]描述破損區域與信息區域的邊界，針對破損程度的大小，實現對圖像修復擴散強度自適應控制。

1 自適應連續性非局部變分修復模型

1.1 非局部變分修復模型的不足

非局部變分技術利用圖像信息區域的相似信息實現圖像破損區域的修復。定義P={p1,p2,…,pn}為Rd空間的圖像集合，S={s1,s2,…,sn}為P的子集。待修復圖像u由集合P確定，子集S的像素值已知，滿足u(s)=g(s)，g(·)表示無損原始圖像。圖像的非局部變分修復模型利用圖像的相似性與梯度的連續性實現待修復區域信息的重構，如圖1所示。

圖1 圖像修復示意Fig.1 Schematic diagram of image inpainting

s.t.u(x)=g(x)x∈S。

(1)

上述能量泛函極小問題可以通過歐拉拉格朗日方程表示為：

(2)

從式(2)可以看出，圖像的非局部變分修復模型對于信息區域S保持不變，對于破損區域PS，采用圖像的非局部梯度作為圖像修復的擴散因子，利用非局部相似信息實現圖像破損區域的修復。然而該方程未考慮到破損區域的邊界，遺漏了破損區域與信息區域的連續性問題，從而在修復后的邊界區域出現“階梯”現象。另外，該模型修復過程中的擴散強度僅與非局部梯度有關，未考慮到信息區域參與的程度問題，因此，NLTV模型的修復性能有待進一步提高。

1.2 自適應連續性非局部變分修復模型的建立

將破損區域的邊界?B考慮進去，在式(2)中增加邊界區域擴散項，歐拉拉格朗日方程可進一步轉化為：

(3)

(4)

式中，μ為羅賓邊界參數，其取值為0<μ<<1，上述方程組進一步表示為：

(5)

此時，式(5)歐拉拉格朗日方程對應的非局部變分修復模型為：

s.t.u(x)=g(x)，x∈S。

(6)

該非局部變分修復模型將圖像的信息區域、破損區域以及邊界區域都考慮，實現修復區域邊界的連續性。式(6)中，信息區域變分部分乘以權值2/μ(2/μ>>1)，該項側重于利用信息區域的相似信息實現破損區域的恢復，同時減弱交界區域的不連續現象。理論上，當圖像的破損區域較大時，信息區域參與權重也應該相應地增大；反之，破損區域較小時，信息區域參與權重也相應地較小。對上述邊界連續的非局部變分模型的權值參數進行修正，以實現信息區域參與權重的自適應，從而建立自適應連續非局部變分修復模型為：

s.t.u(x)=g(x)x∈S，

(7)

式中，|P|/|S|表示求圖像塊包含面積的個數。在該模型中，當破損區域較大時，權值|P|/|S|的值較大，這時該模型著重利用信息區域的信息實現破損區域信息的修復，以更好地重構圖像破損區域的信息，從而消除分界區域不連續現象。

1.3 自適應連續性非局部變分修復模型的求解

為方便實現對自適應連續非局部變分修復模型的求解，定義：

(8)

此時，自適應連續非局部變分修復模型可進一步表示為：

s.t.u(x)=g(x),x∈S。

(9)

采用分裂迭代(Split Bregman Iteration，SBI)的思想[18]，并令D(x,y)=DNLu(x,y)，進一步轉化為求解2個極小化問題：

s.t.u(x)=g(x),x∈S，

(10)

Qk+1=Qk+(DNLuk+1-Dk+1),

(11)

式(10)涉及參數u與D兩個極小化問題的求解，分別轉化成u與D兩個變量的極小化問題：

s.t.u(x)=g(x),x∈S，

(12)

(13)

定義：

(14)

令Dx=D(x,:)，則：

(15)

D的極小化問題可以進一步分解成對D(x,:)分別求解：

(16)

(17)

Dk+1的迭代求解為：

(18)

u的求解可通過式(18)的梯度為0求得：

(19)

其中，

(20)

此時，uk可以通過2FFT快速求解。

綜上，圖像修復的自適應連續非局部變分修復模型的SBI求解流程如下：

輸入:破損圖像f;輸出:處理后的圖像u。初始化:u0=f,D0=0,err=1,λ=γ=0.1,并計算P/S的值,破損區域填充隨機像素值;Whileerr≥0.01對于圖像點x,尋找其相似圖像塊集合;計算非局部相似系數系數;按式(18)更新Dk+1;按式(20)更新λk;利用2D-FFT求解式(19)得到uk+1;按式(11)更新Qk+1;計算誤差值err=‖uk-uk-1‖2;End

2 實驗結果與分析

為驗證本文提出的連續性非局部變分修復模型的性能，將連續性非局部變分修復模型的修復結果與NLTV修復結果進行對比。圖2給出了“Lena”圖像采用2種算法修復后的結果，以及修復后圖像與原始圖像的差值圖像。從圖2中可以看出，本文提出的連續性非局部變分修復模型相對于NLTV模型更好地修復圖像的信息，差值圖像灰度值較小，修復后的圖像更好地接近真實圖像。

(a) 原真實圖

為了進一步說明自適應連續非局部變分修復模型具有更好的圖像修復性能，選“carriage”“temple”“parrots”“butterfly”4幅彩色圖像(如圖3所示)分別加入字幕、隨機斑塊、劃痕以及方塊噪聲的破壞，采用NLTV與自適應連續非局部變分修復模型2種模型進行修復，修復結果如圖4所示。為便于對比修復的效果，在圖4中各個圖的右下角給出綠色區域的放大圖。

(a) 四輪馬車

(a) 破損圖像

對比2種模型修復的結果可以看出，自適應連續非局部變分修復模型修復后的圖像細節與邊緣都得到更好的重建，如，carriage圖中的欄桿與parrots圖中的羽毛采用ACNLTV模型修復后更清楚，temple圖中的文字邊界與butterfly的斑塊紋理邊界采用自適應連續非局部變分修復模型修復后更明顯。

客觀評價方面，采用Peak Signal to Noise Ratio(PSNR)峰值信噪比和Structural Similarity Index(SSIM)結構相似性作為評價指標，其中PSNR是用來評估2張圖像中對應的像素點之間的誤差，值越高表示失真越小。SSIM是用來評估2張圖像在亮度、對比度以及結構3個方面的整體相似性，其結果越接近1表明相似性越高。圖4中圖片修復前后的PSNR與SSIM如表1所示。

表1 不同圖片2種模型修復性能比較Tab.1 Inpainting performance comparison of two models for different images

由表1可以看出，自適應連續非局部變分修復模型修復的PSNR與SSIM明顯高于NLTV修復的結果，其PSNR與SSIM分別高于NLTV約為0.5 dB與0.2，從客觀指標再次說明ACNLTV模型修復更優。

3 結束語

本文提出了一種連續性非局部變分圖像修復模型。采用羅賓邊界算子描述破損區域與信息區域的邊界，并針對破損程度的大小實現對圖像修復擴散強度自適應控制，從而提出連續性非局部變分的圖像修復模型，并給出了該模型的交替極小化求解過程。在試驗中，通過與NLTV模型對比分析，證明本文提出的連續性非局部變分的圖像修復模型在圖像修復過程中更好地修復圖像的細節信息，峰值信噪比更高，圖像修復性能更明顯。因此，本文提出的連續性非局部變分的圖像修復模型具有很好的應用前景。