基于對數(shù)函數(shù)的非局部總變分圖像修復(fù)模型

楊文霞，張 亮

(武漢理工大學(xué)理學(xué)院，武漢430070)

(*通信作者電子郵箱wenxiayang@163.com)

0 引言

數(shù)字圖像修復(fù)［1］是針對圖像中損壞或遺失的部分，采取適當(dāng)?shù)臄?shù)學(xué)模型，對破損區(qū)域進(jìn)行修復(fù)，以形成良好的視覺效果或便于后續(xù)處理。數(shù)字圖像修復(fù)在文物修復(fù)、特定目標(biāo)移除(如:人臉識別系統(tǒng)中的眼鏡去除)等領(lǐng)域具有廣泛的應(yīng)用價值。目前常見的圖像修復(fù)方法大體上基于兩類框架:一類是基于偏微分方程的修復(fù)方法及其改進(jìn)算法，如經(jīng)典的總變分(Total Variation，TV)最小化模型［2］、曲率驅(qū)動擴(kuò)散(Curvature Driven Diffusion，CDD)模型［3］、分?jǐn)?shù)階總變分模型［4］、4階總變分模型［5］等。在該圖像修復(fù)框架下，圖像修復(fù)問題轉(zhuǎn)化為一個使用變分法求解的泛函極值問題，其極值條件為一組偏微分方程，使用數(shù)值迭代方法求得穩(wěn)態(tài)解。Gilboa等［6］將非局部思想引入到總變分框架下，提出基于L2范數(shù)的非局部梯度總變分模型，將該模型用于圖像修復(fù)，獲得比較好的效果。楊文波等［7］使用非局部變分修復(fù)法去除高密度椒鹽噪聲。Zhang等［8］利用空間非局部梯度設(shè)計圖像的非局部擴(kuò)散張量，并建立了非局部擴(kuò)散張量的各向異性擴(kuò)散模型。這些模型都是以圖像的局部梯度信息或曲率等作為迭代求解的參量，待修補(bǔ)區(qū)域由外向內(nèi)以同心層剝洋蔥的方式進(jìn)行求解，對擴(kuò)散函數(shù)的選擇缺乏統(tǒng)一規(guī)律，大部分是根據(jù)實際經(jīng)驗選取。當(dāng)圖像破損區(qū)域變大，或在待修復(fù)圖像特征信息不明顯的平坦區(qū)域，其穩(wěn)態(tài)解容易引入“階梯效應(yīng)”，產(chǎn)生假邊緣，從而使修復(fù)圖像視覺效果不夠自然。

另一類圖像修復(fù)算法是由Criminisi等［9］提出的基于樣例的圖像修復(fù)(Exemplar-based image inpainting)算法。通過在資源區(qū)搜索與目標(biāo)塊的最優(yōu)匹配塊，并將其直接復(fù)制到待修復(fù)區(qū)域來實現(xiàn)圖像修復(fù)。該算法的最大優(yōu)點是通過計算待修復(fù)區(qū)域像素的修復(fù)優(yōu)先權(quán)值，期望保留紋理特性的一致性。該框架下的改進(jìn)算法主要集中在待修復(fù)區(qū)優(yōu)先權(quán)值的計算模型上，如引入自適應(yīng)梯度分析［10］或增加方向優(yōu)先系數(shù)，進(jìn)行基于子塊的稀疏性的優(yōu)先權(quán)構(gòu)造［11］。鄒瑋剛等［12］通過利用非降采樣輪廓波變換把圖像分解成低頻和高頻部分，分別給予修復(fù)。這類算法在計算過程中容易受到紋理細(xì)節(jié)和噪聲干擾而產(chǎn)生樣本塊的誤匹配，造成鋸齒效應(yīng)，若待修補(bǔ)區(qū)域與圖像其他區(qū)域紋理結(jié)構(gòu)差異明顯，圖像修復(fù)效果欠佳。

在非局部總變分最小化框架下，本文提出了一個基于對數(shù)函數(shù)的總變分能量泛函，從理論上可以證明它能更好地滿足圖像修復(fù)的擴(kuò)散函數(shù)的需求，并能避免反擴(kuò)散。對紋理圖像修復(fù)的實驗結(jié)果表明，本文模型能很好地保持圖像的紋理和邊緣信息，降低了假邊緣和階梯效應(yīng);對舊照片修復(fù)和人臉眼鏡摘除的實驗結(jié)果表明，本文模型避免了基于樣例的圖像修復(fù)所帶來的誤匹配現(xiàn)象，總體上能獲得更為自然的修復(fù)效果。

1 總變分框架下的圖像修復(fù)模型

1.1 局部擴(kuò)散行為分析

設(shè)原始圖像為u0，D為待修補(bǔ)區(qū)域，E是緊鄰D的邊界帶狀區(qū)域。記修補(bǔ)完以后的圖像為u，定義圖像u的能量泛函為R(u)= ∫E∪Dr(| u|)dx，這里 r(s) 是一個當(dāng) s為正時、值域也為正的函數(shù)。依賴于時間的總變分圖像修復(fù)模型為:

1.2 r(s)需滿足的一般特性分析

為表述上的方便，記s=| u|。首先，能量泛函必須為嚴(yán)格下凹函數(shù)，此時正好有一個最小值，擴(kuò)散穩(wěn)定;同時，擴(kuò)散行為在圖像的不同區(qū)域也應(yīng)該有所區(qū)別。具體表現(xiàn)為:

1)在同質(zhì)平坦區(qū)域，梯度模值很小時，應(yīng)為近似各向同性擴(kuò)散。為滿足此條件，要求:

2)在圖像的邊緣區(qū)域，即梯度模值較大時，希望保持圖像邊緣，使擴(kuò)散僅沿著等照度方向，即ξ方向進(jìn)行，而不是跨過它而造成模糊邊緣，此時應(yīng)消除uηη的系數(shù)，而增強(qiáng)uξξ的系數(shù)。于是=β＞0。根據(jù)函數(shù)極限的定義，這兩個條件是不能同時滿足的。在實際應(yīng)用中，只能選擇兩者折中的能量函數(shù)，即當(dāng)s→+∞ 時，uηη的系數(shù)r″(s)比uξξ的系數(shù)r'(s)/s速度更快地趨近于0。即:

3)此外，為體現(xiàn)擴(kuò)散差異以及擴(kuò)散的穩(wěn)定性，要求uξξ和uηη的系數(shù)不同且均為正值。即:

在標(biāo)準(zhǔn)的 TV 模型中，r(s) = s，此時 uηη的系數(shù)r″(| u|)=0，于是得到，即擴(kuò)散只沿著圖像等照度方向擴(kuò)散，算法修復(fù)效果有限，且需要較長的運(yùn)行時間。

2 基于對數(shù)函數(shù)的總變分圖像修復(fù)模型

本文首先對TV模型中的r(s)進(jìn)行優(yōu)化，引入對數(shù)函數(shù)r(s)=s ln(1+s)，提出一種新的能量泛函為:

下面對該能量泛函的性質(zhì)和擴(kuò)散行為進(jìn)行證明與比較分析。

2.1 本文模型的能量泛函性質(zhì)分析

式(7)取得極小值滿足的Euler-Lagrange方程為:

性質(zhì)1 能量泛函E(u)=∫E∪D| u|ln(1+| u|)dx是凹函數(shù)，存在唯一局部最優(yōu)值，即全局最優(yōu)解。

性質(zhì)1指出本文所提出的能量泛函E(u)全局最優(yōu)解的存在性和唯一性。

性質(zhì)2表明本文提出的函數(shù)，在圖像平坦區(qū)為近似各向同性擴(kuò)散，可以降低階梯效應(yīng)，避免假邊緣。

性質(zhì)3 表明在圖像紋理區(qū)，uηη的系數(shù) r″(s) 比 uξξ的系數(shù)r'(s)/s速度更快地趨近于0，即擴(kuò)散行為沿等照度方向擴(kuò)散更快，而不會跨過該方向擴(kuò)散，避免造成嚴(yán)重的局部模糊。綜合性質(zhì)1、2、3可見，本文提出的能量泛函滿足1.2節(jié)中良好擴(kuò)散函數(shù)所需的所有特性。

2.2 本文模型局部擴(kuò)散性能的比較分析

本節(jié)對本文模型的局部擴(kuò)散行為進(jìn)行分析。由式(2)得:

且有:

可以看出r(s)在梯度較小的地方，本文模型與You等［5］提出的四階統(tǒng)計量模型效果相近，可有效地避免圖像平滑區(qū)域修復(fù)時產(chǎn)生的“階梯效應(yīng)”;在梯度較大的地方，其值介于經(jīng)典TV模型和文獻(xiàn)［4］模型之間，可有效地修復(fù)圖像。

圖1為本文能量泛函所對應(yīng)的擴(kuò)散函數(shù)與經(jīng)典TV模型及P-M(Perona-Malik)模型［13］在等照度方向及梯度方向擴(kuò)散函數(shù)對比，橫坐標(biāo)為梯度幅度| u|，縱坐標(biāo)為擴(kuò)散函數(shù)值。其中P-M模型對應(yīng)的偏微分方程為:=g(| u|)uξξ+(g(| u|)+g'(| u|)| u|)uηη，擴(kuò)散系數(shù)為 g(s)=，k=0.01為梯度門限。理論分析與圖1表明，與經(jīng)典的TV模型相比，本文模型函數(shù)在梯度小的區(qū)域，對應(yīng)的擴(kuò)散系數(shù)g(| u|)的值較小，且為同階等價無窮小，從而在圖像的平滑區(qū)域可以減少“階梯效應(yīng)”;而擴(kuò)散系數(shù)在梯度較大的區(qū)域，其值大于原TV模型和P-M模型，進(jìn)行適當(dāng)?shù)钠交杉涌靾D像信息的擴(kuò)散。此外，從圖1(b)可以看出，本文模型沒有P-M模型的反向擴(kuò)散，從而避免不恰當(dāng)?shù)匿J化及假邊緣。

3 非局部對數(shù)總變分圖像修復(fù)模型

3.1 非局部對數(shù)總變分模型

本節(jié)將非局部算子運(yùn)用于對數(shù)總變分模型中。對于圖像u，其定義域Ω為二維空間的有界開集，Ω∈R2， Ω為其邊界，像素點x，y∈Ω，定義在像素點x處關(guān)于像素點y的非局部偏導(dǎo)數(shù)，此處珘d(x，y)為衡量以像素點x和 y為中心的圖像塊的距離測度。定義 ω(x，y)=于是非局 部 梯 度 為(NLu)(x，y): = Ω → Ω × Ω， 其 中(NLu)(x，y)=(u(y) － u(x))非 局 部 梯 度 模 值 為 |(NLu) |(x) =x∈ Ω，y∈ Ω)。此時，基于非局部梯度的圖像正則化能量泛函為:

式中 (s)是正的函數(shù)，如對于非局部TV模型 (s) =，式(11)變化為:

圖1 不同模型擴(kuò)散函數(shù)對比Fig.1 Diffusion function contrast of different models

本文所提出的對數(shù)非局部總變分能量泛函為:

將該模型用于圖像修復(fù)，其數(shù)學(xué)模型為:

定義向量v的局部散度為非局部梯度的共軛，即divNLv(x)= ∫Ω(v(x，y) － v(y，x))。式(13) 第一項對應(yīng)的變分為:

因此對應(yīng)的Euler-Lagrange方程為:

綜上，對數(shù)非局部總變分最小化的圖像修復(fù)模型為:

3.2 離散化數(shù)值計算方法與參數(shù)設(shè)置

4 實驗與結(jié)果分析

4.1 針對無噪聲圖像的修復(fù)實驗

為測試本文模型的修復(fù)效果，本文根據(jù)圖像修復(fù)的不同應(yīng)用目的，選取三幅典型圖像進(jìn)行處理。圖2為待修復(fù)的受損舊照片(尺寸:405×483)，毀損形狀包括不規(guī)則條狀毀損及較大塊毀損;圖3為人臉識別系統(tǒng)中所需要的眼鏡摘除(尺寸:276×222);圖4為大面積損傷的紋理圖像的目標(biāo)移去與修復(fù)(尺寸:460×322)。三幅圖像的待修復(fù)區(qū)域，其最長連通區(qū)域的長度分別為235、140和138個像素點，最大內(nèi)切圓半徑分比為16、5和24個像素點。

圖2 待修復(fù)的舊照片及各模型修復(fù)結(jié)果Fig.2 Old photo to be repaired and inpainting results by different inpainting models

分別采用文獻(xiàn)［2］模型(總變分最小化)、文獻(xiàn)［4］模型(分?jǐn)?shù)階總變分)、文獻(xiàn)［6］模型(非局部總變分算法)、文獻(xiàn)［10］模型(基于樣例的修復(fù)改進(jìn)算法)及本文模型進(jìn)行圖像修復(fù)。非局部總變分和基于樣例的修復(fù)算法中，圖像塊大小均為7×7，局部搜索區(qū)域大小為31×31，其他參數(shù)均與對應(yīng)文獻(xiàn)中相同。

圖3 摘除眼鏡的待修復(fù)圖像及各模型修復(fù)結(jié)果Fig.3 Image to be repaired and inpainting results of image-eyeglasses to be removed by different inpainting models

圖4 紋理圖像的大面積待修復(fù)圖像及各模型修復(fù)結(jié)果Fig.4 Texture image with large area to be restored and inpainting results by different inpainting models

就主觀視覺效果而言，圖2和圖3中的細(xì)小條狀和半徑較小的圓形毀損:文獻(xiàn)［2］、［4］、［6］模型和本文模型均獲得較自然的視覺效果，而文獻(xiàn)［10］模型則造成較多的誤匹配。然而，對于寬度大于5個像素點的條狀毀損，或者最大內(nèi)切圓半徑大于6的圓形毀損:文獻(xiàn)［2］、［4］、［6］模型的修復(fù)結(jié)果存在明顯的階梯效應(yīng)，視覺上有一條較明顯的假邊緣，或在梯度較大的地方造成反向擴(kuò)散(圖2(c)眼睛及圖3(d)鼻梁處);本文模型的修復(fù)結(jié)果，在邊緣處過渡較自然，有效地降低了階梯效應(yīng)，視覺效果上明顯優(yōu)于各對比模型。對于圖4，由于需要填充的面積較大:文獻(xiàn)［2］、［4］模型的修復(fù)效果為一個局部加權(quán)模糊，不適用于大面積缺損的圖像修復(fù);文獻(xiàn)［6］模型的修復(fù)雖然不是簡單的局部加權(quán)模糊結(jié)果，但階梯效應(yīng)較嚴(yán)重，產(chǎn)生了一個局部馬賽克似的效果;文獻(xiàn)［10］模型在該局部紋理比較明顯的圖像修復(fù)中獲得較自然的效果，但仍有一些誤匹配效應(yīng)(右邊上兩條臺階處);本文模型修復(fù)圖中可見比較自然的臺階線，也適合存在紋理特征的大面積修復(fù)。

在修復(fù)效果的客觀評價上，采用峰值信噪比(Peak Signalto-Noise Ratio，PSNR)和結(jié)構(gòu)相似性指數(shù) (Structural SIMilarity index，SSIM)［15］(0 ～1 的無量綱數(shù))來衡量不同的圖像修復(fù)算法的好壞。其中SSIM越大，代表兩幅圖像的結(jié)構(gòu)相似度越強(qiáng)，即修復(fù)效果越好。計算SSIM時的滑動窗口大小也為7×7，SSIM的其余參數(shù)和文獻(xiàn)［12］的設(shè)置一樣。由于在實際的修復(fù)過程中，待修復(fù)區(qū)域是未知的，因此本文參考圖像為受損的待修復(fù)圖像。各圖修復(fù)前后的SSIM及PSNR值的結(jié)果如表1所示。表1結(jié)果表明，本文模型各項指標(biāo)亦優(yōu)于各對比模型，與各對比實驗中各對比模型的平均結(jié)果(圖2、圖3、圖4)相比，SSIM 分別提高了 0.065、0.022 和 0.051;PSNR 分別提高了5.94 dB、4.00 dB 和6.22 dB。

表1 不同修復(fù)模型的PSNR和SSIM值對比Tab.1 PSNR and SSIM comparison of different inpainting models

4.2 算法魯棒性分析

為測試本文模型的魯棒性，對圖2添加不同水平的高斯隨機(jī)噪聲后進(jìn)行圖像修復(fù)。此時，在源圖像區(qū)，算法起到去噪和平滑效果，因此，模型式(13)中的保真項∫(u － u0)2dxΩ的參數(shù)λ對修復(fù)效果至關(guān)重要，它起到權(quán)衡修復(fù)效果和去掉噪聲的作用。λ較大時，意味著模型側(cè)重于修復(fù)圖像和原始圖像的保真度，此時修復(fù)后的圖像可能仍然含有一些噪聲;λ較小時，意味著更看重模型的去噪能力，但此時不可避免地帶來一定的邊緣模糊。圖5(a)和5(b)是添加零均值、標(biāo)準(zhǔn)差分別為25和40的待修復(fù)高斯噪聲圖像，圖5(c)和5(d)分別是λ =0.1時的修復(fù)效果;圖5(e)和5(f)分別是λ =0.5時的修復(fù)效果。各修復(fù)結(jié)果的PSNR和SSIM如表2所示。

實驗結(jié)果表明，本文模型具有較好的魯棒性，對含噪聲圖像的修復(fù)也獲得較高的PSNR和SSIM。事實上，由于噪聲圖像對視覺的干擾，修復(fù)后的圖像，人眼對噪聲去除的效果感受更強(qiáng)烈，以至于可以相對忽略修復(fù)瑕疵。表2結(jié)果表明，當(dāng)噪聲方差較低時，本文模型使用較小的λ也能獲得理想的修復(fù)效果，而不至于造成嚴(yán)重的邊緣模糊;但噪聲方差增加時，λ也必須相應(yīng)增加，才能明顯地去除圖像源數(shù)據(jù)區(qū)的噪聲，而此時亦會使修復(fù)圖像變得相對模糊。

圖5 本文模型對含高斯白噪聲的圖像修復(fù)結(jié)果Fig.5 Inpainting results of the proposed model for image with white Gaussian noise

表2 對噪聲圖像修復(fù)后的PSNR和SSIMTab.2 PSNR and SSIM of restored noisy images

5 結(jié)語

本文提出了一個基于對數(shù)函數(shù)的非局部總變分能量的圖像修復(fù)模型，并分析了其局部擴(kuò)散行為，證明本文模型滿足擴(kuò)散方程的一般約束，且可以避免反向擴(kuò)散。實驗結(jié)果表明，當(dāng)待修復(fù)區(qū)域的毀損半徑大于12個像素點時，由于基于總變分框架的局部特性，使圖像修復(fù)效果較差，而修復(fù)圖像“視覺效果”的好壞，也與待修復(fù)區(qū)域的實際像素分布相關(guān)。具體而言，若待修復(fù)區(qū)域為一個像素值差異很小的均勻區(qū)域，那變分框架的模型都能獲得較為自然的效果(如圖2的中間女孩的右肩膀上方)，但對紋理圖像修復(fù)效果較差。若待修復(fù)區(qū)域為復(fù)雜紋理結(jié)構(gòu)區(qū)域，變分框架修復(fù)呈現(xiàn)局部模糊和假邊緣，此時基于樣例的修復(fù)效果較好。由于對數(shù)非局部總變分模型能量泛函本身在等照度方向和梯度方向具有較優(yōu)良的擴(kuò)散特性，且在計算過程中引入圖像塊以衡量非局部圖像塊相似性，通過選取相似圖片區(qū)域進(jìn)行擴(kuò)散，避免了總變分模型的局部性，而因此本文模型對紋理圖像和非紋理圖像都獲得較為自然的修復(fù)效果。對噪聲圖像的修復(fù)實驗表明本文模型也具有較好的魯棒性。同時注意到，本文算法對紋理圖像的修復(fù)仍然存在一些結(jié)構(gòu)不連貫(如圖4(f)中修復(fù)后臺階線略有上下偏移)，因此必須要將圖像待修補(bǔ)區(qū)的局部結(jié)構(gòu)信息考慮進(jìn)來，構(gòu)建最大紋理一致性模型，這正是進(jìn)一步的研究重點。