改進的TV-Stokes圖像修復模型及其算法

許建樓 馮象初 郝 巖

①(西安電子科技大學理學院 西安 710071)

②(河南科技大學數學與統計學院 洛陽 471003)

1 引言

圖像修復是當前數字圖像處理和計算機圖像學中的一個熱點問題，其在文物保護、剔除圖像或視頻中的一些文字、修復網絡傳輸中丟失或損壞的視頻信息以及影視特效制作等方面都有很高的應用價值。

從數學的角度看，圖像修復是一個病態問題，因為沒有足夠的信息可以保證能唯一正確地恢復被損壞部分。因此，人們從視覺心理學的角度進行分析，提出了各種假設限定來解決這個問題。

Bertalmio等人[1]首先提出了一種基于等照度線傳輸的修復模型。該模型依據美術家修復圖片的方法，將圖片中每個像素點的平滑度沿等照度線傳輸。由于將圖像平滑度填入目標區域，修復后的圖像目標區域輪廓自然效果很好。但由于等照度線間無信息交互，為保證模型的穩定性需要強制附加各向異性擴散過程。模型缺乏數學理論依據。Criminisi等人[2]提出了一種基于紋理合成的修復方法。該方法在待修復區域的邊界通過塊匹配的方式選擇合適的紋理進行填充。這種算法雖對紋理修復有較好的結果，但對結構信息的修復能力有限。為了能同時修復結構和紋理，文獻[3]提出了一種基于圖像分解的非參數采樣紋理合成修復方法。在此基礎上，Elad等人[4]提出了一種基于圖像分解的修復方法，不同的是，他們利用稀疏表示來分別處理獲得的結構層和紋理層。這類基于分解的修復算法雖然能較好地修復結構和紋理，但是修復過程比較復雜。對于圖像處理問題，小波一直起著舉足輕重的作用[5-7]。基于小波的修復技術最先由文獻[5]提出。該種方法對于小波系數丟失較少時修復效果較好，但當小波系數丟失較多時，則其修復結果中會出現一些模糊。受文獻[5]啟發，文獻[6]提出了一種基于 Haar小波閾值的修復方法。該方法雖能較好地處理結構信息，尤其是邊。但對紋理信息的修復能力有限。

近年來，變分偏微分方程(Partial Differential Equation,PDE)方法已經成為圖像處理領域的一種重要工具[8,9]。Chan等人[10]提出了一系列基于變分PDE的圖像修復模型。總體變分(Total Variation,TV)模型選擇有界變差(Bounded Variation,BV)為圖像處理空間，通過對BV空間中的總體變分能量函數求最小值來修復圖像。TV模型雖能在噪聲情況下有效地對圖像進行修復，但不滿足人類視覺感知要求的連通性原理。針對這一問題，Chan等人[11]又提出了曲率驅動擴散(Curvature Driven Diffusions,CDD)模型。然而，該模型是一個三階的PDE，因此數值實現比較復雜。最近，文獻[12]基于TV-Stokes方程提出了一個二步修復模型，本文簡稱為TV-Stokes模型。該模型不僅可以避免高階導數的計算，而且還能獲得較好的修復效果。

本文在研究文獻[12]的基礎上，提出了一種改進的TV-Stokes修復模型，并利用對偶方法[13]和分裂Bregman方法[14-16]給出一種高效且快速的數值算法。由于新方法對TV- Stokes模型中的兩步從構成方式及計算方式上分別進行了改進，因此，數值實驗表明，新方法相比于文獻[12]不但修復的效果較好，而且修復的速度較快。

2 TV-Stokes模型

最近，文獻[12]提出了一個二步圖像修復模型(TV-Stokes模型)，該模型經證明對非紋理圖像已經取得了較好的修復效果。若記Ω為待修復區域，B為Ω的外圍區域，破損圖像為d0，修復后的圖像為d。則TV-Stokes模型的第1步就是解下面優化問題：

式中t=(θ,v)表示切向量，t0=?⊥d0表示破損圖像的切向量。第1項稱為正則項，第2項稱為保真項，δ＞0 是正則化參數，它在正則項和保真項之間起著重要的平衡作用。

一旦求得切向量t，則法向量于是TV-Stokes模型的第2步就是重構適合法向量n的圖像d。該步通過極小化下面能量泛函來實現

由式(1)看出，TV-Stokes模型在構建切向場t時，僅僅用到了初始的破損圖像d0，而沒用到第 2步中的重構圖d，也就是說，TV-Stokes模型中的兩步是獨立進行的，并沒有相互交織在一起。顯然，這樣構建的向量場不是很準確。此外，文獻[12]用梯度下降法求解上面兩步使得算法的修復速度較慢。

3 改進的TV-Stokes模型及算法

3.1 改進的TV-Stokes模型

為了在構建向量場時能夠充分利用重構圖d的信息，本文提出一個改進的TV-Stokes修復模型。

式中u表示向量場，ω(x)是權函數，前兩項是正則項，后兩項是保真項，α,β,γ＞0 是正則參數。與TV-Stokes模型一樣，本文提出的模型也主要是用于非紋理圖像修復。

由于式(3)中包含兩個變量u和d，因此可通過交替迭代策略將其轉化成下面兩個簡單的子模型

顯然，通過式(4)可以構建向量場u，而通過式(5)能夠重構與向量場u相適應的圖像d，與TV-Stokes模型相比，新模型主要具有以下優點：

(1)式(4)在構建向量場u時，保真項中要求向量場u逼近 ?dk，充分利用了上層重構出的圖像dk，這樣可使構建的向量場u更準確。

(2)式(5)在重構圖像d時，不僅保真項中充分利用了經式(4)更新過的向量場uk+1，而且模型中還增添了一個加權的TV正則項，該項比不加權的 TV正則項能更好地保持圖像的特征[17]。

(3)式(4)，式(5)中的保真項能夠隨交替迭代不斷地進行更新，這一點TV-Stokes模型是無法比擬的。此外，新模型在帶噪情況下也能有效地對圖像進行修復。

3.2 算法提出

為解式(4)，令u=(u1,u2)，并分別固定u1,u2可得

式(6)，式(7)可以利用Chambolle的對偶方法[13]來求解。與傳統的梯度下降法相比，該方法的收斂速度比較快。詳見文獻[13]。

上面兩式可以通過固定點迭代來實現。取p0=0,m0=0,則

證明 詳細推導過程參見文獻[13]。

分裂Bregman方法是由文獻[14]提出的一種高效的迭代方法，常用于求解帶有L1項的優化問題。這種方法具有許多優點。比如編程簡單、數值求解過程比較穩定、占有內存小且計算速度和收斂速度快等。但它最主要的優點是收斂速度比較快。詳細原因參見文獻[14]。本節將采用該方法對式(5)進行數值求解。

首先，在式(5)中引入輔助變量η來處理不可微通過添加等式約束，式(5)等同于下面的新變分問題：

在式(8)中引入懲罰項，使其轉化成為無約束問題，并引入Bregman參數b來更新迭代過程。最終，求解式(5)的迭代公式如下：

式(9)中第1個問題可由式(10)迭代求得

其中 ?*為梯度算子?的共軛，

最后，求解式(3)的完整算法描述如下：

步驟 4 停止迭代：對ε＞0 ，當＜ε時，則停止迭代，并輸出復原圖像；否則，令k=k+ 1，轉步驟2。

4 數值實驗

為了驗證新算法的有效性，本節分別對3幅大小為256×256的受損圖像進行修復實驗，并將新算法和文獻[12]中方法進行比較。為保證比較的客觀性和公平性，本文嚴格按照文獻[12]提供的方法對TVStokes模型進行數值實現，并從視覺效果與定量指標兩個方面對圖像質量進行比較。采用的定量指標為峰值信噪比(Peak Signal to Noise Ratio,PSNR)：

式中P為原始圖像，P'為修復后的圖像，M和N為圖像尺寸大小，i,j為圖像像素下標。

文獻[12]在做數值模擬時取外圍區域B為一個像素寬，為與其保持一致，本文的外圍區域B也取成一個像素寬。此外，新模型中權函數ω(x)是一個關于的減函數，本文實驗中將其取成1/(1其中c為大于零的常數。新算法步驟 2中內循環次數n取為 2，停止標準中參數ε取成0.01。

實驗 1 對含細節豐富的“Lena”圖進行修復試驗。實驗發現，新算法對參數α不是很敏感，對其余參數較為敏感。大量的數值仿真結果表明，參數α在0.001 ～ 5 之間取值時效果較優。本試驗中取參數α=0 .1,β=1 /15,μ=0 .35,c=0 .1,Δt=0 .1。圖1給出了文獻[12]方法和本文方法的修復結果。其中圖1(a)為原圖像，圖1(b)為受損圖像，圖1(c)和圖1(d)分別為文獻[12](Δt=0.5)和本文的修復結果。從兩種修復結果可以看出，在圖1(d)中，Lena的鼻梁比圖1(c)得到較好地修復。

圖1 Lena圖修復結果

實驗2 對結構圖“House”進行修復實驗。實驗中參數α取0.09，其余參數取值和實驗1中相同。圖2給出了兩種方法的修復結果。其中圖2(a)為原圖像，圖2(b)為受損圖像，圖2(c)和圖2(d)分別為文獻[12](Δt=0.5)和本文的修復結果。比較兩種修復結果，可以看出， 在房子左邊白色的房檐處，文獻[12]方法明顯地把灰色擴散進來，引起較大的失真。與其相比，本文方法獲得了較好的視覺效果。

實驗 3 為了驗證新模型在去噪的同時也能對圖像進行有效地修復以及權函數ω(x)的有效性，本文還對帶噪的受損圖“Bird”進行了仿真實驗。試驗中所用參數分別為α=5,β=0 .5,γ=0 .5,μ=0.5,Δt=0 .2,c=0 .2。圖3分別給出了加權和不加權兩種情況下的實驗結果，其中受損圖像中加入了方差為10的高斯白噪聲。由圖3的結果可以看出，加權的TV正則項比不加權的TV正則項(ω=1)能更好地保持圖像的邊緣信息與紋理特征，這從小鳥的爪子、翅膀、肚子上的羽毛等都能很清楚地看到。

最后，為了說明新算法的收斂性及其相比于TV-Stokes算法的優越性，本文還在圖4中分別繪出了試驗1和實驗3中峰值信噪比隨迭代次數(文獻[12]中指第2步的迭代次數)的變化曲線圖。從圖4(a)曲線的走勢可以看出，本文方法不僅修復結果明顯優于文獻[12]，而且還具有較快的收斂速度。從圖4(b)可以看出，加權的修復結果明顯優于不加權的結果，并且在兩種情況下新算法不但是穩定的，而且還都是收斂的。表1列出了實驗1和實驗2中兩種方法達到停止標準時的實驗數據的比較結果。從表中數據可以看出，本文的 PSNR相比于文獻[12]有明顯提高，修復時間明顯少于文獻[12]，因此，表1從客觀上也表明了本文方法比文獻[12]方法不但修復的效果較好，而且修復的速度較快。

5 結論

本文在研究圖像修復的基礎上，提出了一種改進的TV-Stokes圖像修復模型。與文獻[12]中模型不同，新模型中僅包含一個能量函數，并且該能量還可以通過交替迭代策略轉化為兩個相互交織的子模型，由于兩子模型的相互交織性，因此它們能隨交替迭代相互利用對方的信息，從而使重構的向量場和圖像更加準確。為了加快計算速度，在數值計算中分別利用對偶方法和分裂Bregman方法對兩個子模型進行交替求解。數值實驗表明本文方法比文獻[12]中方法不但修復的效果較好，而且修復的速度較快。

圖2 House圖修復結果

圖3 Bird圖實驗結果

圖4 峰值信噪比隨迭代次數的變化曲線圖

表1 不同方法修復圖像迭代達到停止標準時實驗數據的對比

[1]Bertalmio M,Sapiro G,Caselles V,et al..Image inpainting[C].Proceedings of the ACM SIGGRAPH,New Orleans,ACM Press,2000: 417-424.

[2]Criminisi A,Pérez P,and Toyama K.Region filling and object removal by exemplar-based image inpainting[J].IEEE Transactions on Image Processing,2004,13(9): 1200-1212.

[3]Bertalmio M,Vese L,Sapiro G,et al..Simultaneous structure and texture image inpainting[J].IEEE Transactions on Image Processing,2003,12(8): 882-889.

[4]Elad M,Starck J,Querre P,et al..Simultaneous cartoon and texture image inpainting using morphological component analysis[J].Applied and Computational Harmonic Analysis,2005,19(3): 340-358.

[5]Chan T,Shen J,and Zhou H.Total variation wavelet inpainting[J].Journal of Mathematical Imaging and Vision,2006,25(1): 107-125.

[6]Chan R H,Setzer S,and Steidl G.Inpainting by flexible haar-wavelet shrinkage[J].SIAM Journal on Imaging Sciences,2008,1(3): 273-293.

[7]You X,Du L,Cheung Y,et al..A blind watermarking scheme using new nontensor product wavelet filter banks[J].IEEE Transactions on Image Processing,2010,19(12): 3271-3284.

[8]張偉斌,馮象初,王衛衛.圖像恢復的小波域加速 Landweber迭代閾值方法[J].電子與信息學報,2011,33(2): 342-346.Zhang Wei-bin,Feng Xiang-chu,and Wang Wei-wei.Accelerated Landweber iterative thresholding algorithm in wavelet domain for image restoration[J].Journal of Electronics＆Information Technology,2011,33(2): 342-346.

[9]張軍,韋志輝.SAR圖像去噪的分數階多尺度變分PDE模型及自適應算法[J].電子與信息學報,2010,32(7): 1654-1659.Zhang Jun and Wei Zhi-hui.Fractional-order multiscale variation PDE model and adaptive algorithm for SAR image denoising[J].Journal of Electronics＆Information Technology,2010,32(7): 1654-1659.

[10]Chan T and Shen J.Mathematical models of local nontexture inpaintings[J].SIAMJournalonAppliedMathematics,2002,62(3): 1019-1043.

[11]Chan T and Shen J.Non-texture inpainting by curvature driven diffusions (CDD)[J].Visual Communication and Image Representation,2001,12(4): 436-449.

[12]Tai X C,Osher S,and Holm R.Image Inpainting Using a TV-Stokes Equation[M].Heidelberg,Germany,Springer,2007: 3-22.

[13]Chambolle A.An algorithm for total variation minimization and applications[J].Journal of Mathematical Imaging and Vision,2004,20(1/2),89-97.

[14]Goldstein T and Osher S.The split Bregman method for L1 regularized problems[J].SIAM Journal on Imaging Sciences,2009,2(2): 323-343.

[15]Wu C L and Tai X C.Augmented Lagrangian method,dual methods and split-Bregman iterations for ROF,vectorial TV and higher order models[J].SIAM Journal on Imaging Sciences,2010,3(3): 300-339.

[16]Goldstein T,Bresson X,and Osher S.Geometric applications of the split Bregman method: segmentation and surface reconstruction[J].Journal of Scientific Computing,2010,45(1-3): 272-293.

[17]陳利霞,馮象初,王衛衛,等.加權變分的圖像去噪算法[J].系統工程與電子技術,2010,32(2): 392-395.Chen Li-xia,Feng Xiang-chu,Wang Wei-wei,et al..Image denoising algorithms based on weighted variation[J].Systems Engineering and Electronics,2010,32(2): 392-395.