基于法矢量雅可比的總廣義變差圖像修復模型

翟 艷，潘振寬，魏偉波

(青島大學計算機科學技術學院，山東 青島 266071)

1 引言

圖像修復又稱圖像修補、圖像補全、圖像插值，是圖像處理的最基本問題之一[1]。變分方法是圖像處理、圖像分析的重要方法，可有效實現圖像修復、分割、重建等[2-4]。圖像修復是根據圖像中存在的信息恢復出破損圖像丟失的信息，其變分模型[5]通常借助預先定義的掩模函數標記破損區域以構造能量泛函，利用圖像擴散機制[6]將已有的圖像信息擴散到破損區域，能量泛函中的規則項決定著恢復后圖像的質量[7-8]。

針對小破損非紋理圖像的修復問題，Chan等[9]將經典的總變差模型(TV， Total Variation)推廣為變分圖像修復模型，該模型繼承了TV模型的邊緣保持特點，但也使得恢復后的圖像呈現階梯效應。自然的改進方法是引入高階導數的變分模型，如Chan 等[10]提出的基于曲率驅動擴散(Curvature-Driven Diffusions，CDD)的高階變分模型，和基于歐拉彈性能(Euler’s Elastica，EE)的圖像修復變分模型[11-12]。Lysaker等[13]則提出了基于Bounded Hessian (BH)的二階變分模型可同時保持圖像邊緣與光滑特征，可用于圖像噪聲去除[14]及圖像修復[15]。作為對BH模型的拓展，Bredies、Kunisch和Pock[16]提出了總廣義變差變分模型(Total Generalized Variation，TGV)，進一步提高了恢復圖像質量，并應用于大破損圖像的修復[17]。

TGV模型以Hessian矩陣為基礎，該矩陣是梯度的雅可比矩陣。本文擬將TGV模型的Hessian矩陣修改為單位法矢量的雅可比矩陣，使得圖像邊緣處擴散系數接近零，從而達到圖像光滑與邊緣的同時保持的目的。為此，本文在分析BH模型和TGV模型[18]基礎上提出了基于單位法矢量雅可比的總廣義變差圖像修復模型(Total Generalized Variation Based on Jacobian of Normal，TGVJN)來提升大破損圖像的修復精度。模型采用的交替方向乘子法是求解具有可分結構的凸優化問題的重要方法，近年來大量應用在數據分析處理領域。通過引入多個輔助變量、拉格朗日乘子及懲罰參數設計相應的交替方向乘子法(ADMM， Alternating Direction Method of Multipliers)實現模型快速求解。最后，對所提出模型進行一系列數值實驗來驗證其圖像修復效果。

2 相關研究工作基礎

2.1 BH模型

BH模型利用圖像強度Hessian矩陣的Frobenius范數對圖像進行去噪或修復處理。該模型的能量泛函可以寫成如下形式

(1)

其中f代表輸入的圖像，u代表恢復后的圖像，α是懲罰參數，且必須滿足條件α>0。對于二維圖像，采用dx來代表dx1dx2，圖像強度u的Hessian矩陣為

?(?u)

(2)

2.2 TGV模型

總廣義變差模型的二階規則項形式為

(3)

(4)

總廣義變差模型可以推廣應用于圖像修復等方面，該模型利用破損區域的邊緣信息沿梯度方向擴散對破損區域內部進行修復[19]。二階TGV修復模型的能量泛函極值問題為

(5)

?為梯度算子，α，β是懲罰參數。該能量泛函中的第二項和第三項分別作為一階和二階規范，這使得模型具有良好的邊緣保持特性和光滑性。

3 基于法矢量雅可比的總廣義變差模型-TGVJN

(6)

α，β是兩個懲罰參數，χD作為掩模函數用來標記破損區域。圖像中破損區域D標記為0，非破損區域Ω/D標記為1 。考慮到高階模型的計算復雜性，采用交替方向乘子法來提高計算效率，下面引入一些輔助變量對其進行求解

w=?u

(7)

(8)

q=ε(p)

(9)

v=p-n

(10)

為了避免計算中直接使用約束(8)帶來的復雜性，可將其松弛為如下格式

|w|-w·n≥0

(11)

通過引入拉格朗日乘子λ1，λ2，λ3，λ4和懲罰參數μ1，μ2，μ3，μ4，能量泛函可以寫成増廣拉格朗日泛函形式

(12)

在此基礎上，通過設計交替方向乘子法來優化迭代方案，并將原泛函分解為一系列的最小化子問題。在每次循環迭代中，依次考慮變量u，p，w，n，q，v最小化問題。各變量依次迭代結束之后，拉格朗日乘子會進行更新

(13)

(14)

(15)

(16)

在交替求解變量的極小值過程中，變量u，p，n采用高斯-賽德爾迭代方法求解子問題得到對應的歐拉-拉格朗日方程，而w，v，q的子問題具有相同的格式，可以通過廣義軟閾值公式直接得到計算結果。

通過求解u的子問題，得到的歐拉-拉格朗日方程可以寫成以下形式

(17)

計算變量w的子問題，采用廣義軟閾值公式可以得到如下形式的解

(18)

通過變分方法可以求解得到關于變量p的歐拉-拉格朗日方程

(19)

變量v，q可以分別通過廣義軟閾值公式計算得到，結果如下所示

(20)

(21)

由于變量n還需要滿足約束|n|≤1，所以在得到歐拉-拉格朗日方程之后要對其進行一次投影來提高精確度

(22)

本文算法求解步驟如下：

輸入：原始破損圖像f

輸出：修復圖像u

1)初始化，將變量u，p，w，n，q，v值設為0，拉格朗日乘子λ1，λ2，λ3，λ4值設置為0，懲罰參數α，β，μ1，μ2，μ3，μ4>0。

2)在每步迭代中交替計算變量并更新拉格朗日乘子。

3)迭代直至滿足收斂條件，得到u。

其算法流程圖如圖1所示。

圖1 算法流程圖

4 實驗結果與分析

本文所有實驗在PC(Intel Core i5-6500 CPU @3.20GHz，4.00GB內存)上完成，編程環境為 MATLAB R2016a。為了驗證提出模型的有效性，下面將給出經典BH模型與TGV模型及本文改進的TGVJN模型的去噪及破損圖像修復的實驗對比，三種模型都采用交替方向乘子法設計實現。利用峰值信噪比(PSNR)、結構相似性指數(SSIM)和均方根誤差(RMSE)三個參數對去噪和修復模型進行了客觀的比較，其中PSNR和SSIM越高表明處理后的圖像越接近原始圖像，RMSE則相反。拐角、邊緣保持及對比度等特性在下方實驗中給出了詳細展示。

在實驗分析之前，先給出本文模型的主要參數取值范圍。α，β是模型參數，范圍約在：1-1000。其中α作為懲罰參數將當前項值近似為0，β約束模型中的規則項，控制圖像擴散強度。μ1，μ2，μ3，μ4是算法設計中引入的懲罰參數，一般情況下需要設置較大的值，但實驗分析后發現將其設置的過大容易弱化模型中其它項的影響。故在此模型設置懲罰參數μ1：1-100，μ2=1，μ3=1，μ4=0.1。

4.1 去噪實驗結果與分析

圖2直觀地展示了各個模型保持分段常值圖像的邊緣效果。(a)是加入了0.01方差的高斯噪聲圖像，(d)，(f)和(h)是各模型去噪結果同原圖的誤差圖。理想狀態下誤差圖中不應該包含任何圖像信息，這組實驗直觀展示了模型對圖像對比度的保留能力。與其它兩個模型相比，BH模型的去噪效果并不理想，且邊緣模糊。(d)圖條形邊界處存在的豎線證明BH模型在去噪過程中會丟失一些邊緣信息。(e)和(g)直觀說明TGV模型和本文提出的TGVJN模型都能夠有效的去除噪聲且平滑效果顯著，(f)和(h)的誤差分析說明本文提出的TGVJN模型的誤差圖包含了較少的邊緣信息和圖像結構信息，驗證了TGVJN模型在邊緣保持方面更具有優勢。

圖3給出了圖像的中間部分切線圖和能量收斂圖，該實驗中添加0.005的高斯噪聲。BH模型的去噪結果切線與原圖切線整體貼合度較低且不平滑，TGV模型的去噪結果切線在跳變處平滑了拐角，側面印證了該模型存在的邊緣模糊現象。而本文提出的TGVJN模型去噪結果切線在跳變處保持了拐角與原圖切線擬合較好。本實驗將能量誤差設定為0.001，能量收斂圖展示了各模型的收斂速度。其中BH模型的收斂速度最慢，TGVJN模型比TGV模型收斂速度略快。表1比較了在圖2 (b)中加入不同噪聲方差后各模型去噪結果的參數。

圖3 去噪結果中間切線及能量圖

表1 去噪實驗客觀參數比較

4.2 大尺度破損修復實驗結果與分析

圖4(a)破損區域寬度為40像素點，分別用三種模型對其進行修復。BH模型不能完全修復好這樣的大尺度破損，在圖5 (a)局部放大圖中破損區域中心與周圍存在明顯誤差。TGV與TGVJN模型在非邊界區域修復效果顯著，但從圖5中可以看出TGV模型在邊界處的模糊區域較大，本文提出的TGVJN模型雖然不能完全復原出邊界線但大大縮減了模糊區域。

圖4 Bar圖像修復結果對比

圖5 圖4 (b)-(d)的部分放大圖

圖6(a)破損區域寬度為20像素點，分別用三種模型對其修復處理，再將各模型結果圖與原圖做差得出誤差圖。BH模型在橢圓的破損邊界處產生了明顯的模糊區域，而TGV和TGVJN模型更好的修復出了橢圓邊界。直觀視覺上難以區分出哪個修復結果更加精確，但(d)，(f)誤差圖說明TGVJN模型修復結果誤差較小，更加貼合原圖。

圖6 Circle修復結果和誤差對比

4.3 小尺度破損修復實驗結果與分析

圖7(a)中添加了大面積的文字水印，該實驗比較了三種模型對小尺度但大面積破損圖像的修復能力。其中TGVJN模型表現最好，BH和TGV模型都不能完全修復破損區域，BH模型甚至出現了破損區域圖像強度增強的問題。

圖7 Turtle修復結果對比

圖8(a)破損交叉處丟失信息較多， BH模型沒有完全修復破損區域，圖8(b)中出現了斑點，且在帽沿等邊緣處邊界不清晰，有模糊現象。在圖9局部放大圖中，TGV模型在頭發等一些局部破損處不能修復完整，但BH模型和TGVJN模型包含的規則項具有增強線性結構的特性，在這方面優勢明顯。總體來說，TGVJN模型展現了更好的修復效果。最后表2中列出了三種模型修復實驗的客觀評價參數。

圖8 Lena修復結果對比

圖9 圖8 (b)-(d)的部分放大圖

表2 修復實驗客觀參數比較

5 結束語

為了復原更多的圖像信息，提高圖像修復的精度，本文提出了基于法矢量雅可比的總廣義變差模型，并設計了相應的ADMM算法。通過對噪聲圖像設計去噪實驗，對不同尺度破損圖像進行修復實驗，來對比本文提出的模型與之前的模型的去噪和修復效果及客觀參數。去噪實驗結果表明，本文提出的模型具有提升圖像對比度、保持邊緣清晰的性質。在修復實驗中，相比于BH和TGV模型，本文模型能夠更好地修復大尺度破損區域，同時可以兼顧圖像中的線性結構和邊界信息，減小邊界模糊區域，提升了修復的精確度。本文模型采用ADMM方法求解，涉及到的參數較多，可以采用更加快速的求解算法來提升計算效率。今后可以將本文的模型應用于彩色圖像修復和3維重建等方面的研究。