結(jié)構(gòu)保持圖拉普拉斯正則的快速圖像修復(fù)

曾勛勛，陳飛

(1.福州大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，福建 福州 350108;2.福州大學(xué)計(jì)算機(jī)與大數(shù)據(jù)學(xué)院，福建 福州 350108)

0 引言

(1)

最近，圖拉普拉斯作為圖像的正則先驗(yàn)受到極大的關(guān)注[16-17]，其假設(shè)原始的圖像關(guān)于一個(gè)給定的圖是分片平滑.這種基于圖的表達(dá)跟傳統(tǒng)的方法相比具有更加緊、精確和結(jié)構(gòu)自適應(yīng)等優(yōu)點(diǎn)[16].早期圖拉普拉斯正則[18]是采用固定的圖拉普拉斯矩陣提升信號(hào)的分片平滑性.之后，考慮到信號(hào)的變化對(duì)所構(gòu)建的圖有輔助作用，信號(hào)依賴(lài)的圖拉普拉斯正則(SDGLR)[17]被提出，其中拉普拉斯矩陣的邊權(quán)重的構(gòu)建是依賴(lài)于圖像像素的灰度值差，即拉普拉斯矩陣可以看作是信號(hào)的函數(shù).最近，特征圖拉普拉斯正則[19]被提出并應(yīng)用于提升點(diǎn)云數(shù)據(jù)的分片平滑性質(zhì).對(duì)于圖像修復(fù)，梯度有助于結(jié)構(gòu)保持，可以促進(jìn)待修復(fù)區(qū)域與周?chē)鷪D像信息的一致性.然而，如何有效將梯度特征融合至圖拉普拉斯矩陣是一個(gè)關(guān)鍵問(wèn)題.

將梯度作為圖像結(jié)構(gòu)保持的重要特征，利用圖拉普拉斯矩陣提升梯度域圖像的分片平滑性.首先將圖像看作圖信號(hào)，構(gòu)建圖拉普拉斯矩陣，然后對(duì)水平梯度圖像和垂直梯度圖像進(jìn)行圖拉普拉斯正則，接著圖像修復(fù)模型可以轉(zhuǎn)化為線(xiàn)性方程組，最后通過(guò)共軛梯度法快速求解.

1 圖的構(gòu)建

對(duì)于二維圖像X∈RM×N，首先按列排成一維長(zhǎng)向量x,x=vec(X)∈RMN×1,其中：vec(·)表示向量化操作算子.接著，定義一個(gè)包含MN個(gè)節(jié)點(diǎn)(圖像像素)的圖，圖中每個(gè)節(jié)點(diǎn)包含兩個(gè)信息：像素位置li和像素的灰度值xi,i∈{1,2,…,MN}.wi,j表示節(jié)點(diǎn)i和節(jié)點(diǎn)j之間的邊權(quán)重,其定義用高斯核函數(shù)表示為：

(2)

(3)

2 結(jié)構(gòu)保持圖拉普拉斯正則

對(duì)于圖像修復(fù)來(lái)說(shuō)，利用周?chē)畔⑾虼迯?fù)區(qū)域傳播時(shí)，通過(guò)引入圖像梯度信息，保持圖像結(jié)構(gòu)特征是一種有效方法.給定二維圖像X∈RM×N，其水平梯度圖像和垂直梯度圖像可通過(guò)逐行和逐列計(jì)算得到.為了使得到的水平梯度圖像與垂直梯度圖像維數(shù)一致，將邊界梯度值置0.以水平梯度圖像為例，對(duì)于任意k∈{1,2,…,M},l∈{1,2,…,N-1}，定義Gh(k,l)=X(k,l+1)-X(k,l)且Gh(k,N)=0.那么水平梯度圖像Gh∈RM×N可以轉(zhuǎn)換為一維形式，gh=vec(Gh)∈RMN×1，其矩陣表達(dá)方式為：gh=Fhx.其中：Fh∈RMN×MN為水平梯度算子.類(lèi)似地，對(duì)任意l∈{1,2,…,N}，垂直方向的梯度圖像定義為：Gv(k,l)=X(k+1,l)-X(k,l),k∈{1,2,…,M-1}且Gv(M,l)=0,那么，有：gv=Fvx.其中，F(xiàn)v∈RMN×MN為垂直梯度算子.

對(duì)于圖像X，在點(diǎn)(k,l)處的梯度(Gh(k,l),Gv(k,l))指明了圖像灰度值最大的增長(zhǎng)方向.如果點(diǎn)(k,l)處在圖像的邊緣位置，那么其切線(xiàn)方向?qū)⒔拼怪庇谠擖c(diǎn)的梯度方向(見(jiàn)圖1).因此在周?chē)阎獏^(qū)域向待修復(fù)區(qū)域信息傳播的過(guò)程中，通過(guò)梯度方向保持一致可以保護(hù)圖像的邊緣結(jié)構(gòu).為了提升梯度域圖像的近似分片平滑性，對(duì)圖像X的水平梯度圖像Gh和垂直梯度圖像Gv，提出結(jié)構(gòu)保持的圖拉普拉斯正則項(xiàng)：

圖1 圖像X上邊緣點(diǎn)(k,l)處梯度方向Fig.1 The gradient direction of edge point(k,l) on image X

(4)

圖2 兩種距離的比較說(shuō)明Fig.2 Comparison illustration of two distances

接下來(lái)，從連續(xù)域上證明任何分片平面圖像f是正則函數(shù)Φ的全局最小值.假設(shè)Ω是圖像支撐域,Ωi(i=1,2,…,T)是Ω的一個(gè)劃分.那么，分片平面圖像可以定義為：

(5)

其中，

(6)

這里，組合圖像f(k,l)是連續(xù)的.注意到任何兩個(gè)連接的fi(k,l)和fj(k,l)必須在不同平面上，否則可以合并為一個(gè)平面.定義?Ωi為劃分區(qū)域Ωi的邊緣，那么Ωi-?Ωi是Ωi的內(nèi)部.顯然有

?fi(k,l)=常數(shù) ((k,l)∈(Ωi-?Ωi))

(7)

那么，對(duì)于i=1,2,…,T,有：

?2fi(k,l)=0 ((k,l)∈(Ωi-?Ωi))

(8)

則可以得到：

?2f(k,l)=0 ((k,l)∈(Ω-?Ω))

(9)

對(duì)于任意兩個(gè)相鄰的不同平面fi和fj上，由于梯度在邊界?Ω處是不連續(xù)的，故?fi≠?fj.因此，?2f(k,l)=∞,(k,l)∈?Ω.如果權(quán)函數(shù)w(k,l)是通過(guò)高斯核函數(shù)計(jì)算得到，那么有w(k,l)=exp(-∞)=0.所以，下式成立.有：

w(k,l)(?fi(k,l)-?fj(k,l))=0 (?(k,l)∈Ω)

(10)

因此，分片平面圖像滿(mǎn)足：

(11)

那么，Φ(f)=0.對(duì)于一個(gè)分片平面圖像x及其圖定義權(quán)重wi,j，在不同平面的交界處wi,j≈0，有

(12)

3 圖像修復(fù)

給定一張退化的一維圖像y∈RMN×1，引入結(jié)構(gòu)保持的圖拉普拉斯正則項(xiàng)式(4)，從中恢復(fù)潛在的真實(shí)圖像x，可以用模型表示為：

(13)

(14)

為了評(píng)價(jià)所提出算法的圖像復(fù)原效果，定理1給出了圖像修復(fù)誤差上界，說(shuō)明了該上界與矩陣Γ的特征值緊密相關(guān).針對(duì)分片平面圖像x，與傳統(tǒng)的拉普拉斯矩陣相比，定理2給出了特征值之間的關(guān)系，從而保證所提出的解與圖拉普拉斯正則得到的解相比可以得到更小的上界.

(15)

證畢.

證明 假設(shè)ρ(xi)是xi所在的平面，wi,j是指用相同的高斯核函數(shù)定義的xi與xj相似性權(quán)重，那么有：

(16)

以4鄰域4連接圖為例，考慮xi與xj所有可能的平面，都有：

因此，?！軱.通過(guò)Rayleigh引理[20],有：

(17)

證畢.

4 實(shí)驗(yàn)結(jié)果與分析

本研究算法在設(shè)置權(quán)重矩陣式(2)時(shí)，ε采用4鄰域構(gòu)建4連接圖，核函數(shù)σ設(shè)置為0.58.圖像修復(fù)算法中正則項(xiàng)參數(shù)α設(shè)置為0.01.為了評(píng)價(jià)圖像復(fù)原的質(zhì)量，引入PSNR (峰值信噪比)和SSIM(結(jié)構(gòu)相似性)作為衡量指標(biāo)：

為了驗(yàn)證所提出的算法，首先與圖拉普拉斯正則(SDGLR)[17]做比較.圖3給出了兩組實(shí)驗(yàn)結(jié)果，SDGLR容易過(guò)于平滑，且與周?chē)募y理不一致，塊狀明顯.本研究提出的結(jié)構(gòu)保持圖拉普拉斯正則化方法，可以更好地保持圖像紋理信息，使得修復(fù)后的圖像更加自然.

圖3 視覺(jué)與PSNR比較Fig.3 Visual and PSNR comparison

為了綜合比較所提出的結(jié)構(gòu)保持圖拉普拉斯正則器，比較了當(dāng)前主流的圖像修復(fù)算法，包括SDGLR、EPLL[22]、CSC[3]、IRCNN[23]、IDBP[2]、GSC[24].注意到IRCNN是基于深度學(xué)習(xí)的方法.以12張常見(jiàn)圖像為測(cè)試數(shù)據(jù)[25]，隨機(jī)丟失90%以上像素，采用不同方法重建圖像，其修復(fù)后的的平均PSNR和SSIM列在表1.

表1 不同方法在12張隨機(jī)丟失90%以上像素的圖像上實(shí)驗(yàn)結(jié)果比較Tab.1 Comparison by different methods on 12 test images with more than 90% randomly missing pixels

圖4為針對(duì)Man圖像隨機(jī)丟失90%像素的幾種算法結(jié)果比較.可以看到，本研究所提出的算法雖然PSNR不是最高，但是其視覺(jué)質(zhì)量明顯比主流的基于塊學(xué)習(xí)的算法效果好.特別對(duì)于大量丟失像素的圖像，基于深度學(xué)習(xí)和字典學(xué)習(xí)的方法，由于其性能強(qiáng)依賴(lài)于訓(xùn)練數(shù)據(jù)，使得其修復(fù)精度不高，局部圖像紋理細(xì)節(jié)丟失，比如衣服袖子.基于非局部自相似算法，由于部分圖像局部細(xì)節(jié)不存在明顯的自相似性，因此容易造成過(guò)平滑或塊效應(yīng)，且會(huì)產(chǎn)生虛假的邊緣結(jié)構(gòu)信息，比如人臉面部.圖5為針對(duì)Boat圖像隨機(jī)丟失90%像素的幾種算法結(jié)果比較.同樣的，本研究算法的視覺(jué)質(zhì)量明顯比主流的基于塊學(xué)習(xí)的算法效果好，沒(méi)有明顯的塊效應(yīng)和過(guò)度平滑現(xiàn)象.表2列出了不同方法針對(duì)128 px×128 px圖像的運(yùn)行時(shí)間,其中筆記本電腦配置：Intel Core i5-8365U CPU 1.60 GHz，所有實(shí)驗(yàn)都運(yùn)行在Matlab 2015b上.實(shí)驗(yàn)結(jié)果表明所提出的圖像修復(fù)算法相比于現(xiàn)有圖像修復(fù)算法速度提升6倍左右.

圖4 Man圖像的幾種算法結(jié)果比較Fig.4 Comparison by different methods on the Man image

圖5 Boat圖像的幾種算法結(jié)果比較.Fig.5 Comparison by different methods on the image

表2 幾種算法在128 px×128 px圖像上平均運(yùn)行時(shí)間Tab.2 Average run time (in sec) on 128 px×128 px images (s)

5 結(jié)語(yǔ)

提出一種基于結(jié)構(gòu)保持圖拉普拉斯正則的圖像修復(fù)算法.相比于傳統(tǒng)的二階圖拉普拉斯正則化算法，引入梯度信息實(shí)現(xiàn)結(jié)構(gòu)保持，使周?chē)畔⒀刂鴪D像梯度的法方向延伸至待修復(fù)區(qū)域，從而達(dá)到圖像修復(fù)的目的.修復(fù)模型可以轉(zhuǎn)化為線(xiàn)性方程組，并通過(guò)共軛梯度法實(shí)現(xiàn)快速求解，對(duì)于一張128 px×128 px的圖像處理時(shí)間不到2 s.通過(guò)重建誤差分析，對(duì)于分片平面圖像，所提出的算法具有更小的誤差下界.從結(jié)果上視覺(jué)比較，重建的圖像沒(méi)有明顯的塊效應(yīng)，更加自然.