一種梯度正則化稀疏表示的圖像超分辨率重建方法

黃淑英，胡曉燕，吳 昕，吳佳俊，許亞婷

(江西財經(jīng)大學(xué) 軟件與物聯(lián)網(wǎng)工程學(xué)院，南昌 330032)

1 引 言

單幅圖像SR重建是指從一幅輸入的LR圖像恢復(fù)出HR圖像的技術(shù)[1].SR重建技術(shù)是當(dāng)前計算機(jī)視覺和圖像處理領(lǐng)域的研究熱點，許多SR重建算法相繼被提出，主要有基于插值的方法、基于重建的方法、基于學(xué)習(xí)的方法.基于插值的圖像SR重建方法[2-4]簡單且易實現(xiàn)，其思想是重建圖像中待補(bǔ)充的像素點利用周圍的像素點加權(quán)獲得，加權(quán)像素點距離補(bǔ)充像素點的距離越近加權(quán)的比重就越大，但重建出的圖像邊緣往往比較模糊.基于重建的圖像SR重建方法[5，6]根據(jù)圖像觀測模型進(jìn)行建模來估計HR圖像，并結(jié)合先驗知識來約束重建圖像，以得到更多的圖像細(xì)節(jié)信息，主要方法包括：凸集投影法[7]、迭代反投影法[8]和最大后驗概率法[9]等，在圖像先驗信息不足的情況下基于重建的方法得到的重建結(jié)果不理想.

基于學(xué)習(xí)的SR重建方法[10]是目前比較流行的SR重建技術(shù)，其主要思想是利用圖像訓(xùn)練集來學(xué)習(xí)LR圖像塊到HR圖像塊之間的映射關(guān)系.該思想最初是由Freeman和Paztor[11]等人提出.基于學(xué)習(xí)的SR方法優(yōu)勢是充分利用了圖像自身的先驗知識，能得到較準(zhǔn)確的重建結(jié)果.Chang等人[12]提出了局部線性嵌入(Local Linear Embedding，LLE)的方法，認(rèn)為HR/LR圖像塊在兩個不同的特征空間中具有相似的局部幾何形狀流形.該算法應(yīng)用訓(xùn)練集重構(gòu)HR圖像，通過重疊目標(biāo)HR圖像中的塊，實現(xiàn)了塊之間的局部兼容性，增加了平滑度約束.2010年Yang等人[13]運用壓縮感知(Compressive Sensing，CS)的思想提出了基于稀疏表示的SR重建算法，該算法用圖像對聯(lián)合訓(xùn)練兩個過完備字典，將LR圖像塊用LR字典表示的系數(shù)與HR圖像塊用HR字典表示系數(shù)來重建圖像.該算法實現(xiàn)了對圖像塊更緊湊的表示，從大量LR圖像學(xué)習(xí)先驗知識，圖像重建效果較好，但學(xué)習(xí)過完備字典需要耗費大量時間.Zeyde等人[14]在Yang基礎(chǔ)上改進(jìn)算法，用K-SVD算法和正交匹配追蹤算法(Orthogonal Matching Pursuit，OMP)進(jìn)行字典訓(xùn)練，縮短了運行時間且得到了更好的重建結(jié)果.2011年，Dong等人[15]提出了自適應(yīng)稀疏域選擇和自適應(yīng)正則化的圖像SR算法，將樣例圖像塊學(xué)習(xí)自回歸模型引入到算法中規(guī)范化圖像局部結(jié)構(gòu)，提高重建圖像的質(zhì)量.后來Dong等人[16]在稀疏模型中考慮到稀疏編碼對噪聲的影響提出了非局部集中稀疏表示(Non-locally Centralized Sparse Representation，NCSR)方法，加入非局部自相似性約束來更精確地估計稀疏編碼系數(shù)，在圖像去噪、去模糊、SR重建方面均表現(xiàn)出色.近年來，由于深度學(xué)習(xí)具有強(qiáng)大的學(xué)習(xí)能力，基于深度學(xué)習(xí)的方法[17，18]也越來越被重視，并且有一系列方法被提出.Dong等人[19]首次將3層卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)引入圖像SR中，效果上取得了顯著的提升.雖然基于深度學(xué)習(xí)的方法已取得很好的重建結(jié)果，但是需要大量的數(shù)據(jù)訓(xùn)練，目前真實場景的訓(xùn)練數(shù)據(jù)集很難獲得，數(shù)據(jù)集中的LR大多是通過雙3次插值降采樣等操作模擬獲得，因而對處理真實場景的LR圖像效果并不好.因此，本文將重點針對稀疏表示的SR重建方法進(jìn)行研究.

雖然稀疏表示的方法取得了較好的效果，但還有許多值得改進(jìn)的地方.由于LR圖像受到噪聲和模糊的影響，重建算法往往對噪聲不夠魯棒，在恢復(fù)圖像質(zhì)量去除噪聲的同時也丟失了大量圖像的高頻信息.針對稀疏表示的SR重建存在的問題，本文在非局部稀疏表示的基礎(chǔ)上，結(jié)合鄰域回歸的方法，提出一種圖像梯度信息正則化來增強(qiáng)重建圖像的紋理細(xì)節(jié).本文也通過大量的實驗驗證了所提出的梯度正則化稀疏表示的SR重建方法對含有噪聲的LR圖像重建能獲得很好的重建結(jié)果.

2 圖像SR重建相關(guān)理論

2.1 圖像降質(zhì)模型

在圖像獲取的過程中，通常會受到圖像采集設(shè)備的影響，或者惡劣的天氣環(huán)境、抖動、光照等外界因素的影響，所獲得的圖像大多分辨率比較低、質(zhì)量比較差.在圖像SR領(lǐng)域，建立符合實際成像的退化模型十分重要.圖像的降質(zhì)過程模型[6]如下：

y=Hx+n

(1)

其中，y是獲取的LR圖像，x是理想的HR圖像，H表示下采樣和模糊矩陣，n代表加性噪聲.圖像的SR重建與上述圖像降質(zhì)過程相反，包括提升LR圖像的分辨率、去噪、去模糊等操作.

2.2 信號稀疏表示理論

對于給定的正交字典或過完備字典，信號稀疏表示理論是指用該字典中盡可能少的原子來表示信號，并且總是可以求出一組大多數(shù)元素為零的稀疏解，其中字典生成和信號稀疏分解是該理論的關(guān)鍵.信號x用一組過完備字典Φ=[Φ1,…,Φi,…,Φk]表示為：

x=Φα

(2)

其中，α=[α1,α2,…，αk]為稀疏編碼系數(shù)，其特點是大部分元素都為零，只有較少的非零元素.因此，稀疏系數(shù)求解又可以用L0優(yōu)化問題[20]表示為：

(3)

其中，‖α‖0表示系數(shù)的L0范數(shù).為了解決優(yōu)化問題，上述L0最小化問題可以轉(zhuǎn)化為近似L1范數(shù)最小化，要求是α有足夠少的非零元素，可表示為：

(4)

為了求解，可以把上式中約束項x≈Φα轉(zhuǎn)換成懲罰項得到下式：

(5)

其中，λ是正則化參數(shù)，用來平衡系數(shù)稀疏度和圖像重建誤差之間的權(quán)重.

2.3 基于稀疏表示的圖像SR重建

圖像SR重建是圖像降質(zhì)的逆過程，利用所獲得的退化圖像y，恢復(fù)出HR圖像x.稀疏表示在圖像復(fù)原領(lǐng)域表現(xiàn)優(yōu)異，圖像的稀疏先驗信息可以有效提高圖像重建質(zhì)量，恢復(fù)圖像可以用字典原子的線性組合來逼近.假設(shè)LR圖像y和HR圖像x在過完備字典上的稀疏編碼系數(shù)非常接近，首先需要求得LR圖像在字典Φ上的稀疏系數(shù)αy，再根據(jù)x=Φαy就可以估計出HR圖像x.根據(jù)上節(jié)信號稀疏表示理論，圖像y在字典Φ上的稀疏系數(shù)αy求解為：

(6)

學(xué)習(xí)到一個好的字典，不僅能獲取圖像中所包含的信息，而且使得圖像在該字典上的表達(dá)更稀疏，進(jìn)而提高SR重建的質(zhì)量，這也是圖像稀疏表示的目的.從式(6)中可以看出，在求解系數(shù)αy時，構(gòu)建合適的字典是重建圖像的關(guān)鍵，同時構(gòu)建合適的正則化項可以提高稀疏系數(shù)的求解精度.

3 提出的圖像SR重建方法

3.1 重建模型

傳統(tǒng)的稀疏表示SR重建方法對含有噪聲的LR圖像進(jìn)行SR重建時，為了減少噪聲對重建結(jié)果的影響，通常會損失部分的高頻信息，從而導(dǎo)致重建的HR圖像出現(xiàn)模糊現(xiàn)象和斑塊效應(yīng).本文在圖像自適應(yīng)稀疏表示的基礎(chǔ)上，結(jié)合鄰域回歸[21]知識，通過構(gòu)建一個圖像梯度正則化項，提出一種基于稀疏表示的圖像SR算法.該方法在減少噪聲影響的同時，可以增強(qiáng)重建圖像細(xì)節(jié).本文構(gòu)建的SR重建模型表示如下：

(7)

(8)

(9)

其中W是歸一化因子，h是用來控制平滑程度的全局參數(shù).

稀疏非局部正則項雖然在圖像重建過程中能夠減少噪聲的影響，同樣也會導(dǎo)致圖像一部分紋理信息的丟失.針對此問題，本文在此基礎(chǔ)上通過構(gòu)建一種基于鄰域回歸的梯度正則項來增強(qiáng)重建圖像的細(xì)節(jié)信息.下面將對圖像SR重建中字典學(xué)習(xí)、圖像塊稀疏域的選擇及鄰域回歸正則項做詳細(xì)地描述.

3.2 字典學(xué)習(xí)

(10)

其中，Sk表示聚類后的子數(shù)據(jù)集，αk為Sk在Φk上的系數(shù)矩陣.

3.3 自適應(yīng)稀疏域選擇

(11)

(12)

(13)

3.4 鄰域回歸梯度正則項的構(gòu)建

(14)

(15)

(16)

其中，NG是與Ng對應(yīng)的HR空間的梯度鄰域.

針對圖像重建過程中出現(xiàn)的邊緣紋理模糊的現(xiàn)象，本文利用上述鄰域回歸的方法來對評估圖像進(jìn)行清晰紋理細(xì)節(jié)的重建，來修正重建圖像的梯度信息，即在重建過程中讓重建圖像的梯度信息更接近評估的紋理信息.其能量函數(shù)定義如下：

min‖2

(17)

該能量函數(shù)在公式(7)中作為SR重建模型的一個正則項，在圖像重建過程中用來增強(qiáng)估計HR圖像的紋理細(xì)節(jié).

3.5 SR模型的求解

(18)

在每次迭代獲得評估圖像后，利用下面公式來更新圖像塊的稀疏系數(shù)，其公式如下：

(19)

對獲得的稀疏系數(shù)αi利用公式(8)的非局部均值進(jìn)行更新，采用迭代收縮算法更新稀疏編碼系數(shù)，公式如下：

(20)

其中Sτ是軟閾值函數(shù)，c是輔助參數(shù)，用來保證收縮函數(shù)是可優(yōu)化的.稀疏編碼系數(shù)更新完之后，則圖像塊重構(gòu)表示為：

(21)

重建HR圖像為：

(22)

4 實驗結(jié)果及性能分析

為了驗證所提出模型的有效性，本文做了大量的對比實驗并與近年來一些方法做了比較，比較方法包括：Bicubic、NCSR[16]、EPLL[22]、NRSR[21]、INSR[23]、REPS-SR[24]方法.本節(jié)主要選取了12張測試圖像如圖1所示，來展示各方法的重建結(jié)果，其中包括6張彩色圖像(其名分別為：Butterfly、Hat、Parrots、Zebra、Plants、Bird)和6張灰度圖像(其名分別為：Flower、baby 、barbara、flowers、 baboon、Comic).在實驗中采用如下步驟對測試圖像進(jìn)行降質(zhì)：首先，對測試圖像用標(biāo)準(zhǔn)偏差為1.6，尺寸大小為的7×7的高斯函數(shù)進(jìn)行模糊；然后，對模糊后的圖像進(jìn)行下采樣，下采樣的尺度因子分別為2、3、4；最后，對下采樣得到的LR圖像加入不同水平的高斯噪聲得到最后的LR圖像.實驗中根據(jù)經(jīng)驗設(shè)置基本參數(shù)如下：圖像塊的尺寸為6×6，聚類數(shù)k為64，重疊像素點數(shù)為4，δ為7，c為0.35，λ2為0.1.下面將利用實驗結(jié)果對我們提出的模型的有效性進(jìn)行驗證，并對各個方法所獲得SR重建圖像分別在主觀方面和客觀方面給出評價.

圖1 測試圖像Fig.1 Test images

4.1 梯度正則化有效性驗證

如圖2所示，圖2(a)為沒有應(yīng)用鄰域回歸正則項獲得的重建圖像的梯度圖，圖2(b)為使用一次鄰域回歸正則項后獲得的重建圖像的梯度圖.為了方便觀察，我們將局部區(qū)域進(jìn)行了放大，從放大區(qū)域我們可以看到圖2(a)中蝴蝶的翅膀邊緣模糊，有明顯的斷裂痕跡，而在圖2(b)中經(jīng)過一次鄰域回歸正則項獲得的重建圖像的梯度更加清晰，斷裂區(qū)域明顯地減少了.由此可見，利用加入鄰域回歸正則項后的SR重建方法能恢復(fù)出更多的圖像邊緣信息.

圖2 使用鄰域回歸正則化前后重建圖像梯度對比Fig.2 Image gradient comparison before and after regularization by neighborhood regression

4.2 實驗結(jié)果對比

本節(jié)將從主觀和客觀兩方面與其余方法比較來證明我們提出方法的有效性.圖3是對圖像Butterfly放大3倍時的視覺圖，圖4是對圖像Parrots放大4倍時的視覺圖.為了方便觀察，我們剪切了局部區(qū)域進(jìn)行放大，從圖中的放大區(qū)域，可以明顯地觀察到其中Bicubic、NRSR方法重建的圖像損失了大量的紋理細(xì)節(jié)、邊緣模糊且含有一定的噪聲，如圖4中鳥眼睛周圍的紋路幾乎無法分辨；EPLL方法重建的圖像光滑區(qū)域仍存在很多噪聲且重建的邊緣存在鋸齒；NCSR、INSR方法重建圖像較EPLL方法質(zhì)量稍有提升，但仍存在邊緣模糊情況；REPS-SR方法對噪聲更具魯棒性可以很好地恢復(fù)出HR圖像，但在消除圖像噪聲的同時也損失了圖像的紋理細(xì)節(jié)；本文方法重建的圖像的邊緣相比于其它方法更為清晰同時也保留了圖像更多的紋理細(xì)節(jié)信息.

圖3 放大倍數(shù)為3，噪聲為8時不同算法對圖像Butterfly重建視覺效果對比Fig.3 Visual comparison samples of different methods on ′Butterfly′ image with a scale factor of 3, noise level of 8

圖4 放大倍數(shù)為4，噪聲為5時不同算法對圖像Parrots重建視覺效果對比Fig.4 Visual comparison samples of different methods on ′Parrots′ image with a scale factor of 4, noise level of 5

為了更好地說明本文方法在重建圖像質(zhì)量方面的優(yōu)越性及對噪聲的魯棒性，我們對前面給出的12幅測試圖像在多種噪聲水平降質(zhì)的情況下進(jìn)行了實驗比較.圖5顯示了當(dāng)噪聲水平逐漸增加時，所有對比方法在對圖像放大3倍的情況下得到的重建結(jié)果的PSNR/SSIM平均值.從圖中可以看出，相比于其他的SR重建方法，我們提出的方法獲得的PSNR是最好的，SSIM指標(biāo)也相對較高，并且在噪聲逐漸增大的時候我們提出的方法下降趨勢更慢.隨著噪聲水平增加，NCSR方法的PSNR和SSIM值比其他方法下降得更快；INSR方法SSIM值下降較快；EPLL方法雖然PSNR一直處于較低水平，但在噪聲增大時SSIM指標(biāo)呈上升趨勢.綜上所述，我們的方法在高噪聲時達(dá)到了較高的PSNR/SSIM值，實驗表明我們的方法在不同噪聲水平下重建效果都優(yōu)于所比較的方法.

圖5 不同方法在不同噪聲水平下圖像放大3倍PSNR/SSIM均值Fig.5 PSNR / SSIM average values of different methods under different noise levels with a scale factor of 3

我們也給出了所對比的幾種方法針對12幅測試圖像在不同放大倍數(shù)和不同噪聲水平下的重建圖像的客觀評價結(jié)果表1、表2和表3分別為放大倍數(shù)為2噪聲水平為10，放大倍數(shù)為3噪聲水平為8，放大倍數(shù)為4噪聲水平為5時的PSNR/SSIM結(jié)果.其中指標(biāo)測定值的最佳結(jié)果以粗體表示，下劃線表示結(jié)果處于第2高，從客觀結(jié)果可以看出我們提出的方法的PSNR/SSIM值在絕大部分情況下相比于其他對比方法效果更好，所有的PSNR和SSIM平均值均高于其他對比方法，這表明了本文提出的方法對邊緣模糊的LR圖像梯度信息重建是有效的.

表1 放大倍數(shù)為2噪聲為10時PSNR/SSIM結(jié)果Table 1 PSNR/SSIM results with a scale factor of 2 and noise level of 10

表2 放大倍數(shù)為3噪聲為8時PSNR/SSIM結(jié)果Table 2 PSNR/SSIM results with a scale factor of 3 and noise level of 8

表3 放大倍數(shù)為4噪聲為5時PSNR/SSIM結(jié)果Table 3 PSNR/SSIM results with a scale factor of 4 and noise level of 5

5 結(jié) 論

本文在自適應(yīng)稀疏表示的基礎(chǔ)上，針對當(dāng)前重建圖像存在邊緣模糊的情況，提出了一種梯度正則化稀疏表示的圖像SR重建算法.該算法在自適應(yīng)稀疏表示SR重建方法的基礎(chǔ)上，為了重建出更多的圖像細(xì)節(jié)信息，結(jié)合鄰域回歸的思想，對評估的HR圖像在HR梯度數(shù)據(jù)集中查找相似的紋理結(jié)構(gòu)來實現(xiàn)清晰紋理細(xì)節(jié)的重建，構(gòu)建一種鄰域回歸的梯度正則化項，以實現(xiàn)增強(qiáng)重建HR圖像的邊緣紋理信息的目的.實驗結(jié)果表明，我們提出的基于梯度正則化的圖像SR重建算法重建結(jié)果優(yōu)于比較的其他方法，能恢復(fù)出更精細(xì)的邊緣信息.