基于稀疏表示的單幀超分辨率算法

王馨悅，辛志薇（四川大學(xué)計(jì)算機(jī)學(xué)院，成都　610000）

基于稀疏表示的單幀超分辨率算法

王馨悅，辛志薇
（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610000）

超分辨；稀疏表示；圖像金字塔；Lab顏色空間

0　引言

圖像超分辨率 （Super Resolution，SR）是指從一幅低分辨率圖像（Low Resolution，LR）或者一組低分辨圖像序列中重構(gòu)出高分辨率圖像（High Resolution，HR）。高分辨率圖像不僅能帶給人們更好的視覺享受 （因?yàn)榉直媛试礁撸?xì)節(jié)信息越豐富），還在很多領(lǐng)域有著至關(guān)重要的作用。如：醫(yī)學(xué)領(lǐng)域，更高分辨率的圖像能幫助醫(yī)生更好地判斷病人的病情。一般而言，單幅圖像的超分辨率要獲得更好的重建效果就需要依賴先驗(yàn)知識，而基于圖像序列的超分辨率重建則更多的根據(jù)圖像降質(zhì)模型和多幅低分辨圖像序列間存在的差異信息估計(jì)出圖像的高頻細(xì)節(jié)信息。也因此，這些圖像序列需要是關(guān)于同一場景且存在亞像素等級上的差異。通常，將超分辨率重建算法分為三類:基于插值的方法、基于重建的方法和基于學(xué)習(xí)的方法。

基于插值的算法（如Bicubic插值［1］等）采用某種數(shù)學(xué)模型擬合數(shù)據(jù)，以其選中像素點(diǎn)的值結(jié)合相應(yīng)數(shù)學(xué)公式估計(jì)出待插入位置的像素值。這類算法實(shí)現(xiàn)簡單，能符合實(shí)時(shí)應(yīng)用的需求。但其重建效果只有在超分辨提高因子較小時(shí)比較好。因?yàn)槠湮蠢萌魏蜗闰?yàn)知識，其重建圖像中易產(chǎn)生模糊的邊緣。基于重建的方法將圖像超分辨問題看作是一個(gè)逆轉(zhuǎn)化問題，利用多幀圖像和一系列的先驗(yàn)知識完成圖像重建，如文獻(xiàn)[2]。這類算法可以重建出較好的邊緣。而現(xiàn)實(shí)生活中，很難得到足夠的低分辨圖像，且這類算法可利用的知識有限，所以其重建效果只有在超分辨提高因子在2以下的時(shí)候才能有較好的重建效果。基于學(xué)習(xí)的方法使用訓(xùn)練后的模型來預(yù)測低分辨圖像中丟失的高頻信息，通常采用高低分辨率圖像塊對作為訓(xùn)練數(shù)據(jù)，以期望得到高低分辨率圖像間的映射關(guān)系。代表方法有Freeman等［3］提出的方法、Chang等［4］提出的方法和Yang等［5］提出的方法。他們分別應(yīng)用了馬爾可夫隨機(jī)場、局部線性嵌入規(guī)則和稀疏表達(dá)（Sparse Representation，SR）。文獻(xiàn)[3]中的方法雖然能得到較好的重建效果，但卻需要大量的訓(xùn)練樣本。這就使得該方法的計(jì)算時(shí)長很長。而文獻(xiàn)[4]在流型學(xué)習(xí)中利用局部線性嵌入規(guī)則，減少了訓(xùn)練時(shí)所需的樣本，大大減少了算法時(shí)間。但因其通過線性組合固定數(shù)目的近鄰塊來完成高分辨圖像塊的重建，使得重建結(jié)果易產(chǎn)生欠擬合或過擬合現(xiàn)象。Yang等［5］提出的基于SR的超分辨算法則克服了前兩個(gè)方法的缺點(diǎn)，利用稀疏表示系數(shù)自適應(yīng)地選擇最相近的字典原子完成重建。但該方法的耗時(shí)依然過長。它與傳統(tǒng)的基于學(xué)習(xí)的超分辨率算法一樣，對訓(xùn)練圖像庫的依賴性大。一旦待重建圖像與訓(xùn)練庫中的樣本相差過大，重建圖像的質(zhì)量就會(huì)急劇下降。

針對這些問題，本文提出一種基于稀疏表示的單幀圖像超分辨率算法。即，在稀疏表示的基礎(chǔ)上，利用低分辨率圖像自身訓(xùn)練得到高低分辨率塊之間的對應(yīng)關(guān)系，以提高整個(gè)算法的自適應(yīng)性。同時(shí)利用不同尺度間存在的重復(fù)塊訓(xùn)練字典，以得到一個(gè)更緊湊的字典。此外，在彩色圖像的超分辨重建中，現(xiàn)存的方法大都是將RGB轉(zhuǎn)到Y(jié)CbCr（如文獻(xiàn)[5]采用的就是該方法）下，對亮度通道進(jìn)行重建，其他通道進(jìn)行簡單的插值處理。而對不同通道進(jìn)行不同的操作是會(huì)降低圖像一致性的。因此，利用Lab顏色空間的特點(diǎn)來避免這一操作對圖像一致性造成的影響。

實(shí)驗(yàn)結(jié)果表明，較傳統(tǒng)的基于學(xué)習(xí)的方法而言，該種算法獲得的超分辨率圖像視覺效果更好，峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）也更高。

1　基于稀疏表示的圖像超分辨率

設(shè)輸入的單張低分辨率圖像為X，超分辨率算法的目的是根據(jù)超分辨率提高因子k，恢復(fù)其高分辨率圖像Y。根據(jù)超分辨率學(xué)習(xí)算法的基本思想，首先需要訓(xùn)練得出高、低分辨率圖像塊之間的對應(yīng)關(guān)系，建立稀疏字典對。本文相應(yīng)的學(xué)習(xí)方法在2.2節(jié)詳細(xì)講述。

然后通過上述建立好的高、低字典庫來重建高分辨圖像。假設(shè)同一圖像的不同分辨率圖像在高、低字典庫中的稀疏表示相同，只要求出低分辨率圖像X在低分辨率字典庫中的稀疏系數(shù)，在應(yīng)用于高分辨率字典庫即可完成重建工作。即：

其中:x為低分辨圖像X中的任意圖像塊，α為關(guān)于字典DL的稀疏表示，ε是非常小的正數(shù)。再由式（1）求得的α到高分辨字典DH中選擇相應(yīng)的原子，通過線性組合完成重建。

2　本文算法

2.1字典的建立

利用圖像的自相似性，本文提出采用圖像自身獲得訓(xùn)練樣本。由式（2）得到Hi，其中H0表示原低分辨率圖像X，B表示高斯核，↓s表示下采樣操作，尺度因子為s。再由式（3）對Hi各層抽取低頻信息，得到低分辨率金字塔GL（X）。其中L表示一個(gè)低頻信息抽取造作，本文利用的Gaussian濾波器，以避免振鈴現(xiàn)象。

接著由式（4）得到高分辨率金字塔GH（X），包含了圖像的高頻信息。

低分辨率字典DL所需樣本由GL（X）的圖像塊5×5構(gòu)成，而對應(yīng)的高分辨率字典DH的樣本由Hi中的圖像塊5k×5k構(gòu)成。每個(gè)圖像塊的提取按光柵掃描順序，相鄰塊間不含重疊區(qū)域。高分辨率字典和低分辨率字典中的圖像塊大小差了k倍。

2.2字典對的學(xué)習(xí)

由[6]可得不同尺度間存在重復(fù)塊，用它們訓(xùn)練字典。對于H0中的任意一塊x，按照高斯加權(quán)距離度量，找到其在Hi中存在的重復(fù)塊P1，P2，…，Pn，n為x在Hi中找到的重復(fù)塊的總數(shù)。按照降層的逆操作，找到Pi在H0中對應(yīng)的圖像塊，記為，，…，。依次將P1與配對，P2與配對，…，Pn與配對，行成用于訓(xùn)練的高、低分辨率圖像塊對。重復(fù)多次上述操作（隨機(jī)抽取H0中的塊，實(shí)驗(yàn)中只抽取了H0中塊總數(shù)的20%）組成最終的訓(xùn)練數(shù)據(jù)。利用文獻(xiàn)[5]中訓(xùn)練字典對的方法，如式（5）所示。

其中：N和M分別為高、低分辨率圖像塊的向量形式的維度，‖Z‖1項(xiàng)用于增強(qiáng)稀疏性。

2.3超分表率圖像重建

由于Lab顏色空間中三個(gè)通道間沒有相關(guān)性，故在該種顏色空間下對不同通道進(jìn)行的不同操作，亮度通道進(jìn)行重建，其他通道進(jìn)行簡單插值，不會(huì)引起圖像一致性的退化。故，選擇在該顏色空間下完成圖像重建操作。本文使用式（6）進(jìn)行變換［7］。

圖1　不同尺度的放大圖像

式（6）中的轉(zhuǎn)換矩陣是一個(gè)可逆矩陣，因此，很方便地便能從Lab空間再次轉(zhuǎn)回到RGB空間。

重建步驟如下：①利用字典得出重建的高分辨率塊YH，方法如第一節(jié)所示；②將原LR圖利用Bicubic插值法放大k倍，得到Y(jié)L；③將YH附加到Y(jié)L得到Y(jié)；④對Y進(jìn)行BP（Back-Projection）操作得到最終的超分辨率圖像。之所以進(jìn)行BP操作，一方面是為了加強(qiáng)重建圖像和輸入圖像間的一致性，另一方面是為了彌補(bǔ)由采樣時(shí)塊與塊間沒有重疊區(qū)域而造成的相鄰塊間一致性的缺失而引入的不必要的噪音，因其能有效地保有相鄰塊間的一致性。

3　實(shí)驗(yàn)結(jié)果和分析

為驗(yàn)證算法的有效性，選用一些圖片：face、girl和butterfly分別進(jìn)行尺度放大2倍、3倍和4倍的仿真實(shí)驗(yàn)。實(shí)驗(yàn)效果如圖1所示。

將本文算法與Bicubic插值、Yang等[5]的方法相比。從視覺角度看，圖2中的Bicubic算法結(jié)果細(xì)節(jié)相對模糊；Yang算法較前者有明顯改進(jìn)，但丟失了一些細(xì)節(jié)信息；本文算法所產(chǎn)生的圖像則顯示了更多的細(xì)節(jié)。

為了進(jìn)一步驗(yàn)證本文算法，采用所得結(jié)果圖像的PSNR進(jìn)行客觀評價(jià)。一般而言PSNR值越大，算法所得圖像質(zhì)量越好。本文算法與其他算法的PSNR結(jié)果如表1，可以看出本文方法的PSNR值相對于其他方法有不同程度的提高。

表1　不同超分辨率算法所得結(jié)果RPSNR對比dB

4　結(jié)語

針對單幀圖像的超分辨率重建問題，本文在稀疏表示的超分辨率模型基礎(chǔ)上，提出利用金字塔結(jié)構(gòu)以低分辨率圖像自身建立高、低分辨率字典，并利用不同尺度間存在的重復(fù)塊訓(xùn)練字典。同時(shí)，在Lab顏色空間重建，所得圖像保持了顏色通道的一致性。實(shí)驗(yàn)結(jié)果表明，本文所提出的方法能獲得更好的重建效果。

[1]KEYS R G.Cubic Convolution Interpolation for Digital Image Processing[J].IEEE Transactions on Acoustics,Speech,and Signal Processing,1981,29(6):1153-1160．

[2]M Irani，S Peleg.Improving Resolution by Image Registration[J]．CVGIP：Graphical Models and Image Proc．，1991，53(5)：231-239．

[3]Freeman W T,Pasztor E C,Carmichael O T.Learning Low-Level Vision[J].International Journal of Computer Vision,2000,40(1):25-47.

[4]CHANG H,YEUNG D-Y,XIONG Y-M.Super-Resolution through Neighbor Embedding[C]Washington,DC:IEEE Computer SocietyConference on Computer Vision and Pattern Recognition,2004:275-282.

[5]YANG J C,WRIGHT J,HUANG T S,et al.Image Super-Resolution Via Sparse Representation[J].IEEE Transactions on Image Processing,2010,19(11):2861-2873.

[6]Daniel Glasner,Shai Bagon,Michal Irani.Super-Resolution from a Single Image[C].Kyoto:ICCV,2009:349-356.

[7]NING Q,CHEN K,YI L,et al.Image Super-Resolution Via Analysis Sparse Prior[J].Signal Processing Letters,2013,20(4):399-402.

Super Resolution;Sparse Representation;Image Pyramid;Lab Color Space

A Single Image Super-Resolution Slgorithm Based on Sparse Representation

WANG Xin-yue，XIN Zhi-wei
（College of Computer Science,Sichuan University，Chengdu 610000）

王馨悅（1990-），女，四川成都人，研究生，研究方向?yàn)閳D像超分辨

2016-01-12

2016-02-22

目前的基于學(xué)習(xí)的超分辨率算法大都存在一個(gè)問題：圖像與樣本庫差異較大，超分辨的結(jié)果就會(huì)變得很差。為此提出一種基于稀疏表示的單幀超分辨率算法，使用圖像金字塔建立字典。同時(shí)，利用不同尺度間存在的重復(fù)塊訓(xùn)練字典。對于彩色圖像，為避免由顏色通道相關(guān)性而造成的重建圖像質(zhì)量的下降，在Lab顏色空間對彩色圖像進(jìn)行重建。實(shí)驗(yàn)結(jié)果表明，該算法可獲得更好的視覺效果和更高的峰值信噪比。

辛志薇（1990-），女，研究生，研究方向?yàn)榫W(wǎng)絡(luò)與安全

At present,most of the super resolution algorithms based on the learning method have a problem,once the image is different from the sample library,the super resolution will become very poor.Proposes an improved method based on sparse representation,uses image Pyramid to build dictionary.At the same time,the repetitive patches across different image scales are used to learn dictionary.For color image,in order to avoid the degradation of the reconstructed image quality caused by the color channel's correlation,the color image is reconstructed by the Lab color space.Experimental results show that the proposed algorithm can obtain better visual effect and higher peak signal to noise ratio.