改進(jìn)的稀疏表示超分辨率圖像重建

廖成 郭心悅 韓彥芳

摘 要：為了能從單幅低分辨率圖像中利用超分辨率技術(shù)重建出高分辨率圖像，提出一種基于稀疏表示的改進(jìn)算法。首先求出在低分辨率圖像過完備字典上的稀疏表示系數(shù)，將稀疏表示系數(shù)與高分辨率圖像的過完備字典相結(jié)合，得到高分辨率圖像塊，再聯(lián)合輸入的低分辨率圖像塊與生成的高分辨率圖像塊，求解出其在高低分辨率字典對(duì)上的稀疏系數(shù)，最后結(jié)合高分辨率圖像字典，得到更加精確的高分辨率圖像塊。經(jīng)仿真實(shí)驗(yàn)驗(yàn)證，該改進(jìn)方法有效提升了重建圖像質(zhì)量，增強(qiáng)了重建圖像的還原度。

關(guān)鍵詞：稀疏表示;超分辨率;圖像重建;高低分辨率圖像塊;稀疏系數(shù)

DOI：10. 11907/rjdk. 181745

中圖分類號(hào)：TP317.4文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1672-7800（2019）002-0137-04

Abstract： In order to reconstruct high-resolution images from single low-resolution images， we proposed an improved algorithm based on sparse representation. we solved the low resolution images' sparse representation coefficients on the complete dictionary and combined with high resolution images of the complete dictionary to get high resolution image patches by the sparse linear combination of the dictionary through jointing input low-resolution image and generated new high-image patches， and then used the sparse coefficients combined with the dictionary and outputed more accurate high-resolution image patches. The results of simulation experiments show that the improved algorithm is effective to improve the quality of the reconstruction of high-resolution image.

Key Words：sparse representation;super-resolution; image reconstruction; high and low resolution image patches; sparse coefficient

0 引言

圖像超分辨率重構(gòu)一直是數(shù)字圖像處理領(lǐng)域的研究熱點(diǎn)之一。提高圖像質(zhì)量一般有兩種方法，一是改善硬件設(shè)備，二是圖像超分辨率重建技術(shù)（Super_Resolution Reconstrction，SSR）。通過硬件設(shè)備提升圖像質(zhì)量，將大幅提高成本，且不易實(shí)現(xiàn)。因此，通常利用超分辨率重建技術(shù)獲取細(xì)節(jié)更加豐富的高分辨率圖像[1]。

20世紀(jì)60年代，Harris等首次提出圖像超分辨率重建概念;20世紀(jì)80年代，Tsai & Huang[2]從單幅低分辨率圖像（Low Resolution，LR）中重建出高分辨率圖像（High Resolution，HR）;1996年，Olshausen等[3]在《Nature》上提出自然圖像具有稀疏性的本質(zhì)。經(jīng)過幾十年的發(fā)展，目前圖像超分辨率重建技術(shù)大致可分為基于重構(gòu)[4]的方法與基于學(xué)習(xí)的方法兩大類。基于重構(gòu)的方法主要包含凸集投影法[5]、非均勻插值法[6]、迭代反投影法[7]、領(lǐng)域嵌入法[8]與正則化方法[9-10]等。Freeman等[11-12]最早提出基于學(xué)習(xí)的重建方法。在以信號(hào)稀疏表示模型為基礎(chǔ)的壓縮感知（CS，Compressive Sensing）理論[13]提出后，Yang[14]將該理論應(yīng)用到圖像重建中，利用LR與HR圖像在對(duì)應(yīng)的過完備字典下具有相同稀疏性的特征，達(dá)到重建高分辨率圖像的目的。

Yang的方法雖然有效提高了重建后的HR圖像質(zhì)量，但其未聯(lián)合HR與LR圖像塊對(duì)稀疏系數(shù)進(jìn)行求解，在算法上未能保持一致。因此，本文在Yang算法基礎(chǔ)上進(jìn)行改進(jìn)，聯(lián)合輸入的LR圖像塊與重建的HR圖像塊在對(duì)應(yīng)的字典上求解稀疏系數(shù)，再將得到的稀疏系數(shù)與HR圖像字典相結(jié)合，得到最終輸出的HR圖像塊。本文對(duì)單幅低分辨率圖像進(jìn)行超分辨率重建，與Yang[15]的方法相比，本文方法進(jìn)一步提升了重建圖像質(zhì)量。

1 稀疏表示的重建模型

通常情況下，得到的圖像都是經(jīng)過光學(xué)降質(zhì)而來的。假設(shè)[Yh]表示一幅高分辨率HR圖像，LR圖像[Yl]則是通過光學(xué)降質(zhì)處理得到的[16]，其表達(dá)式為：

2 聯(lián)合字典訓(xùn)練

在式（15）中，N和M分別表示高、低分辨率圖像塊向量形式的維度。

輸入LR和HR圖像樣本集，再通過上述方法，利用稀疏編碼進(jìn)行字典訓(xùn)練，最終可得到高低分辨率字典[Dh]和[Dl]。

3 算法改進(jìn)

其中，N、M分別表示高低分辨率圖像塊向量形式的維度。

本文算法流程如下：①先使用雙三次插值法（Bicubic? Interpolation）將LR圖像[Yl]放大，得到圖像[Y？l]。取圖像塊[y？l]，并計(jì)算出像素均值m;②對(duì)式（10）使用特征查找法進(jìn)行求解，得到圖像塊[y？l]在LR圖像過完備字典[Dl]上的稀疏系數(shù)，再將α帶入式（4），便可得到HR圖像塊[yh];③聯(lián)合HR圖像塊[yh]與LR圖像塊[y？l]得到[YR]，再用正交匹配法求解[YR]在字典[DR]上的稀疏系數(shù)[α*];④用[α*]與字典[Dh]結(jié)合，得到最終的HR圖像塊，[y？=Dhα*+m]。

4 實(shí)驗(yàn)結(jié)果及分析

式（20）中，[u]為圖像均值，[σ]是圖像方差或協(xié)方差，[c1]和[c2]為確保分母不為零的常數(shù)。SSIM的數(shù)值越大（最大值是1），表明重建圖像與輸入圖像越接近。本文實(shí)驗(yàn)仿真計(jì)算在Matlab2016b下進(jìn)行。

本次實(shí)驗(yàn)采用Lena、Child等圖像，比較分別用3種不同方法對(duì)圖像進(jìn)行兩倍放大后的圖像質(zhì)量，本文使用的字典訓(xùn)練庫與Yang所用的相同，重建后的圖像效果如圖（1）-圖（4）所示，重建圖像的PSNR與SSIM值如表1所示。

由表1可以看出，本文算法獲得的重構(gòu)圖像有最大的峰值信噪比與最大的結(jié)構(gòu)相似度。結(jié)合表1與文獻(xiàn)[21]可知，在3種算法對(duì)圖像質(zhì)量的數(shù)學(xué)標(biāo)注方面，本文算法最優(yōu)。

5 結(jié)語

本文對(duì)Yang算法進(jìn)行了改進(jìn)，通過聯(lián)合輸入的低分辨率圖像塊與對(duì)應(yīng)生成的高分辨率圖像塊，求解其在高低分辨率字典對(duì)上的稀疏表示系數(shù)，再將系數(shù)與高分辨率字典結(jié)合，得到更精確的高分辨率圖像塊，從而改善使得到的重構(gòu)高分辨率圖像質(zhì)量。

參考文獻(xiàn)：

[1] 張良培，沈煥鋒，張洪艷，等. 圖像超分辨率重建[M]. 北京： 科學(xué)出版社，2012.

[2] TSAIRY，HUANG T S. Multi-frame image restoration and registration[J]. Advances in Computer Vision and Image Processing，1984（2）：317-339.

[3] OLSHAUSEN B A，F(xiàn)IELD D J. Emergence of simple-cell receptive field properties by learning a sparse code for natural images[J]. Nature， 1996，381（6583）： 607-609.

[4] PARK S，PARK M，KANG M. Super-resolution image reconstruction： a technical overview[J]. IEEE Signal Processing Magazine，2003，20（3）：21-36.

[5] STARK H，OSKOUI P. High resolution image recovery from image plane arrays， using convex projections[J]. Opt Soc Am A，1989，6（11）：1715-1726.

[6] HOU H S，ANDREWS H C. Cubic spline for image interpolation and digital filtering[J]. IEEE Transaction on Signal Pressing，1978，26（6）：508 -517.

[7] IRANI M，PELEG S. Improving resolution by image registration[J]. CVGIP：Graphical Models and Image Processing，1991，53（3）：231-239.

[8] CHANG H，YEUNG D，XIONG Y. Super-resolution through neighbor embedding[C]. Proceedings of IEEE Conference of CVPR，2004： 275-282.

[9] NGUYEN N，MILANFAR P，GOLUB G. A computationally efficient superresolution image reconstruction algorithm[J]. IEEE Transactions on Image Processing，2002，10（4）：573-583.

[10] HARDIE R C，BARNARD，ARMSTRONG K J，et al. Joint MAP registration and high-resolution image estimation using a sequence of under-sampled images[J]. IEEE Transactions Image Processing，1997，6（12）：1621-1633.

[11] FREEMAN W T，PASZTOR E C，CARMICHAEL O T. Learning low-level vision[J].? Int'l Journal of Computer Vision，2000，40（1）：25-47.

[12] FREEMAN W T， JONES T R， PASZTOR E C. Example-based super-resolution[J]. Computer Graphics & Applications IEEE，2002， 22（2）：56-65.

[13] DONOHO D L.Compressed sensing[J]. IEEE Transaction on Information Theory，2004， 54（4）： 1289-1306.

[14] YANG J，WRIGHT J，HUANG T，et al. Image super-resolution as sparse representation of raw image patches[C]. IEEE Conference on Computer Vision and Pattern Recognition，2008：1-8.

[15] YANG J C，WRIGHT J，MA Y. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing，2010，19（11）：2861-2873.

[16] 葛廣重，楊敏. 基于稀疏表示的單幅圖像超分辨率重建[J]. 計(jì)算機(jī)技術(shù)與發(fā)展，2013，23（9）：103-106.

[17] AMALDI E， KANN V. On the approximability of minimizing nonzero variables or unsatisfied relations in linear systems[J]. Theoretical Computer Science，1998，209（1-2）：237-260.

[18] DONOHO DL. For most large underdetermined systems of equations， the minimal l1-norm near-solution approximates the sparsest near-solution[J]. Communications on Pure and Applied Mathematics， 2006，59（7）：907-934.

[19] DONOHO D L.For most large underdetermined systems of linear equations， the minimal l1-norm solution is also the sparsest solution[J]. Communications on Pure and Applied Mathematics，2006，59（6）：797-829.

[20] WANG Z，BOVIK A C，SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity[J]. IEEE Transaction on Image Processing，2004，13（4）：600-612.

（責(zé)任編輯：黃 健）