基于稀疏表示與線性回歸的圖像快速超分辨率重建

趙志輝，趙瑞珍，岑翼剛，張鳳珍

(1.北京交通大學 信息科學研究所，北京 100044； 2.北京交通大學 現代信息科學與網絡技術北京市重點實驗室，北京 100044)

基于稀疏表示與線性回歸的圖像快速超分辨率重建

趙志輝，趙瑞珍，岑翼剛，張鳳珍

(1.北京交通大學 信息科學研究所，北京 100044； 2.北京交通大學 現代信息科學與網絡技術北京市重點實驗室，北京 100044)

單幅圖像超分辨率的目的是從一幅低分辨率的圖像來重構出高分辨率的圖像。基于稀疏表示和鄰域嵌入的超分辨率圖像重建方法使得重建圖像質量有了極大的改善。但這些方法還很難應用到實際中，因為其重建圖像的速度太慢或者需要調節復雜的參數。目前大多數的方法在圖像重建的速度和質量兩個方面很難有一個好的權衡。鑒于以上問題提出了一種基于線性回歸的快速圖像超分辨率重建算法，將稀疏表示和回歸的方法有效地結合在一起。通過稀疏表示訓練的字典，用一種新的方式將整個數據集劃分為多個子空間，然后在每一類子空間中獨立地學習高低分辨率圖像之間的映射關系，最后通過選擇相應的投影矩陣來重建出高分辨圖像。實驗結果表明，相比于其他方法，本文提出的算法無論在圖像重建速度還是重建質量方面都取得了更好的超分辨率重建效果。

線性回歸；超分辨率；字典訓練；稀疏表示；圖像重建；特征訓練；子空間；鄰域嵌入

圖像超分辨率(super resolution，SR)[1-4]重建是計算機視覺中一個重要的問題，在醫學成像、安全監控、遙感衛星等領域中起著重要的作用，已經得到了廣泛的應用。通常，圖像超分辨率的任務就是從一幅或多幅低分辨率(low resolution，LR)的輸入圖像來重構出一幅高分辨率(high resolution，HR)的輸出圖像。雖然這是一個病態的問題，但由于應用的需求以及人們研究的興趣，許多方法相繼被提出來解決這個問題。最簡單方法就是利用插值算法，比如最鄰近插值、雙三次線性插值等。雖然這些插值算法運算簡單，復雜度低，但重建的圖像精度不高，邊緣模糊，很難滿足實際應用中圖像的需求。

為了提高圖像重建的質量，更有效的方法是基于學習的方法,利用圖像的統計先驗[5-6]知識或者機器學習(machine learning，ML)[7-9]技術來學習一個從LR圖像塊到HR圖像塊的映射函數。最近比較流行的方法是基于字典或樣本學習的方法。其中表現較好的是基于字典學習的超分辨率重建算法，它通常是建立在稀疏編碼(sparse coding，SC)[10]基礎上的，其假設自然的圖像塊可以通過字典原子的線性組合來稀疏表示。但這些方法由于在重建圖像的時候需要進行一定時間的稀疏編碼，實時性較差。最近，Timofte等[11]在重建階段繞開了稀疏編碼的部分，通過將一個單一的大字典劃分為多個小字典，在保留圖像重建精度的前提下，重建速度有了明顯的改善。

受以上文獻的啟發，本文提出了一種快速重建圖像的模型，在提高圖像重建速度的同時力爭改善圖像的重建質量。在我們的算法中，將字典原子和LR特征之間的相關性作為測量依據，將整個數據集劃分為多個子空間，然后在每一類子空間上獨立地學習高低分辨率圖像之間的映射關系。實驗結果表明，在標準的自然圖像測試集上，我們提出的算法重建的圖像細節更加清晰，效果更好。

1 基于字典對的圖像超分辨率重建

這一部分簡要介紹基于字典對的圖像SR。主要包括基于鄰域嵌入(neighbour embedding，NE)和稀疏編碼(SC)的方法。

1.1 基于鄰域嵌入的超分辨率重建

鄰域嵌入的方法假設LR圖像塊和其對應的HR圖像塊有著相似的局部幾何流形。Chang 等[12]通過使用局部線性嵌入的流形學習方法，將這個假設用于圖像SR。由于在LR和HR的特征空間中，流形被認為有著相似的幾何結構，這也就意味著只要有足夠的樣本，就可以使用在LR特征域中局部近鄰樣本的權重來重建出HR特征域中的圖像塊。

對于在LR特征空間中輸入的一個圖像塊，搜尋訓練集中與其歐氏距離最近的K個圖像塊作為它的鄰域。通過計算一個帶有約束的最小二乘問題得到該鄰域中的樣本表示輸入圖像塊的K個系數權值，然后利用這K個權值和訓練集中HR特征空間對應的K個圖像塊的線性組合即可重建出HR圖像塊。最終將所有的HR圖像塊合并到一起，并且平均相鄰圖像塊重疊區域的像素值得到重建的HR圖像。

1.2 基于稀疏編碼的超分辨率圖像重建

鄰域嵌入的方法需要在整個訓練集中選擇鄰近的圖像塊，當需要提高圖像重建的效果時，訓練集會變得越來越大，計算的復雜度也將越來越高。為了解決這一問題，Yang等[13]通過字典對的學習將稀疏編碼的方法用于圖像SR。假設LR圖像塊和HR圖像塊有相同的稀疏表示系數，在整個訓練集上一起學習高低分辨率字典對，如式(1)：

式中：N和M分別表示HR圖像塊和LR圖像塊的維數；Xh和Yl分別表示訓練樣本中高低分辨率圖像塊；Dh和Dl分別表示高分辨率字典和低分辨率字典；Z是圖像塊對應的稀疏表示系數。對于輸入的LR圖像塊，計算其在字典Dl下相應的稀疏表示系數α。最終利用這個系數α和學習好的字典Dh即可重建出HR圖像塊。

這樣通過稀疏編碼的方式將整個訓練集轉化成固定大小的字典，避免了訓練集變大帶來的困難。Zeyde等[14]在以上框架的基礎上，通過在字典學習過程中進行的幾個重要的修正改善了運行的速度。由于重建圖像時稀疏模型的求解需要消耗一定的時間，所以上述所有基于字典對學習的方法中圖像重建的速度仍然是相對較慢的。

2 快速線性回歸的圖像超分辨率重建

針對以上存在的問題，我們將稀疏表示和回歸的方法結合起來。對于字典訓練，本文用一種新的相關性的聚類方法來替代K-means聚類方法將整個訓練樣本集有效地劃分為多個子空間。同時直接利用LR特征和HR特征之間的關系提出了一種新的線性映射模型，避免了重建過程中稀疏編碼的求解。該算法主要包括兩個階段，分別是訓練階段和重建階段。

2.1 訓練階段

為了僅得到圖像的高頻信息，我們對每一幅HR圖像Xm做如下處理：

以上的回歸問題類似于一個線性最小二乘問題，因此有如下閉式解：

2.2 重建階段

從整個重建的過程中可以看出，同基于稀疏表示字典對的方法相比，我們提出的算法在重建圖像時省去了稀疏編碼的部分，降低了計算的復雜度，提高了圖像SR重建的速度。

2.3 本文算法的整體流程

我們將本文提出的算法稱為快速線性回歸算法(fast linear regression，FLR)。重建算法的訓練階段總結如下。

輸入 訓練集中HR圖像集Xh={X1,X2,…,Xu}和LR圖像集Yl={Y1,Y2,…,Yu}。

由于訓練階段的所有計算過程均可在線下進行，這使得重建階段更加高效。整個算法的重建階段總結如下。

輸出 HR重建圖像X。

3 實驗結果與分析

實驗編程環境為MATLAB 2014，計算機的配置為Inter(R) Core(TM) i5-4460 CPU @3.20 Hz，主頻為3.20 GHz，8 GB內存，windows 7操作系統。

實驗選用比較常用的兩個標準自然圖像測試集，一個是來自參考文獻[16]中包含5幅圖像的Set5測試集，另一個是來自參考文獻[14]中包含14幅圖像的Set14測試集作為整個實驗的測試圖像集。同樣，為了更好地體現與其他參考文獻算法比較的公平性，實驗中我們使用Yang等[13]提出的算法中的91幅圖像作為訓練集圖像，字典的大小同參考文獻[11,14]一樣為1 024列，對LR圖像分別進行2倍和3倍尺度的超分辨率重建。由于人的視覺感知系統對亮度的變化更加敏感，先將彩色圖像轉換到YUV顏色空間，然后僅對亮度信號Y進行放大重建，而其他信號通過簡單的bicubic插值來放大。整個實驗中，我們對比了比較有代表性的基于鄰域嵌入和稀疏表示的算法，以及基于回歸和快速重建的算法。除了主觀的視覺評價外，本文采用峰值信噪比(PSNR)以及圖像重建的運行時間分別評價圖像的重建質量和重建速度。

由于篇幅有限，這里我們只展示2幅圖像通過不同方法進行3倍重建的視覺效果。為了更好地觀察圖像重建的效果，我們對兩幅圖像的局部均進行了放大處理。其中，圖1是對來自于測試集Set 14中像素大小為768×512的Monarch圖像重建的結果，圖2是對來自于測試集Set 5中像素大小為288×288的Bird圖像重建的結果。從圖1和圖2中可以看出，圖(b)bicubic插值方法重建的圖像過于平滑并且存在振鈴效應；圖(c)Yang等[13]的方法在邊緣處有著鋸齒效應；圖(d)Zeyde等[14]與圖(e)ANR[11]的方法相差不多，基本可以保持圖像的邊緣結構，但某些紋理等細節之處仍不是很好；從圖(f)可見本文的FLR方法在重建紋理細節和消除偽邊緣與鋸齒兩方面均取得了不錯的效果，重建的圖像更加清晰邊緣更加銳利，在視覺效果上更接近于原始的HR圖像。

表1定量地展示了不同算法在測試圖像集Set 5和Set 14上針對不同放大因子的平均PSNR和運行時間。相比于其他評價指標[17]，PSNR的值可以更好地代表人的感知效果。而運行時間的快慢是體現算法能否很好地應用到實際中的重要指標。從表1中最后一行的實驗數據可以看出，本文提出的快速線性回歸算法(FLR)要明顯好于基于鄰域嵌入和稀疏表示的算法以及其他方法。其中，圖像的重建質量為29.15 dB，重建時間僅為0.93 s。比基于鄰域嵌入的算法(NE+LLE)[16]PSNR值高0.55 dB，速度快4.2倍；比Zeyde等[14]PSNR值高0.48 dB，速度也要快2.4倍。相比于單獨基于線性回歸(SF)[7]的方法，其實驗結果來自于參考文獻[18]，我們的FLR算法平均PSNR要比其高0.95 dB，由于兩種方法提取的特征不同，我們的算法速度上要快26.4倍之多。和目前最快重建算法之一的ANR[11]相比，本文的方法運行時間與其相差不多，但圖像重建的PSNR要高0.50 dB。另外，同最近提出的卷積神經網(SRCNN)[9]方法相比，它的實驗結果來自于參考文獻[19]，我們的FLR算法PSNR也要高0.15 dB，速度提高5.4倍。值得一提的是，SRCNN需要通過GPU訓練大約72 h，而本文的FLR僅需要花費24 min就可以完成訓練。另外，我們的算法并沒有進行優化，也沒有通過并行計算來加速，這一切都為以后在實際應用中提供了極大的可能性。

圖1 測試集Set 14 Monarch圖像放大3倍的不同方法超分辨結果對比Fig. 1 Comparison of Monarch image from Set 14 with upscaling ×3 for different method

圖2 測試集Set 5 Bird圖像放大3倍的不同方法超分辨結果對比Fig.2 Comparison of Bird image from Set 5 with upscaling ×3 for different method

DatasetNE+LLE[17]Zeyde[14]SF[7]ANR[11]SRCNN[9]FLRfactorPSNR/TimePSNR/TimePSNR/TimePSNR/TimePSNR/TimePSNR/TimeSet5x235.77/4.1935.78/2.4035.63/20.4635.83/0.7336.34/3.0036.58/0.76x331.84/1.9831.90/1.1331.27/11.8931.92/0.4532.393.00/32.60/0.45Set14x231.76/8.8531.81/4.9231.04/39.1131.80/1.5632.18/4.9032.30/1.67x328.60/3.9128.67/2.2728.20/24.5928.65/0.9129.00/5.0029.15/0.93

4 結束語

針對傳統基于稀疏編碼超分辨率算法圖像重建速度慢以及重建效果不理想的問題，我們將稀疏表示和回歸的方法有效地結合在一起，提出了一種快速的線性回歸算法。通過將字典原子作為聚類中心，將字典原子和LR特征的相關性作為測量依據，有效地將整個特征空間劃分為多個子空間，同時學習了一個簡單并且有效的線性映射回歸函數。實驗結果表明，該算法不僅實現了計算復雜度低，運行時間快的目的，而且相比于大多數目前較好的不同算法，圖像的重建質量也有了明顯的改善。

[1]BHAVSAR A V. Range image super-resolution via reconstruction of sparse range data[C]//Proceedings of the 2013 International Conference on Intelligent Systems and Signal Processing. Gujarat, India, 2013: 198-203.

[2]YANG Minchun, WANG Y C F. A self-learning approach to single image super-resolution[J]. IEEE transactions on multimedia, 2013, 15(3): 498-508.

[3]PARK S C, PARK M K, KANG M G. Super-resolution image reconstruction: a technical overview[J]. IEEE signal processing magazine, 2003, 20(3): 21-36.

[4]LI Xin, ORCHARD M T. New edge-directed interpolation[J]. IEEE transactions on image processing, 2001, 10(10): 1521-1527.

[5]FATTAL R. Image upsampling via imposed edge statistics[J]. ACM transactions on graphics (TOG), 2007, 26(3): 95.

[6]FREEMAN W T, JONES T R, PASZTOR E C. Example-based super-resolution[J]. IEEE computer graphics and applications, 2002, 22(2): 56-65.

[7]YANG C Y, YANG M H. Fast direct super-resolution by simple functions[C]//Proceedings of 2013 IEEE International Conference on Computer Vision. Sydney, Australia, 2013: 561-568.

[8]SUN Jian, XU Zongben, SHUM H Y, et al. Image super-resolution using gradient profile prior[C]//Proceedings of 2008 IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, USA, 2008: 1-8.

[9]DONG Chao, LOY C C, HE Kaiming, et al. Learning a deep convolutional network for image super-resolution[M]//FLEET D, PAJDLA T, SCHIELE B, et al. Computer Vision-ECCV 2014. Switzerland: Springer, 2014: 184-199.

[10]OLSHAUSEN B A, FIELD D J. Sparse coding with an overcomplete basis set: a strategy employed by V1[J]. Vision research, 1997, 37(23): 3311-3325.

[11]TIMOFTE R, DE V, VAN GOOL L. Anchored neighborhood regression for fast example-based super-resolution[C]//Proceedings of 2013 IEEE International Conference on Computer Vision. Sydney, Australia, 2013: 1920-1927.

[12]CHANG Hong, YEUNG D Y, XIONG Yimin. Super-resolution through neighbor embedding[C]//Proceedings of the 2004 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC, USA, 2004.

[13]YANG Jianchao, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation[J]. IEEE transactions on image processing, 2010, 19(11): 2861-2873.

[14]ZEYDE R, ELAD M, PROTTER M. On single image scale-up using sparse-representations[M]//BOISSONNAT J D, CHENIN P, COHEN A, et al. Curves and Surfaces. Berlin Heidelberg: Springer, 2012: 711-730.

[15]AHARON M, ELAD M, BRUCKSTEIN A.rmK—SVD: an algorithm for designing overcomplete dictionaries for sparse representation[J]. IEEE transactions on signal processing, 2006, 54(11): 4311-4322.

[16]BEVILACQUA M, ROUMY A, GUILLEMOT C, et al. Low-complexity single-image super-resolution based on nonnegative neighbor embedding[C]//Proceedings of British Machine Vision Conference 2012. Guildford, Surrey, UK, 2012: 1-10.

[17]YANG C Y, MA C, YANG M H. Single-image super-resolution: a benchmark[M]//FLEET D, PAJDLA T, SCHIELE B, et al. Computer Vision-ECCV 2014. Switzerland: Springer, 2014: 372-386.

[18]TIMOFTE R, DE SMET V, VAN GOOL L. A+: adjusted anchored neighborhood regression for fast super-resolution[M]//CREMERS D, REID I, SAITO H, et al. Computer Vision—ACCV 2014. Switzerland: Springer, 2014: 111-126.

[19]SCHULTER S, LEISTNER C, BISCHOF H. Fast and accurate image upscaling with super-resolution forests[C]//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA, 2015: 3791-3799.

Rapid super-resolution image reconstruction based on sparse representation and linear regression

ZHAO Zhihui1,2， ZHAO Ruizhen1,2， CEN Yigang1,2， ZHANG Fengzhen1,2

(1. Institute of Information Science, Beijing Jiaotong University, Beijing 100044, China; 2. Beijing Key Laboratory of Advanced Information Science and Network Technology, Beijing Jiaotong University, Beijing 100044, China)

Single-image super-resolution aims at reconstructing a high-resolution image from a single low-resolution image. Recent methods relying on both neighborhood embedding and sparse coding have led to significant quality improvements. However, the application of these approaches is still practically difficult because they are either too slow or demand tedious parameter tweaks. In most of these methods, the speed and quality of image reconstruction are the two aspects that cannot be balanced easily. With regard to the abovementioned problems, this research proposed a rapid image super-resolution reconstruction algorithm based on linear regression, which effectively combined the sparse representation with the regression method. First, a dictionary was trained using the K-SVD algorithm based on training samples. Subsequently, the entire dataset was divided into a number of subspaces according to the atoms in the dictionary. Moreover, the mapping from low-to-high-resolution images can be independently obtained for each subspace. Finally, the high-resolution image was reconstructed by selecting the corresponding projection matrix. Experimental results demonstrate that both the image reconstruction quality and the speed of the proposed algorithm performed better than other widely used methods.

linear regression; super-resolution; dictionary learning; sparse representation; image reconstruction; feature learning; subspace; neighborhood embedding

趙志輝，男，1990年生，碩士研究生，主要研究方向為稀疏表示與圖像超分辨率。

趙瑞珍，男，1975年生，教授，博士生導師，博士，主要研究方向為圖像與信號處理算法、壓縮感知與稀疏表示、信息感知域智能信息處理。主持參與國家自然科學基金、教育部新世紀優秀人才支持計劃、“863”計劃等多項項目。

岑翼剛，男，1978年生，教授，博士生導師，博士，主要研究方向為小波分析、壓縮感知、圖像處理。發表學術論文40余篇。

10.11992/tis.201603039

http://kns.cnki.net/kcms/detail/23.1538.TP.20170227.1800.010.html

2016-03-19.

日期：2017-02-27.

國家自然科學基金項目(61272028, 61572067)；國家“863”計劃項目(2014AA015202)；廣東省自然科學基金項目(2016A030313708)；北京市自然科學基金項目(4162050).

岑翼剛. E-mail：ygcen@bjtu.edu.cn.

TP391.41

A

1673-4785(2017)01-0008-07

趙志輝，趙瑞珍，岑翼剛，等. 基于稀疏表示與線性回歸的圖像快速超分辨率重建[J]. 智能系統學報， 2017, 12(1): 8-14.

英文引用格式：ZHAO Zhihui， ZHAO Ruizhen， CEN Yigang， et al. Rapid super-resolution image reconstruction based on sparse representation and linear regression[J]. CAAI transactions on intelligent systems, 2017, 12(1): 8-14.