基于改進的特征提取方法和稀疏表示的單幅圖像超分辨率重建算法

王亞輝，賈媛媛，何中市

（重慶大學計算機學院，重慶 400044）

基于改進的特征提取方法和稀疏表示的單幅圖像超分辨率重建算法

王亞輝，賈媛媛，何中市

（重慶大學計算機學院，重慶 400044）

為了改善單幅圖像的超分辨率重建效果，在基于過完備字典圖像的超分辨率重構算法的架構上，應用改進的高斯Laplace算子來提取低頻圖像的特征，應用于圖像重建。該算子主要用于在重建圖像的預處理階段，有效地提取各個方向的邊緣特征，既不會造成漏檢，也不會加重噪聲。實驗表明，與現有的幾類算法相比較，使用該算子提取特征后，重建圖像的效果無論在峰值信噪比還是結相似性都有所提高。

圖像的超分辨重建；過完備字典；高斯Laplace

0 引言

圖像的超分辨重建是利用一幅或多幅低分辨圖像構建出高分辨圖像的技術[1]。圖像的超分辨重建技術廣泛應用于遠程監控、軍事偵察、醫療圖像等領域，有廣闊的前景。因此，近三十來，超分辨率重建技術引起了圖像處理界的廣泛關注。目前主流圖像的超分辨率重建方法主要分為三大類。第一類是基于插值[2-3]的方法：主要是通過臨近的像素點進行加權來預估插值點的像素，這類算法的復雜度較低，試用于簡單的場景，但是在圖像的邊緣會產生顯而易見的偽影；第二類是基于重建[4-7]的方法：這類方法集中探索重建圖像的先驗知識和約束項，與第一類算法相比，能夠得到清晰的圖像，但當重建尺度較大時不能得到較好的邊緣細節；第三類是基于學習的方法：這類方法的觀點主要是估計高分辨率圖像（HR，High Resolution）和低分辨率圖像（LR，Low Resolution）中圖像塊之間的映射關系。Freeman[8]等人首先提出了一個馬爾科夫隨機場模型來學習HR和LR之間的關系，但是需要大量的HR和LR的圖像塊，算法的復雜度非常高。Dong[9]等人采用卷積神經網絡直接對高分辨率圖像和低分辨率圖像進行端到端的學習。目前研究的主要熱點集中于由Yang[10-12]等人在2008年提出的基于稀疏表示的圖像的超分辨重建技術。這種技術基于壓縮感知理論，假定圖像塊能夠由字典中的少數原子線性表示。根據這種思想，Yang等人提出首先基于訓練集合分別學習高、低分辨率過完備字典，然后根據低分辨率過完備字典對LR圖像塊稀疏表示，最后利用稀疏系數和高分辨過完備字典重建HR圖像塊。這類方法有較好的自適應性，圖像重建效果也令人滿意。但字典訓練過程中的特征標志搜索算法速度過于緩慢，一般需要三四個小時。Elad[13]等人在Yang的基于稀疏表示的超分辨率重建算法框架上進行了一些有效的改進，字典訓練采用了K-SVD[14]（KSingular Value Decomposition）算法，并且運用主成分分析法（PCA，Principal Component Analysis）對圖像特征降維，稀疏表示采用OMP[15]（Orthogonal Matching Pursuit）算法。這些方法的使用大量地減少了字典的訓練時間，降低了整個算法的時間復雜度，同時提高了重建圖像的質量。但是該算法特征提取方法過于簡單，沒有充分利用圖像的先驗特征。針對該問題，本文在Elad等人基于稀疏表示圖像超分辨重建算法框架上，認真對比了對圖像塊特征提取的方法，采用了高斯平滑的拉普拉斯算子，更有效地提取邊緣高頻特征，充分利用圖像的先驗特征，從而提高了重建圖像的質量。

1 基于稀疏表示單幅圖像的超分辨重建

高分辨率圖像的降質表達式如下（1）所示：

其中，yh，yl∈RNh，H是和S分別是對yh進行低通濾波和向下采樣，Q是對低分辨率圖像進行插值，使其尺寸大小與高分辨圖像的尺寸大小一致，v是高斯噪聲，服從v～N（0，σ2I）。

單幅圖像的分辨率重建問題可描述為給定一幅低分辨率圖像yl，重建成同一場景下較高分辨率圖像yh。

單幅圖像的超分辨率重建問題可表示為：

該問題為病態反問題，即不存在唯一解，因此需要引入正則項，將病態反問題轉換為適定問題。即：

其中R（yh）為正則項，基于稀疏表示的超分辨率重建算法引入圖像的稀疏和冗余特征作為正則項，即：

1.1 訓練階段

（4）使用K-SVD訓練低分辨率圖像塊的字典Al。

（5）構建與Al相對應的高分辨率圖像塊的字典Ah。

1.2 重建階段

（1）給定一個測試的低分辨圖像zl，插值得到與目標大小相同的需要重建的低分辨率圖像yl，并對yl進行與訓練階段一樣的預處理。

（4）將重建好的高分辨圖像塊合并成最終的高分辨圖像yh。

2 改進的高斯Laplace特征提取

文獻[13]對低分辨率圖像塊進行特征提取，使用的高通濾波器為梯度算子和Laplace算子：

Laplace算子是二階導數的算子，有很好的各項同性，具有位移不變性和旋轉不變性的特點；但丟失了邊緣的方向信息，并且加重了噪聲。經典的高斯Laplace算子采用高斯濾波和Laplace銳化濾波結合起來，先用高斯平滑噪聲，再采用Laplace進行銳化，可以得到優于Laplace的效果。故本文采用了一種改進的高斯Laplace算子用來提取圖像的高頻特征，再應用于整個圖像重建過程中。

文獻[16]中提出了一種改進的高斯Laplace算子，如下（6）所示：

整個Laplace模板[16]在16個方向上都有不同的向量權重，而且不同方向上的權重不同，而同方向權重相等；整個模板沒有零點，保證了16個方向都能檢測到邊緣特征，既不會造成漏檢，也不會加重噪聲。

3 實驗結果

本次實驗采用與文獻[13]一致的參數，將低分辨率圖像重建為3倍大小的高分辨圖像，K-SVD的迭代次數為40，訓練字典的原子為1000，圖像塊的大小為[9 9]。將Bicubic插值算法、文獻[11]和文獻[13]提出的算法和本文采用算法的重建結果進行了對比。主要采用峰值信噪比（PSNR）和結構相似度（SSIM）兩個度量標準，其計算方法如公式（7）（8）所示

其中，M和N代表x和y的維數，μx和μy是均值，σx和σy代表方差，σxy代表x和y之間的協方差。PSNR的值越高，SSIM越接近于1，代表重建效果越好。

圖1展示了圖像Comics四種方法重建結果。從圖一中可以看出，使用插值方法處理的圖像比較平滑，導致圖像模糊，邊緣鋸齒明顯，偽影嚴重。與文獻[11]和文獻[13]方法對比，本文的方法在臉部邊緣的輪廓的清晰度度上略勝一籌，從Comics圖像的右邊脖子中可以看出，邊緣清晰，顏色較統一，均勻，較少出現偽影。

表1和表2分別是用四種方法對10幅圖像進行重建結果的PSNR和SSIM值展示，可以看出，應用本文方法重建的圖像，優于其他三種方法的PSNR和SSIM值。例如Comics圖像的重建效果，PSNR結果是Bicubic的最差，為23.3，文獻[11]和文獻[13]比Bicubic要顯著好的多，分別是23.9和24.0，本文的方法是24.2。對于SSIM結果的對比依舊是Bicubic方法最差，為0.691，文獻[11]和文獻[13]和本文的方法對比結果遞增，分別為0.747、0.750和0.753。

圖1 圖片Comics四種方法重建的結果

表1 四種方法對10幅圖像重建結果的PSNR

表2 四種方法對10幅圖像重建結果的SSIM

4 結語

本文在基于稀疏表示的圖像超分辨重建算法的框架上，采用了高斯Laplace算子對圖像提取高頻特征，用于圖像重建。實驗結果表明，無論是從感官上還是從實現數據的統計上表明，本文方法都是要優于傳統的插值算法，以及文獻[11]和文獻[13]兩種基于稀疏表示的SR算法，同時也證明了本文的改進是有效的。

[1]沈煥鋒，李平湘，張良培，等.圖像超分辨率重建技術與方法綜述[J].光學技術，2009，35（2）：194-199.

[2]Hou H，Andrews H.Cubic Splines for Image Interpolation and Digital Filtering[J].IEEE Transactions on Acoustics，Speech，and Signal Processing，1978，26（6）:508-517.

[3]Keys R.Cubic Convolution Interpolation for Digital Image Processing[J].IEEE Transactions on Acoustics，Speech，and Signal Processing，1981，29（6）:1153-1160.

[4]Stark H，Oskoui P.High-Resolution Image Recovery from Image-Plane Arrays，Using Convex Projections[J].JOSA A，1989，6（11）: 1715-1726.

[5]Irani M，Peleg S.Improving Resolution by Image Registration[J].CVGIP:Graphical Models and Image Processing，1991，53（3）:231-239.

[6]A.Gholipour，J.A.Estroff，S.K.Warfield.Robust Super-Resolution Volume Reconstruction from Slice Acquisitions:Application to Fetal Brain MRI[J].IEEE Transactions on Medical Imaging，2010，29（10）:1739-1758.

[7]K.Jafari-Khouzani.MRI Upsampling Using Feature-Based Nonlocal Means Approach[J].IEEE Transactions on Medical Imaging，2014，33（10）:1969-1985.

[8]Freeman W T，Jones T R，Pasztor E C.Example-Based Super-Resolution[J].IEEE Computer Graphics and Applications，2002，22（2）:56-65.

[9]Chao Dong，Chen Change Loy，Xiaoou Tang.Image Super-Resolution Using Deep Convolutional Networks.IEEE Transactions on Pattern Analysis and Machine Intelligence，38（2）:295-307，Feb.2016.

[10]Yang J，Wright J，Huang T，et al.Image Super-Resolution as Sparse Representation of Raw Image Patches[C].Computer Vision and Pattern Recognition，2008.CVPR 2008.IEEE Conference on.IEEE，2008:1-8.

[11]Yang J，Wright J，Huang T，et al．Image Super-Resolution Via Sparse Representation[J].IEEE Transactions on Image Processing，2010，19（11）:2861-2873．

[12]Yuanyuan Jia，Zhongshi He，Ali Gholipour，Simon K.Warfield（2015）Single Anisotropic 3D MR image Upsampling via Over-Complete Dictionary Trained from In-plane High Resolution Slices[J].IEEE journal of biomedical and Health Informatics.（Publish online）

[13]Zeyde R，Elad M，Protter M.On Single Image Scale-up Using Sparse-Representations［DB］.Curves and Surfaces，Springer，2012．

[14]Elad M，Aharon M，Bruckstein A M.The K-SVD:an Algorithm for Designing of Overcomplete Dictionaries for Sparse Representations [J].IEEE Trans.Image Process，2006，15（12）:3736-3745.

[15]Pati Y C，Rezaiifar R，Krishnaprasad P S.Orthogonal Matching Pursuit:Recursive Function Approximation with Applications to Wavelet Decomposition[C].Signals，Systems and Computers，1993.1993 Conference Record of The Twenty-Seventh Asilomar Conference on.IEEE，1993:40-44.

[16]劍玲，鄒輝.基于高斯Laplace算子圖像邊緣檢測的改進[J].微電子學與計算機，2007，24（9）:155-157.

Single Image Super-Resolution Reconstruction Algorithm Based on Improved Feature Extraction and Sparse Representation

WANG Ya-hui，JIA Yuan-yuan，HE Zhong-shi

（College of Computer Science,Chongqing University,Chongqing 400044）

In order to improve the super-resolution reconstruction effect of single image,uses an improved Gaussian Laplace operator to extract the features of low-frequency on image for the image super-resolution reconstruction algorithm based on over-complete dictionary.This operator is mainly used to extract the edge features of each direction effectively during the preprocessing phase of the reconstructed image, which will not result in missed detection and no increase of noise.Experiments show that,compared with the existing algorithms,the effect of reconstructing the image using the operator is improved both in the PSNR and the SSIM.

Super-Resolution Reconstruction of Image;Over-Complete Dictionary;Gaussian Laplace;Timer

1007-1423（2017）02-0063-05

10.3969/j.issn.1007-1423.2017.02.016

王亞輝（1992-），男，湖南益陽人，碩士，研究方向為數字圖像處理

2016-11-01

2017-01-05

賈媛媛，教師，研究方向為醫學圖像處理

何中市，教授，博士生導師，研究方向為模式識別、機器學習與數據挖掘、自然語言、處理與數字圖像處理