基于SM特征字典分類的圖像超分辨率

端木春江 汪宇 聶煥煥

摘要 文章提出用SM （SharpnessMeasure）特征提取方法和基于學(xué)習(xí)的新方法來(lái)重構(gòu)圖像。首先，提取圖像的亮度分量部分，對(duì)圖像進(jìn)行分塊處理，然后對(duì)不同的塊進(jìn)行分類處理，本文使用二分類的方法將圖像的所有塊分為兩類。接著通過(guò)不同的類做提取特征處理，訓(xùn)練階段是聯(lián)合訓(xùn)練的方法得到更優(yōu)的字典。最后階段，對(duì)于輸入的一個(gè)圖像，先做分塊處理，再根據(jù)不同的塊計(jì)算SM值，分到不同的類中，根據(jù)相應(yīng)的字典重構(gòu)得到所需的圖像，傳統(tǒng)的插值方法是Bicubic雙三次插值方法，本文使用Lanzcos 2方法插值得到低分辨率圖像，實(shí)驗(yàn)證明，提出的方法提高了圖像的質(zhì)量。

【關(guān)鍵詞】SM特征 聯(lián)合訓(xùn)練 超分辨率 稀疏表示

1 引言（Introduction）

超分辨率圖像重建是指用一幅或多幅低分辨率圖像通過(guò)算法轉(zhuǎn)化成高分辨率圖像的技術(shù)。目前該技術(shù)已經(jīng)廣泛的應(yīng)用于醫(yī)學(xué)影像、視頻監(jiān)控、遙感圖像、高清電視等領(lǐng)域。

超分辨率圖像方法主要分為基于插值，基于重建和基于重建的方法。基于插值的方法主要只有雙線性插值法和雙三次插值法。基于重建的方法有迭代反投影法、凸集投影法POCS（projection on to convex set）和最大后驗(yàn)概率估計(jì)法MAP（maximum a posteriori）等。基于學(xué)習(xí)的超分辨率方法包括領(lǐng)域嵌入方法NE（Neighbor Embedding）等。最近，Yang和zeyde等[6-9]利用線性規(guī)劃求解低分辨率圖像塊的稀疏表示，并將此表示系數(shù)與高分辨率字典進(jìn)行線性組合得到高分辨率圖像塊。

在基于稀疏表示的圖像超分辨率后來(lái)的研究發(fā)現(xiàn)，在訓(xùn)練階段，訓(xùn)練樣本數(shù)量越大，所得到的效果往往要好，可是這并不是絕對(duì)的。只有與特征相關(guān)的樣本才會(huì)產(chǎn)生這樣的效果，而大量與特征無(wú)關(guān)的樣本可能在訓(xùn)練階段產(chǎn)生干擾，影響實(shí)驗(yàn)結(jié)果，并且在訓(xùn)練時(shí)時(shí)間較長(zhǎng)。傳統(tǒng)的基于稀疏表示學(xué)習(xí)的超分辨率中，只有一對(duì)高低分辨率字典對(duì)D_h和D1，在訓(xùn)練階段，本章通過(guò)SM（Sharpness Measure）特征方法將訓(xùn)練圖像分類，分別得到相應(yīng)的字典對(duì)，最后重構(gòu)出較好的結(jié)果。

2 傳統(tǒng)的稀疏表示超分辨率方法

使用對(duì)圖像的塊進(jìn)行分類，然后根據(jù)不同的類做訓(xùn)練得到字典對(duì)，能夠克服單個(gè)字典對(duì)的局限性，如表l所示。

在訓(xùn)練字典過(guò)程中，參數(shù)T的設(shè)置為不確定，本章使用根據(jù)經(jīng)驗(yàn)，閾值T為30，在這個(gè)閾值下，得到的效果最好。

重構(gòu)階段中，對(duì)于輸入的低分辨率圖像LR，與訓(xùn)練情況類似，分塊之后計(jì)算塊的SM值來(lái)判斷這個(gè)塊是屬于哪個(gè)類。具體操作流程如圖1所示。

4 實(shí)驗(yàn)結(jié)果與分析

本文的實(shí)驗(yàn)中，低分辨率圖像被重建放大三倍，本章選取訓(xùn)練的圖像塊數(shù)量為第三、四章的一半，KSVD的迭代次數(shù)設(shè)置為40，字典的原子數(shù)均設(shè)置為50000。重疊矩陣為[3，3]，重疊像素為1。選用Windows 8操作系統(tǒng)，Matlab2013b軟件、8GB內(nèi)存，2.9GHz處理器作為實(shí)驗(yàn)平臺(tái)。實(shí)驗(yàn)效果圖如圖2。

通過(guò)圖2所示：

（a）為原始圖像。

（b）為用雙三次插值得到的圖像。

（c）為Zeyde的方法。

（d）為本章算法所展示出的圖像。

本文使用PSNR峰值信噪比（Peak Singal-to-Noise Ratio，PSNR）PSNR評(píng)價(jià)原始圖像與重建后的圖像之間差異的指標(biāo)。

上式中，x為原始圖像，x為重構(gòu)出的圖像。PSNR以分貝（dB）為單位，它的值越大。

根據(jù)表2的結(jié)果所示，本方法的效果在PSNR上比zeyde的方法提高了約0.15dB左右。在以后的工作中，將重點(diǎn)研究一方面用更好的分類方法將訓(xùn)練的樣本集分開，以提高搜索空間的相關(guān)性。另一方面，著手降低訓(xùn)練字典的時(shí)間，以便以后能夠?qū)崟r(shí)使用。

5 結(jié)論

基于SM的理論思想，本文提出了一種新的重構(gòu)高分辨率圖像的方法。此方法使用了字典分類的方式，利用SM提取出的特征對(duì)低分辨率圖像進(jìn)行分類處理，并相應(yīng)的對(duì)高分辨率圖像按照位置匹配的方式做相同的分類處理，注意在分類之后會(huì)將每個(gè)塊的元素排列成一個(gè)個(gè)的列，兩次分類時(shí)的列的原子個(gè)數(shù)應(yīng)該一致，否則會(huì)造成無(wú)法訓(xùn)練的情況。在以后的研究中，應(yīng)考慮對(duì)于不同的塊的分類，不同樣本特征，使用一些優(yōu)化算法自動(dòng)的找到閾值。

參考文獻(xiàn)

[1]S. Farsiu，M. Robinson， and M.Elad，“Fast and robust multiframe superresolution，”IEEE Trans. ImageProces s.，vol. 13， no. 10， pp. 1327-1344.Oct.2004.

[2]趙小強(qiáng) ，賈云霞 .基于稀疏表示的正則化

[3] S. C. Park，M. K. Park， andM. G. Kang， "Super-resolutionimage reconstruction： A technicaloverview，" IEEE Signal Process，vol.20，no. 3， pp. 21-25，May 2003.

[4] W. T. Freeman， T. R. Jones and E.C. Paztor， "Example-Based Super-Resolution" ，IEEE Comput.Graph. Appl.V0122， No. 2， pp. 56-65， Ma r. /Apr. 2002.

[5] H. Chang， D. Y. Yeung， and Y. M. Xiong，"Super-resolution throughneighbor embedding， " in Proc. IEEE Int. Conf. Comput. Vis. Pat ternRecog.， 2004， 275-282.

[6] J. C. Yang， J. Wright， T. Huang， andY.Ma， "Image super-resolution assparse representation of raw imagepatches，" in Proc.IEEE Conf.Comput.Vis.Pattern Recog.，2008，1-8.

[7] J. C. Yang， J. Wright， T. S. Huang， andY.Ma， "Image super-resolution viasparse representation，" IEEE Trans.Image Process， vol. 19， no. 11， pp. 2861-2873，Nov. 2010.

[8] M. Aharon， M. Elad， A. Brucks tein，and Y. Katz， "K-SVD： An algorithmfor designing of overcompletedictionaries for sparserepresentation， " IEEE Trans. SignalProces s. ， vol. 54， no. 11， pp. 4 311-4322，Nov. 2006.

[9] R. Zeyde， M. Elad， and M. Protter， "Onsingle image scale-up using sparse-representations，" Lecture Notes Comput.，v01.6920，pp.711-730，2012.

[10] J. Kumar， F. Chen and D. Doermann，"Sharpness estimation for documentand scene images， " Proc. 21stInternational Conferenceon Pattern Recognition（ICPR）， 2012， pp. 3292-3295.