基于稀疏編碼和隨機森林的多幀圖像超分辨率算法

包瑩瑩，王華君，徐燕華，徐平平

（1.無錫太湖學院 工學院，江蘇 無錫214064；2.東南大學 信息科學與工程學院，江蘇 南京211189）

基于稀疏編碼和隨機森林的多幀圖像超分辨率算法

包瑩瑩1，王華君1，徐燕華1，徐平平2

（1.無錫太湖學院 工學院，江蘇 無錫214064；2.東南大學 信息科學與工程學院，江蘇 南京211189）

針對多幀低分辨率圖像重建問題，提出了基于稀疏編碼和隨機森林的超分辨率算法。首先，使用高分辨率訓練圖像和低分辨率訓練圖像獲取高分辨率字典；然后，使用重疊塊緩解塊邊界的振鈴現象，并使用反向投影保證全局一致性；最后，利用稀疏編碼提取和融合LR圖像中的有用信息，隨機森林完成分類。實驗結果表明，相比其他幾種較新的超分辨率算法，本文算法重建獲得的峰值信噪比（PSNR）最高，重建后的圖像最為自然，且具有較快的運行速度。

圖像重建；超分辨率；稀疏編碼；隨機森林；多幀；反向投影保

超分辨率（Super-resolution，SR）[1]圖像重建是一種根據低分辨率圖像創建超分辨率圖像的技術，該技術已經引起人們的廣泛關注[2]。視頻技術的發展促進了SR技術的發展，SR技術能幫助人們根據低分辨率（LR）圖像生成高分辨率（HR）圖像[3]。

圖像超分辨率重建技術可分為兩類：基于重構的SR[4]和基于樣本的SR[5]。基于重構的SR方法根據圖像成像過程計算HR圖像，對于實現SR很直觀且很容易。然而，該方法需要很大計算量。

基于樣本的SR根據從訓練HR圖像提取的小圖像塊重建HR圖像。例如，文獻[6]提出的一種基于相鄰嵌入的算法，當僅有一幅LR圖像時，該方法取得了較好的重建效果，然而，該算法容易忽略圖像中的有用信息。文獻[7]改進了文獻[6]算法，提出了一種基于稀疏編碼[8]的SR方法，利用稀疏編碼聯合大量候選向量中的少量基向量來描述信號，實驗結果顯示該方法能很好的重建HR圖像。然而，當擁有多幅用于重建HR圖像的LR圖像時，該方法仍有進一步優化的空間。

基于上述分析，提出了基于稀疏編碼和隨機森林的SR算法，主要貢獻為：1）擴展了基于稀疏編碼的單幀SR算法，提出了一種聯合隨機森林分類和由HR元素生成LR元素的方法；2）能處理不同數量的觀察LR圖像。在一組觀察LR圖像中，每個塊中，自動確定用于SR的LR圖像數量。

1 稀疏編碼

稀疏編碼[9]聯合大量候選向量中的少量基向量來描述信號，稱這些基向量為元素。

設D=[d1，d2，…，dk]∈Rp×K為一種包含K個不同元素的字典，α∈RK為信號s∈R?K稀疏表示的系數向量。則l0范式稀疏編碼問題可轉化為：

式中，ε為預定義的近似容忍度，或表示為

式中，T為用于稀疏表示的預定義元素數量。通過向量α的一些非零元素定義l0范式‖α‖0：

給定一個字典D，問題（1）和（2）為NP難題[10]，通常利用匹配追蹤類算法獲取近似解。另一種稀疏編碼方法將問題轉化為l1范式問題：

問題（4）使用稀疏的l1測量稀疏模型，問題（4）稱為l1范式稀疏編碼。使用拉格朗日乘子η，該問題變為：

式中，η≥0為稀疏約束強度。采用l1范式稀疏編碼作為SR的模塊，且使用feature-sign搜索算法求解問題。該算法搜索非零系數αj的sign。采用這種假設，解決了非約束二次規劃問題，且如果算法沒有正確初始化則進一步優化該算法。該算法在有限迭代次數內搜索到問題（5）全局最優解。

2 提出的超分辨率算法

2.1 根據LR圖像計算HR圖像

完成HR圖像重建前，首先使用HR訓練圖像和LR訓練圖像獲取HR字典Dh∈Rqh×K和LR字典Dl∈Rql×K。假設使用x=Dhα表示HR塊x，使用L∈Rq1×qh表示圖像退化的3個過程：S、H和W。然后，通過式（6）關聯LR和HR圖像：

式中，Dl=SHWDh。假設基于稀疏編碼的SR核心思想是稀疏表示中HR塊與LR塊分享相同的系數。對每個輸入LR塊y，尋找與Dl相關的稀疏表示。然后，根據LR塊系數聯合Dh中相應的HR基向量，從而生成相應HR塊x，如圖1所示。

圖1 基于稀疏編碼的SR框架

2.2 緩解塊邊界的振鈴現象

在基于塊的方法中，首先獲取LR塊的稀疏表示，然后獲取相應的HR塊。分別獲取每個局部塊的稀疏表示不能保證相鄰塊之間相互兼容且在塊邊緣常常會出現振鈴現象。為了緩解振鈴現象，使用重疊塊。為了提高算法計算效率，僅計算相鄰塊重疊區域的特征均值。對聯合后的相鄰HR塊，使用二維Hanning窗口[11]降低重疊區域的影響。

2.3 使用反向投影保證全局一致性

利用反向投影[12]保證全局一致性。設X0為使用分片SR獲取的HR圖像且上節解釋了加權X0平均運算。為了最小化X0與HR圖像之間的差異，通過梯度下降法求解以下最小化問題：

式中，為權衡參數。修正后的梯度下降方法為：

式中，v＞0為步長參數。優化的X作為具有全局一致性的HR圖像。

2.4 基于稀疏編碼的多幀SR

在多幀圖像場景中，假設每個LR圖像為同一HR圖像不同退化過程后的輸出。盡管多幀SR預期能獲取較好的結果，但提取和融合LR圖像中的有用信息很重要。

通過剪切操作符Cj∈Rqij×pl，j=1，…N，從觀察LR圖像Yj，j=1，…，N提取不同大小塊yj，j=1，…，N。

與單幀SR相似，設X表示重建的HR圖像，x為從X提取的塊，且設Y1，…，YN為LR圖像且y1，…，yN為x與對應的LR圖像的塊。為了實現多幀SR，求解以下優化問題：

首先從一組觀察LR圖像選擇一幅目標圖像，且使用其他輔助LR圖像重構目標圖像的HR圖像。然后，與單幀SR相似，y1和以相同的方法重建。

2.5 利用隨機森林分類

最后，通過隨機森林[13]完成分類。所有樹都是通過一系列個數為N的采樣點獨立訓練的，這些采樣點是。訓練一個單一的隨機樹主要通過尋找分裂功能、遞歸分割訓練數據為不相交的子集。

對于Tt的所有內部節點。分裂始于根節點，并通過一個貪婪的方式在樹中繼續進行，直到達到一個最大深度ξmax，并創建一個葉子節點。Θ的值定義響應函數rΘ（xL），本文的響應函數成對差異，即rΘ（xL）=xL[Θ1]-xL[Θ2]-Θth，其中Θ2∈{1，…，DL}?Z。

為分裂函數 σ（·）查找好的參數 Θ，分裂函數σ（xL，Θ）的質量定義如下：

式中，Le和Ri分別為左和右子節點，|·|是基數運算符。定義兩個域：。函數E（XH，XL）旨在測量數據的純度。而本文定義了一個新的正則化函數E（XH，XL），不僅在標簽Y空間上操作，同時也對輸入空間X上進行操作，E（XH，XL）的定義如下式所示：

算法過程如算法1所示。

3 實驗結果及分析

每個實驗分別執行100次，每次實驗使用不同的觀察圖像，這些圖像在每個實驗中通過特定過程生成，且實驗的均值和標準差已經存在。仿真實驗在配置為 Win7操作系統、intel酷睿 II處理器、1.86 GHz主頻、2.95 GB RAM的 PC機上進行，使用MATLAB 7.1編程。

將本文算法與4種傳統算法進行比較，分別為單幅聯合字典學習（SF-JDL）[14]和自適應稀疏域選擇算法（ASDS）[15]、雙邊總變分（BTV）方法[16]、基于正則化BTV的多幀SR（LABTV）[17]。

3.1 評估指標

為了比較SR算法的性能，使用峰值信噪比（PSNR），PSNR定義如下：

式中，MSE為原HR圖像與估計HR圖像的均方誤差，且PSNR越高表明SR性能越佳。

3.2 定量分析

表1所示為PSNR的值測量結果，PSNR值越高表示圖像的高頻成分越多。

從表1可以看出，文中算法大多數情況下均能獲得最高的PSNR值，與原始圖像的PSNR值相差最少，表明重建效果最好。

3.3 定性分析

隨機選擇一幅目標圖像，通過亞像素精確塊匹配估計從目標圖像到其他4幅圖像的相對位移。表2所示為實驗設置，表3所示為本文算法獲取的最優參數值。圖2所示為重建結果示例圖。從圖2可以看出，與其他算法重建的HR圖像相比，本文算法重建的HR圖像分辨率較高。

表1 分辨率增強因子為2時各個算法的PSNR值（/dB）

表2 實驗參數

表3 本文算法參數

圖2 各個算法的重建結果比較

3.4 運行速度比較

好的SR算法應具備3方面的優勢：圖像紋理、圖像自然性和算法處理速度。表4所示為各個算法的平均運行時間。

從表4可以看出，ASDS算法的運行時間最少，因為 ASDS算法最簡單。對于 256×256的圖像“Wall”，“Nestling”和“Cameraman”，以及MATLAB中常見的其他20幅圖像，在MATLAB 7.1平臺上，本文算法運行時間僅略高于ASDS，少于其他幾種比較的算法。本文算法在改善重建效果的情況下，仍能保持較快的運行速度，可見其優越性。

表4 各個算法的平均運行時間比較（/s）

4 結束語

文中提出了一種基于稀疏編碼和隨機森林的多幀SR算法，許多基于稀疏表示的傳統單幅圖像SR方法使用字典學習技術聯合HR和LR圖像字典，而本文算法優先提出HR圖像字典且考慮了圖像退化過程，從而根據HR字典生成LR圖像。通過實驗結果表明了提出算法的有效性，相比其他幾種較新的SR算，提出的算法在重建效果、PSNR、處理速度方面均能取得較好的效果。

未來會提出一種能根據觀察LR圖像自動確定閾值 σ的方法，從而更好地改善多幀圖像SR效果。

[1]張新明，沈蘭蓀.基于多尺度邊緣保持正則化的超分辨率復原[J].軟件學報，2003，14（6）:1075-1081.

[2]Willets K A.Super-resolution imaging of SERS hot spots[J].Chemical Society Reviews，2014，43（11）: 54-64.

[3]周明遠，石英.基于圖像超分辨率重建的質心細分的研究[J].電子設計工程，2015，23（9）:127-130.

[4]黃璇，楊曉梅.基于低秩及全變分的視頻超分辨率重建[J].計算機應用研究，2015，32（3）:938-941.

[5]Sinkó J，Kákonyi R，Rees E，et al.TestSTORM: Simulator for optimizing sample labeling and image acquisition in localization based super-resolution microscopy[J].Biomedical Optics Express，2014，5（3）:778-87.

[6]Chang H，Yeung D Y，Xiong Y.Super-resolution through neighbor embedding [C]//2012 IEEE Conference on ComputerVision and Pattern Recognition.IEEEComputerSociety，2010:275-282.

[7]Jianchao Y，Zhaowen W，Zhe L，et al.Coupleddictionary training for image super-resolution.[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society，2012，21（8）:3467-3478.

[8]郭坦.基于稀疏表示的超分辨率圖像重建算法研究[D].重慶：重慶大學，2014.

[9]盛帥，曹麗萍，黃增喜，等.基于改進稀疏編碼的圖像超分辨率算法[J].計算機應用，2014，34（2）: 562-566.

[10]余英，羅永超，程明寶.帶分批的一類具有惡化加工時間的排序問題的算法研究[J].湘潭大學自然科學學報，2013，35（2）:14-16.

[11]Podder P，Zaman Khan T，Haque Khan M，et al. Comparative Performance Analysis of Hamming，Hanning and Blackman Window[J].International Journal of Computer Applications，2014，96（18）: 1-7.

[12]Nayak R，Harshavardhan S,Patra D.Morphology based iterative back-projection for superresolution reconstruction of image[C]//International Conference on Emerging Technology Trends in Electronics，Communication and NETWORKING. IEEE，2014:1-6.

[13]鄧生雄，雒江濤，劉勇，等.集成隨機森林的分類模型[J].計算機應用研究，2015，32（6）:1621-1624.

[14]Jianchao Y，John W，Thomas H，et al.Image Super-Resolution via Sparse Representation.[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2010，19（11）:2861-2873.

[15]Weisheng D，Lei Z，Guangming S，et al.Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization.[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society，2011，20（7）:1838-1857.

[16]陳王麗，孫濤，陳喆，等.利用光流配準進行嫦娥一號CCD多視影像超分辨率重建[J].武漢大學學報:信息科學版，2014，39（9）:1103-1108.

[17]李銀輝，呂曉琪，于荷峰.基于L1和L2混合范式的序列圖像超分辨率重建[J].計算機應用，2015，35（3）:840-843.

A multi-frame image super resolution algorithm using sparse coding and random forest

BAO Ying-ying1，WANG Hua-jun1，XU Yan-hua1，XU Ping-ping2
（1.School of Engineering，Taihu University of Wuxi，Wuxi 214064，China；2.School of Information Science and Engineering，Southeast University，Nanjing 211189，China）

For the problem of multiple low resolution images reconstruction，a multi-frame image super resolution algorithm using sparse coding and random forest is proposed.Firstly，high resolution training images and low-resolution images are used to obtain high resolution in the dictionary.Then，the ringing of the block boundary is alleviated by overlapping blocks，and the whole consistency is guaranteed by reverse projection.Finally，sparse coding is used to extract useful information from LR images，and Random forest is used to finish classification.Experimental results show that proposed algorithm has the highest PSNR comparing with several other advanced algorithms.It has the most natural reconstruction image and the fastest execution time.

imageresolution；super-resolution；sparsecoding；randomforest；multi-frame；reverse projection

TN911

：A

：1674-6236（2017）08-0158-05

2016-04-05稿件編號：201604040

包瑩瑩（1983—），女，江蘇宿遷人，碩士，講師。研究方向：圖像處理和模式識別等。