基于稀疏表示的多幅圖像快速超分辨率重建*

楊 飚， 邸 苗

(北方工業大學 城市道路交通智能控制技術重點實驗室，北京 100144)

0 引 言

圖像超分辨率(super resolution ,SR)重建是一種利用單幅或者多幅低分辨率(low resolution,LR)圖像進行重建從而得到高分辨率(high resolution,HR)圖像的數字信號處理技術。一般而言，多幅圖像的超分辨率重建(SR reconstruction,SRR)算法利用了多幅圖像間的互補信息，圖像質量較單幅重建算法更高，因此，本文主要研究基于多幅圖像的超分辨率算法。近年來,基于學習的SRR算法成為了SRR算法的重要研究方向，其中基于稀疏理論的超分辨率算法具有良好的重建效果，已被廣泛地應用于圖像處理的各個領域[1,2]。由壓縮感知(compressive sensing)理論[3,4]出發根據稀疏表示理論，Yang J C等人[5]提出了一種基于稀疏表示的單幅圖像SRR算法，其算法重建得到的圖像重建質量較高，但重建速度較慢。針對該問題，孫玉寶等人[6]通過改進稀疏性正則化的多幀圖像超分辨凸變分模型優化。曹翔等人[7]提出了通過一種優化的廣義正交匹配追蹤算法改進稀疏表示算法。沈輝等人[8]提出了基于預測稀疏編碼的單幅圖像SRR算法。但是上述方法并未達到理想的重建效果，所以,本文提出了一種基于多幅圖像的快速SRR算法，通過改善稀疏表示算法和優化圖像融合方法來提高圖像SRR速度。引入優化算法加速稀疏分解獲得稀疏表示；利用多幅圖像稀疏表示后的信息進行超分辨率圖像融合。實驗表明：在改善圖像重建質量的同時，本文方法顯著地提高了圖像SRR的速度。

1 稀疏表示的SRR算法

稀疏表示的多幅圖像SRR算法的一般步驟是：圖像配準、基于稀疏表示的單幅圖像SRR和圖像融合。該類算法要兼顧以上三個步驟的精準性，任何的不準確均會導致重建效果變差。除此之外，先對單幅圖像進行重建再進行圖像融合未充分利用稀疏表示產生的信息致使重建速度非常慢。

2 改進的稀疏表示SRR算法

2.1 稀疏表示重建算法相關理論

Yang J C等人首次將壓縮感知理論引入到SRR的問題中，構建了傳統的稀疏表示SRR模型?；舅枷胧菍⒆匀恍盘柤僭O為可以壓縮的信號或是可以根據預定的原子進行線性表示[9,10]。原理如下：設給定的高、低分辨率過完備字典為{Dh,Dl}，低分辨率圖像Yi中提取的第i個低分辨率子塊yli，根據式(1)求解稀疏問題

(1)

式中α為稀疏系數;Dl={d1,d2,d3,…,dL}∈RN×L(L>N)為字典；di為原子。

或者等價于求解式(2)

(2)

通過式(2)求得的稀疏系數αi，根據αi重建相應的高分辨率子塊xhi，即

xhi=Dhαi

(3)

算法通過充分利用先驗信息提高了圖像的重建質量，但存在重建速度慢、重建成本高等問題。

2.2 基于粒子群優化聚類的字典學習

基于稀疏表示的SRR算法的核心在于得到字典D的稀疏表示。為加速字典訓練，在字典訓練過程中本文對低分辨率樣本采用主成分分析(principal component analysis,PCA)降維。本文采用K奇異值分解(singular value decomposition,SVD)算法訓練得到相應的高、低分辨率字典。Yang J C等人采用最小絕對收縮和選擇算子(least absolute shrinkage and selection operator,LASSO)算法稀疏分解每個低分辨率子塊時，由于全局字典中存在與其不相關的原子會影響圖像SRR質量和重建速度。為減少不相關原子的影響，本文根據相似度將全局字典中相似的原子聚集到同一類使得每個低分辨率子塊能夠利用一個原子聚類代替相應的全局字典。本文采用的聚類算法為粒子群優化(particle swarm optimization,PSO)聚類算法[11，12]。

基本PSO聚類算法的流程如下:

1)隨機選擇一個簇中心對所有粒子賦值,并隨機產生粒子速度；2)根據最小距離原則各個粒子對數據進行劃分,并根據式(4)計算所有粒子的適應值,更新粒子的個體極值；3)根據所有粒子的個體極值,找出全局極值和全局極值的位置；4)根據PSO算法的速度公式更新粒子的速度,并將其限制在Vmax內；5)根據PSO算法的位置公式更新粒子的位置，直到滿足結束條件，算法的結束條件可以是達到一定的循環次數、簇的中心變化很小或簇的成員不再改變；6)輸出最優粒子的位置即最優的Nc個聚類中心。

本文應用PSO聚類算法對低分辨率字典進行原子聚類，相較于K均值聚類(k-means)算法具有更好的聚類穩定性，更容易得到基于全局的最優解。

2.3 基于稀疏表示系數融合的圖像融合

首先求解每幅低分辨率圖像在低分辨率過完備字典下的稀疏表示系數，再采用模極大值規則對每幅圖像的稀疏表示系數進行融合，用融合系數進行SRR。方法的關鍵是過完備字典和融合規則的選取。過完備字典下的稀疏表示系數大多均為零且稀疏表示系數代表原圖像的靜態特征,所以，選取模極大值融合規則或是線性加權的融合規則的融合效果較好。經實驗證明該方法相較于常規的圖像融合方法提高了重建速度。

2.4 快速SRR算法

在訓練字典時利用PSO聚類算法對字典原子進行聚類;通過對偶字典法快速地計算稀疏表示系數;在圖像融合部分采用稀疏系數融合方法減少融合計算量提高算法的重建速度。算法步驟如下：

1)利用PSO聚類算法進行字典訓練得到高低分辨樣本圖像的聚類字典Dh,Dl；

2)輸入多幅低分辨率圖像yl；

3)利用對偶字典法快速得到稀疏表示稀疏a，對每幅圖像稀疏表示yl=aDl；

4)得到多個稀疏系數a1,a2,…,an；

5)選取模極大值融合方法進行系數融合，得到融合系數a；

6)稀疏表示SRRX=aDh；

7)輸出高分辨率圖像X。

3 實驗結果與分析

實驗一：有無聚類的單幅圖像超分辨率算法對比

采用峰值信噪比(peak signal to noise ratio,PSNR)作為圖像客觀評價標準，定義為

通常，均方誤差(mean square error,MSE)越小或者PSNR越大，重建圖像越逼近原始圖像,即失真越少，重建圖像質量越高。

首先采用有無聚類算法對基于稀疏表示的單幅圖像超分辨率結果進行對比，結果如圖1所示。

圖1 單幅圖像超分辨率算法對比結果

通過對比無聚類的稀疏表示超分辨率重建(sparse representation super-resolutin reconstruction,SR-SRR)、K均值聚類的稀疏表示SRR和PSO聚類的稀疏表示SRR3種算法可得其比較結果如表1所示。由表1可以看出單純地引入聚類算法改善了基于稀疏表示的單幅圖像SRR的重建質量，但重建速度并沒有得到明顯改善。

表1 單幅圖像超分辨率算法對比結果

實驗二:多幅圖SRR算法對比

從標準視頻序列Miss選取第81～84幅作為原始參照序列，每幅圖像尺寸均為176×144。然后對每幅圖像添加均值為0，標準差σ=25 的高斯白噪聲，在水平和豎直方向分別2倍降噪采樣后生成低分辨圖像序列，如圖2所示。

圖2 低分辨率圖像序列

實驗二中通過對常規多幅SRR、只引入PSO聚類算法的多幅SRR和優化重建速度后的多幅圖超分辨率算法進行對比，得到對比結果如圖3所示，所得相關數據統計如表2所示。

圖3 多幅圖像SRR算法對比結果

多幅圖像超分辨率算法多幅PCA融合SRR多幅PSO聚類SRR加速后SRRPSNR/dB30.130633.395633.3956運行時間/s178.040042.13008.6800

由表2可以看出相比于單幅圖像的SRR利用多幅圖像進行SRR其重建質量得到了明顯改善。相比較于單幅粒子群SRR，多幅粒子群聚類SRR的重建質量提高了約7 dB，重建速度提高了約2倍，加速后且大幅減少了超分辨率圖像重建的時間。本文所提出的快速超分辨率圖像重建方法提高了圖像的重建質量并優化了圖像的重建速度。

4 結 論

常規的基于稀疏表示的多幅圖像SRR質量較差且重建速度較慢，本文提出的基于稀疏表示的多幅圖像快速SRR方法通過引入PSO聚類算法保證了圖像的重建質量，同時采用了對偶字典法和稀疏系數融合來提高SRR的速度。實驗表明:相較于多幅PCA融合SRR，本文提出的算法框架使SRR速度提高了20倍。在后續的工作中將結合GPU加速，進一步提高本文所提出算法框架的重建速度。

[1] 江 靜，張雪松.圖像超分辨率重建算法綜述[J].紅外技術，2012(1):24-30.

[2] 喬少華,李潤鑫,劉 輝，等.基于統計量的加權函數圖像重建方法[J].傳感器與微系統,2017，36(9):53-56.

[3] Candes E J.Compressive sampling[C]∥Proc of the International Congress of Mathematicians Madrid Zarich,2006:1433-1452.

[4] Candes E J,Wakin M.An introduction compressive sampling[J].IEEE signal Processing Magazine,2008,25(2):21-30.

[5] Yang J C,Wright J,Huang T,et al.Image super-resolution as sparse representation of raw image patches[C]∥Proc of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition,Anchorage,USA,2008:1-8.

[6] 孫玉寶,韋志輝,肖 亮,等.基于稀疏表示的圖像超分辨率重建快速算法[J].系統工程與電子技術,2010,30(12):2696-2700.

[7] 曹 翔,陳秀宏,潘榮華.基于稀疏表示的快速圖像超分辨率算法[J].計算機工程,2015,41(6)：211-215.

[8] 沈 輝,袁曉彤,劉青山.基于預測稀疏編碼的快速單幅圖像超分辨率重建[J].計算機應用,2015,35(6):1749-1752.

[9] 邱紅梅,李華鋒,余正濤.基于稀疏表示的醫學圖像融合[J].傳感器與微系統,2017,36(10):57-60.

[10] 李 民，程 建，樂 翔，等.稀疏字典編碼的超分辨重建[J].軟件學報，2012,23(5):1315-1324.

[11] Omran G M,Salman A,Engelbrechta P.Image classification using particle swarm optimization[C] //Proc of the 4th Asia-Pacific Conference on Simulated Evolution and Learning,2002:370-374.

[12] Merwe D W vander, Engelbrecht A P. Data clustering using particle swarm optimization[C]∥Proc of IEEE Congress on Evolutionary Computation,2003:215-220.