基于加權(quán)Boosting的核偏最小二乘圖像超分辨率重建

李小燕 和紅杰 尹忠科 陳 帆

(西南交通大學(xué)信號與信息處理四川省重點(diǎn)實(shí)驗(yàn)室 成都 610031)

1 引言

圖像超分辨率(Super Resolution, SR)重建[1]是利用一幀或多幀[2]低分辨率(Low Resolution, LR)圖像的相關(guān)和互補(bǔ)信息，綜合估計出LR圖像丟失的高頻信息，從而重建出一幅高分辨率(High Resolution, HR) 圖像。SR重建技術(shù)能一定程度上克服傳感器和光學(xué)制造技術(shù)的限制，在遙感衛(wèi)星、軍事偵察、醫(yī)學(xué)成像以及安全監(jiān)控等領(lǐng)域具有實(shí)用性。

學(xué)習(xí)法是目前圖像SR重建技術(shù)的研究熱點(diǎn)。這一概念是Freeman等人[3]于2002年首次提出的，這類方法不僅能克服分辨率提高倍數(shù)方面的局限性，而且不需對圖像進(jìn)行配準(zhǔn)，具有一定的優(yōu)勢[4]。文獻(xiàn)[5]提出利用對數(shù)-小波變換(Log-WT)方法來實(shí)現(xiàn)人臉圖像超分辨率重建，但這些方法在重建過程中會引入較大的量化誤差。文獻(xiàn)[6]提出一種基于邊緣檢測和特征選取的鄰域嵌入算法來實(shí)現(xiàn)圖像 SR重建，然而在模糊區(qū)域會出現(xiàn)混疊現(xiàn)象。文獻(xiàn)[7]用稀疏編碼(Sparse Coding, SC)的方法來自適應(yīng)地選取鄰域塊，文獻(xiàn)[8]在SC方法的基礎(chǔ)上提出非局部聯(lián)合稀疏近似的超分辨率方法。文獻(xiàn)[9]提出用偏最小二乘(Partial Least Squares, PLS)方法來表征LR和HR圖像間的關(guān)系，但PLS是線性回歸模型。文獻(xiàn)[10]指出核偏最小二乘(Kernel Partial Least Squares, KPLS)方法比PLS更能表征非線性關(guān)系，得到較好的重建質(zhì)量。然而這種方法對每一測試圖像塊選用全部的主元成分，計算量大。事實(shí)上，當(dāng)后續(xù)的主元成分不再提供有用的信息時，采用過多的主元成分不會改善重建效果。

本文提出一種加權(quán)Boosting的圖像SR重建算法，在不降低圖像重建質(zhì)量的前提下，自適應(yīng)地選取出圖像塊所需主元成分的最佳數(shù)目。在建立KPLS回歸模型時引入加權(quán)Boosting補(bǔ)償方案，給出權(quán)重系數(shù)的數(shù)學(xué)表達(dá)式。在最佳Boosting閾值d下，只需提取前m個主元成分，即可使回歸模型達(dá)到精度要求。對比實(shí)驗(yàn)結(jié)果表明，在相同計算環(huán)境下，本文算法既能得到比KPLS算法較好的重建質(zhì)量，又能提高運(yùn)算速度。

2 加權(quán)Boosting的圖像SR重建算法

2.1 KPLS回歸模型

由式(1)可知，hk與Gk,F,Y,U和V有關(guān)。其中輸出矩陣Y可以由圖像訓(xùn)練庫來確定，測試向量lk∈?1×M與輸入矩陣X之間的核函數(shù)矩陣Gk和X自身的核函數(shù)矩陣F由核函數(shù)計算得出，而成分矩陣U和V則需通過KPLS回歸模型來得到的。

在建立KPLS回歸模型時，第i( 1 ≤i≤M)次迭代后的成分矩陣為

其中i為提取的主元成分?jǐn)?shù)目，成分矩陣U和V中的向量個數(shù)隨著i的增大而增多。

然而KPLS回歸時并不需要選用全部的主元成分M。i越小，估計hk的復(fù)雜度就會越小。如何減少提取的主元成分?jǐn)?shù)目同時保證得到較精確的hk，是改善重建效果的關(guān)鍵問題。

2.2 主元成分的最佳數(shù)目

針對上述的問題，本文提出一種加權(quán)Boosting的改進(jìn)方案，利用 Boosting算法原理[13,14]來對KPLS回歸模型進(jìn)行補(bǔ)償，在每次迭代中引入權(quán)重系數(shù)。在最佳Boosting閾值d下，對每一測試向量lk構(gòu)造KPLS回歸模型時，自適應(yīng)地選取出主元成分的最佳數(shù)目m。本文算法能以較快的速度學(xué)習(xí)得到最佳成分矩陣Um和Vm，從而更快更準(zhǔn)確地計算出估計量hk。

第i( 1 ≤i≤M)次迭代后，模型預(yù)測量為

Y與第i次模型預(yù)測量矩陣之間的平方損失函數(shù)R表達(dá)式為[15]

-1和ΔYi可以通過 KPLS回歸方程計算得到，當(dāng)取得最小值時，即對式(6)求關(guān)于bi的一階導(dǎo)數(shù)，并令其為0，就可以得出第i(i≥2)次迭代的權(quán)重系數(shù)bi為

將式(7)代入式(6)中，整理得

2.3 本文算法步驟

本文提出的算法流程框圖如圖1所示。

步驟1 預(yù)處理 經(jīng)文獻(xiàn)[10]預(yù)處理后，得到訓(xùn)練 LR, HR特征向量矩陣Xs= {xi|1 ≤i≤N}和Ys= {yi|1 ≤i≤N}，以及測試向量矩陣Xt= {lk|1 ≤k≤C},x,y和l∈?1×M,N和C分別是訓(xùn)練

iik樣本數(shù)目和測試向量數(shù)目，M為向量維數(shù)。

步驟2 學(xué)習(xí)過程

(1)尋找相似樣本對 對于每一個測試向量lk，根據(jù)歐氏距離最小原則，在Xs中尋找與lk相似的n個LR/HR訓(xùn)練樣本對，以它們作為KPLS回歸模型的輸入輸出矩陣X={xi|i∈Lk,1≤i≤n}和Y={yi|i∈Lk,1≤i≤n},Lk為lk的索引集。

(2)初始化處理 對X,Y和lk進(jìn)行標(biāo)準(zhǔn)化處理[11]，本文選用徑向基核函數(shù)f(xi,xj)=exp{-||xi-xj||2/ 2s2}，計算出X自身的核函數(shù)矩陣F，以及l(fā)k與X的核函數(shù)矩陣Gk，令i=1,E1=Y,F1=F。

(3)計算成分矩陣

(a)初始化Y的成分向量vi為全為1的列向量；

(e)重復(fù)第(b)～(d)步，直至vi收斂，得到ui和vi列向量，則成分矩陣Ui={u1,…,ui}和Vi={v1,…,vi}。

(4)用加權(quán)Boosting方法對第i次模型預(yù)測量進(jìn)行補(bǔ)償

其中bi的值是根據(jù)式(7)計算得到的。

(5)計算平方損失函數(shù) 根據(jù)式(8)計算出Y與i間的平方損失函數(shù)值Ri。

(6)確定主元成分的最佳數(shù)目

其中I為n×n的單位矩陣。

(7)計算估計量hk根據(jù)主元成分的最佳數(shù)目m，得到相應(yīng)的Um和Vm，將它們代入到式(13)中即可計算出估計量hk：

其中sy和vy分別是Y的標(biāo)準(zhǔn)差向量和均值向量。

(8)判斷是否滿足結(jié)束條件

(a)當(dāng)k=C時，說明已完成對整幅測試圖像的學(xué)習(xí)過程；

(b)否則，回到第(1)步，繼續(xù)對下一個測試向量進(jìn)行學(xué)習(xí)。

步驟 3 重建 將所有hk(1 ≤k≤C)轉(zhuǎn)化為圖像塊形式，并按順序拼接成高頻特征圖像，再加上測試圖像的最近鄰插值，即可得到SR重建的初始圖像H0。

步驟4 IBP增強(qiáng) 為了增強(qiáng)H0的質(zhì)量，本文采用迭代后投影(Iterative Back-Projection, IBP)算法[16]來對H0做進(jìn)一步處理。根據(jù)梯度下降法，使用的迭代公式為

其中a和g分別是迭代步長和規(guī)整化參數(shù)，D,B和L分別是下采樣矩陣、模糊矩陣和測試圖像，p為迭代次數(shù)，1≤p≤P,P是最大迭代次數(shù)。

2.4 復(fù)雜度分析

圖1 本文算法的流程框圖

表1 本文算法的復(fù)雜度

為了分析本文算法的復(fù)雜度，主要考慮算法的4個步驟運(yùn)算，如表1所示，其中是用本文算法對測試圖像進(jìn)行SR重建時主元成分的平均數(shù)目，N1和N2分別是重建圖像的行和列數(shù)。與KPLS算法相比，主要區(qū)別在于步驟2訓(xùn)練KPLS回歸模型時所用的主元成分?jǐn)?shù)目，本文算法能自適應(yīng)地選取每個測試向量主元成分的最佳數(shù)目m，時間復(fù)雜度為O(3)，平均數(shù)目比M小，只需KPLS算法的/M倍運(yùn)算時間，空間復(fù)雜度也有所減小。

3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)中選用61幅HR圖像1)http://www.ifp.illinois.edu/～jyang29/作為訓(xùn)練圖像，下采樣因子為4，經(jīng)雙三次插值下采樣得到對應(yīng)的LR訓(xùn)練圖像，分塊大小為6×6，即M=36，不重疊分塊出84250個LR-HR樣本對。在訓(xùn)練庫中選取的樣本對數(shù)目為n=30，徑向基核函數(shù)中的標(biāo)準(zhǔn)差s=1。最大迭代次數(shù)P=20，迭代步長a和規(guī)整化參數(shù)g均為1。選用Grape和Wall測試圖像，經(jīng)雙三次插值下采樣得到對應(yīng)的模擬LR圖像，按文獻(xiàn)[10]的方法提取測試圖像的高頻信息，對高頻圖像進(jìn)行分塊，相鄰塊重疊2個像素。本實(shí)驗(yàn)是在CPU為2.33 GHz、內(nèi)存為2 GB的PC機(jī)上進(jìn)行的，編程環(huán)境為Matlab R2010a。

每個測試圖像塊在相同的主元成分?jǐn)?shù)目情況下，采用本文算法對模擬LR圖像進(jìn)行SR重建，圖2是本文算法的SR重建圖像與原始HR圖像之間的結(jié)構(gòu)相似性(Structural SIMilarity, SSIM)[17]平均值在不同主元成分?jǐn)?shù)目下的變化曲線。由圖2可以看出，當(dāng)主元成分?jǐn)?shù)目為 2～15時變化曲線呈波動趨勢；當(dāng)主元成分?jǐn)?shù)目介于16到36時，算法的SR重建效果趨于平穩(wěn)。每個測試圖像塊所需主元成分的最佳數(shù)目不盡相同，Boosting閾值d可以自適應(yīng)選取m值。

基于2.2節(jié)的理論分析，在不降低SR重建質(zhì)量的前提下，選取合適的Boosting閾值d，圖3是兩幅模擬LR圖像在不同Boosting閾值d下SSIM平均值的變化曲線。從圖 3可以看出，當(dāng)d=0.05時，SSIM值最大，SR重建效果最佳，故仿真實(shí)驗(yàn)中選取d=0.05。

圖 4給出 Grape和 Wall兩幅測試圖像在d=0.05下主元成分的最佳數(shù)目m的統(tǒng)計結(jié)果。從圖4的統(tǒng)計曲線來看，m主要集中在12～20之間，而m=36的比重很小，自適應(yīng)地選取m的方案更適用于實(shí)時的圖像SR重建。表2給出SC, KPLS和本文算法運(yùn)行時間的比較結(jié)果，其中C為測試圖像分得圖像塊的數(shù)目。SC算法針對具體的放大倍數(shù)和訓(xùn)練圖像庫，需要構(gòu)造過完備原子庫，往往要消耗10～12 h。本文算法不需事先構(gòu)建原子庫，生成訓(xùn)練數(shù)據(jù)集只需幾秒時間就能完成，然后針對每個測試圖像塊來進(jìn)行實(shí)時SR重建，本文算法在訓(xùn)練和重建階段所需的總時間比SC算法少很多。

表2 算法的運(yùn)行時間比較

圖 5給出了不同算法對 Grape測試圖像進(jìn)行SR重建的對比結(jié)果，中間框圖為SR重建圖像上的局部區(qū)域，右上角框圖為采用雙三次算法對局部區(qū)域放大 2倍的效果。從圖 5(a)～5(e)可以看出：NeedFS算法[6]會平滑局部細(xì)節(jié)；SC算法[7]較好地重建出細(xì)節(jié)信息；PLS算法[9]在邊緣區(qū)域上有混疊現(xiàn)象；KPLS算法[10]的邊緣輪廓不是很清晰；本文算法在邊緣和局部區(qū)域的細(xì)節(jié)都能得到增強(qiáng)，更接近于原始HR圖像。

為了評價各種SR算法對實(shí)際LR圖像處理的性能，從 Macao實(shí)際圖像中選取其中大小 85×85的局部區(qū)域作為實(shí)際LR圖像。采用4種方法分別對該局部圖進(jìn)行 4倍放大，重建出一幅大小為340×340的目標(biāo)圖像，圖6給出其局部區(qū)域比較結(jié)果，中間框圖為SR重建圖像上的局部區(qū)域，左下角框圖為局部放大2倍的效果。由于沒有真實(shí)HR圖像作為參考，本文采用平均梯度(Average Gradient, AG)來衡量算法的實(shí)際處理能力，AG值越大，說明圖像的相對清晰程度越高。本文算法的AG值為4.8580，均比其他3種方法的高。從主觀視覺來看，SC算法在尖頂?shù)鹊倪吘墔^(qū)域上產(chǎn)生偽影；PLS算法有毛刺邊緣；KPLS算法和本文算法的重建效果較好，但在運(yùn)行時間上，本文算法要優(yōu)于KPLS算法，KPLS算法需要1261.9 s，而本文算法只需1204.2 s。

4 結(jié)束語

圖2 不同主元成分?jǐn)?shù)目下SSIM的變化曲線

圖3 不同閾值d下SSIM的變化曲線

圖4 在d=0.05下m的統(tǒng)計結(jié)果

圖5 Grape測試圖像的SR重建效果比較

圖6 Macao實(shí)際圖像的SR重建效果比較

本文提出一種加權(quán) Boosting改進(jìn)方案來實(shí)現(xiàn)圖像超分辨率重建，能很好地解決KPLS算法選用全部主元成分導(dǎo)致計算量大的問題，推導(dǎo)出模型補(bǔ)償權(quán)重系數(shù)的數(shù)學(xué)表達(dá)式，討論分析在不同的Boosting閾值d下的SR重建效果，仿真實(shí)驗(yàn)從主元成分的最佳數(shù)目m和重建效果(主觀視覺和客觀評價指標(biāo))兩方面來比較本文算法與傳統(tǒng)算法的性能。理論分析和實(shí)驗(yàn)結(jié)果表明，本文算法的SR重建質(zhì)量和時間效率都有所改善。將加權(quán)Boosting改進(jìn)方案應(yīng)用到遙感圖像的超分辨率重建，最大限度地體現(xiàn)其優(yōu)越性和實(shí)時性，是下一步的研究重點(diǎn)。

[1]Park S C, Park M K, and Kang M G. Super-resolution image reconstruction: a technical overview[J].IEEESignal Processing Magazine, 2003, 20(3): 21-36.

[2]楊浩, 高建坡, 吳鎮(zhèn)揚(yáng). 一種新的圖像配準(zhǔn)和超分辨率重建算法[J]. 電子與信息學(xué)報, 2008, 30(1): 168-171.

Yang Hao, Gao Jian-po, and Wu Zhen-yang. A new algorithm for image registration and super-resolution reconstruction[J].Journal of Electronics&Information Technology, 2008, 30(1): 168-171.

[3]Freeman W T, Jones T R, and Pasztor E C. Example-based super-resolution[J].IEEEComputer Graphics and Applications, 2002, 22(2): 56-65.

[4]Glasner D, Bagon S, and Irani M. Super-resolution from a single image[C]. IEEE 12th International Conference on Computer Vision, Kyoto, Japan, 2009: 349-356.

[5]喬建蘋, 劉琚, 閆華, 等. 基于Log-WT的人臉圖像超分辨率重建[J]. 電子與信息學(xué)報, 2008, 30(6): 1276-1280.

Qiao Jian-ping, Liu Ju, Yan Hua,et al.. A Log-WT based super-resolution algorithm[J].Journal of Electronics&Information Technology, 2008, 30(6): 1276-1280.

[6]Chan T M, Zhang J, Pu J,et al.. Neighbor embedding based super-resolution algorithm through edge detection and feature selection[J].Pattern Recognition Letters, 2009, 30(5):494-502.

[7]Yang J, Wright J, Huang T,et al.. Image super-resolution via sparse representation[J].IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[8]李民, 李世華, 李小文, 等. 非局部聯(lián)合稀疏近似的超分辨率重建算法[J]. 電子與信息學(xué)報, 2011, 33(6): 1407-1412.

Li Min, Li Shi-hua, Li Xiao-wen,et al.. Super-resolution reconstruction algorithm based on non-local simultaneous sparse approximation[J].Journal of Electronics&Information Technology, 2011, 33(6): 1407-1412.

[9]胡宇, 趙保軍, 沈庭芝, 等. 基于偏最小二乘的人臉超分辨率重構(gòu)[J]. 北京理工大學(xué)學(xué)報, 2010, 30(9): 1098-1101.

Hu Yu, Zhao Bao-jun, Shen Ting-zhi,et al.. Facial image super-resolution reconstruction based on partial least squares[J].Transactions of Beijing Institute of Technology,2010, 30(9): 1098-1101.

[10]Wu W, Liu Z, and He X. Learning-based super resolution using kernel partial least squares[J].Image and Vision Computing, 2011, 29(6): 394-406.

[11]王惠文, 吳載斌, 孟潔. 偏最小二乘回歸的線性與非線性方法[M]. 北京: 國防工業(yè)出版社, 2006: 97-104, 215-225.

Wang Hui-wen, Wu Zai-bin, and Meng Jie. Partial Least-Squares Regression: Linear and Nonlinear Methods[M].Beijing: National Defense Industry Press, 2006: 97-104,215-225.

[12]Rosipal R and Kr?mer N. Overview and recent advances in partial least squares[J].Lecture Notes in Computer Science,2006, 3940: 34-51.

[13]Chen S, Wang J, Ouyang Y,et al.. Boosting part-sense multi-feature learners toward effective object detection[J].Computer Vision and Image Understanding, 2011, 115(3):364-374.

[14]Chang C C. A boosting approach for supervised Mahalanobis distance metric learning[J].Pattern Recognition, 2012, 45(2):844-862.

[15]Suresh S, Sundararajan N, and Saratchandran P. Risksensitive loss functions for sparse multi-category classification problems[J].Information Sciences, 2008,178(15): 2621-2638.

[16]Gao X, Zhang K, Tao D,et al.. Joint learning for single image super-resolution via coupled constraint[J].IEEE Transactions on Image Processing, 2012, 21(2): 469-480.

[17]Wang Z, Bovik A C, Sheikh H R,et al.. Image quality assessment: from error measurement to structural similarity[J].IEEE Transactions on Image Processing, 2004,13(4): 600-612.