基于分類(lèi)字典學(xué)習(xí)的遙感圖像超分辨率方法

王超 孫權(quán)森 劉佶鑫 賀金平 張從梅

（1 南京理工大學(xué)圖像工程實(shí)驗(yàn)室，南京 210094）

（2 南京郵電大學(xué)寬帶無(wú)線通信技術(shù)教育部工程研究中心，南京 210094）

（3 北京空間機(jī)電研究所，北京 100094）

0 引言

隨著航天技術(shù)的發(fā)展以及遙感器性能的不斷改進(jìn)，衛(wèi)星遙感圖像的空間分辨率[1]已發(fā)展到一個(gè)嶄新水平。然而，在遙感圖像獲取過(guò)程中，有很多因素會(huì)造成分辨率的下降，例如大氣擾動(dòng)、頻率混疊，以及成像、傳輸過(guò)程中引入的噪聲等[2]。由于硬件方法受到制造工藝和生產(chǎn)成本的限制，因此利用數(shù)字信號(hào)處理技術(shù)提高圖像分辨率的方法近年來(lái)受到廣泛關(guān)注，相關(guān)的方法被稱(chēng)為超分辨率（super resolution，SR）圖像重構(gòu)[3-4]。

現(xiàn)有的超分辨率方法大致分為三個(gè)主要研究方向：基于插值的方法、基于重建的方法和基于學(xué)習(xí)的方法。其中，基于學(xué)習(xí)的超分辨率方法由于其良好的重構(gòu)結(jié)果，成為目前的研究熱點(diǎn)。比較典型的有基于樣本（example-based）的方法[5]、鄰域嵌入（neighbor embedding）的方法[6]、支持向量回歸方法（support vector regression，SVR）[7]和稀疏表示的方法。基于稀疏表示的超分辨率重建方法最早由Yang等在2008年提出[8]，此方法具有一定的自適應(yīng)性，取得了引人矚目的結(jié)果。Yang等又在2010年對(duì)此方法進(jìn)行了改進(jìn)，加入了字典訓(xùn)練的過(guò)程[9]，確保了高低分辨率圖像塊表示系數(shù)的一致性，并降低了重建的復(fù)雜度。但其缺點(diǎn)在于重構(gòu)圖像邊緣相對(duì)光滑，一些細(xì)微的圖像結(jié)構(gòu)沒(méi)有得到恢復(fù)，重構(gòu)過(guò)程中稀疏系數(shù)獲取速度過(guò)慢。

Elad等在Yang提出方法的基礎(chǔ)上，在字典訓(xùn)練過(guò)程中采取了K-奇異值分解（K-singular value decomposition，K-SVD，其中K表示最近鄰個(gè)數(shù)）算法[10]，并采用主成分分析法（principal component analysis，PCA）降低了字典的維數(shù)，重構(gòu)過(guò)程中采取正交匹配追蹤（orthogonal matching pursuit，OMP）的方法等，提高了超分辨率重建算法的速度和重構(gòu)圖像的質(zhì)量（quality，以下同）。

然而遙感圖像的觀測(cè)范圍大，紋理信息豐富，不同地物類(lèi)型都有非常豐富的地貌特征。從目前稀疏編碼在遙感圖像重構(gòu)中的應(yīng)用效果來(lái)看，盡管通過(guò)一些措施（如選擇度量性能較好的目標(biāo)函數(shù)）能夠在一定程度上提高成像質(zhì)量，但由于遙感圖像尺寸不斷增加導(dǎo)致的數(shù)據(jù)海量化，以及需要引入過(guò)完備字典導(dǎo)致運(yùn)算開(kāi)銷(xiāo)大幅增加等問(wèn)題，大大降低了遙感圖像稀疏重構(gòu)方法的實(shí)用性。因此，如何利用現(xiàn)有的條件提高重構(gòu)運(yùn)算的效率是具有重要研究?jī)r(jià)值的課題。

本文根據(jù)遙感圖像地貌特征差異的特點(diǎn)，在字典學(xué)習(xí)的過(guò)程中，根據(jù)地物類(lèi)型的不同，訓(xùn)練多個(gè)字典；在重構(gòu)過(guò)程中，我們先對(duì)原始圖像的紋理特征進(jìn)行分類(lèi)，再使用維數(shù)較小的對(duì)應(yīng)類(lèi)別字典進(jìn)行重構(gòu)。這樣可以在保證恢復(fù)圖像質(zhì)量的同時(shí)，大幅提高重構(gòu)運(yùn)算效率。

1 基于稀疏表示的圖像超分辨率重建算法

在本節(jié)中，首先要介紹遙感圖像的退化過(guò)程，然后介紹已有的基于稀疏表示的遙感圖像超分辨率重建算法。

1.1 遙感圖像的退化模型

低分辨率遙感圖像的獲取過(guò)程可表示為

式中 yL∈RNL為獲取的低分辨率遙感圖像，NL為低分辨率圖像的維度； yH∈RNH為原始高分辨率圖像，NH為高分辨率圖像的維度； H:RNH→RNH為低通濾波器； S:RNH→RNL為下采樣算子；v~N（ 0，σ2I）為高斯白噪聲。

由此可知低分辨率遙感圖像從理想高分辨率遙感圖像獲取的過(guò)程。根據(jù)公式（1）中的成像模型，超分辨率的問(wèn)題可描述為

式中 y?H為高分辨率圖像的估計(jì)。

1.2 稀疏表示模型

設(shè)A ∈RM×τ表示過(guò)完備字典，其中M表示字典中原子的維度，τ表示字典中基原子數(shù)目，則圖像塊x ∈Rm（m表示圖像塊向量的維度）的稀疏表示模型為：

式中 α為x關(guān)于字典A的稀疏表示系數(shù)，α含有T個(gè)非零項(xiàng)，且滿足T ＜ M ? τ，即α中的大部分系數(shù)等于或接近零，只有少數(shù)不等于零的大系數(shù)。

根據(jù)流行理論，圖像塊的局部特征在投影后基本不變，因此在α充分稀疏的條件下，高分辨率圖像塊可由其對(duì)應(yīng)的低分辨率圖像塊的稀疏表示以較高的概率恢復(fù)[11]。

1.3 聯(lián)合字典訓(xùn)練

為了保證稀疏系數(shù)的一致性，Yang提出了采用聯(lián)合字典訓(xùn)練的方法[9]：

Elad等針對(duì)Yang的方法的缺點(diǎn)，提出了改進(jìn)的超分辨率方法[10]。在聯(lián)合字典訓(xùn)練過(guò)程中，對(duì)低分辨率圖像塊采用PCA進(jìn)行降維得到低分辨率圖像塊集，其中nL表示低分辨率圖像塊的維度。然后使用K-SVD[12]對(duì)低分辨率圖像塊進(jìn)行訓(xùn)練，這樣可以得到對(duì)應(yīng)的訓(xùn)練圖像塊集的稀疏表示系數(shù)向量｛αi｝和低分辨率字典DL，其中i表示圖像塊在圖像中的位置。

得到低分辨率圖像塊稀疏表示系數(shù)向量后，我們可以得到高分辨率字典DH：

式中 PH由高分辨率訓(xùn)練圖像塊集組成； Φ =[α1,α2,…αi]為稀疏系數(shù)矩陣；αi為高分辨率圖像塊的稀疏表示向量。這里Φ是行滿秩的，所以這里可以使用廣義逆求解

這樣由低分辨率圖像塊和高分辨率圖像塊位置對(duì)應(yīng)的關(guān)系即可得到高分辨率字典DH。在重構(gòu)過(guò)程中使用了貪婪算法中的OMP算法[14]，構(gòu)建稀疏系數(shù)表示向量｛αi｝，從而得到高分辨率圖像。Elad提出的方法在重構(gòu)的速度及重構(gòu)圖像的質(zhì)量方面都有了一定程度的提升。

2 基于LBP特征的分類(lèi)字典學(xué)習(xí)和遙感圖像超分辨率重構(gòu)

遙感圖像重構(gòu)運(yùn)算效率低的原因，主要有兩方面。一方面，對(duì)于本身已經(jīng)維度很高的遙感圖像信號(hào)而言，引入字典雖然能解決信號(hào)稀疏性的問(wèn)題，但是由于需要對(duì)整個(gè)字典進(jìn)行全面遍歷，這就使得運(yùn)算量大幅增加。事實(shí)上，如果能夠有效利用遙感圖像所包含的不同地物類(lèi)型的先驗(yàn)知識(shí)，來(lái)進(jìn)一步減小字典的規(guī)模，理論上是可以大幅降低稀疏表示這一環(huán)節(jié)的運(yùn)算開(kāi)銷(xiāo)的。

另一方面，遙感圖像尺寸較大造成的數(shù)據(jù)海量化也是阻礙稀疏重構(gòu)的一個(gè)重要因素。上面的分析也提到，作為高維信號(hào)的遙感圖像，將直接導(dǎo)致稀疏字典規(guī)模的增長(zhǎng)。而在稀疏編碼的框架下，如果對(duì)圖像數(shù)據(jù)先進(jìn)行識(shí)別處理，不僅能有效獲取信號(hào)的先驗(yàn)信息，而且其運(yùn)算開(kāi)銷(xiāo)也不會(huì)對(duì)整個(gè)過(guò)程造成太大負(fù)擔(dān)。

結(jié)合上述兩方面，本文將遙感圖像的不同地物類(lèi)型作為先驗(yàn)類(lèi)別信息，利用圖像的局部二值模式（local binary pattern，LBP）特征得到分類(lèi)字典，在保證重構(gòu)質(zhì)量的同時(shí)極大地優(yōu)化了稀疏編碼的搜索過(guò)程，從而達(dá)到降低運(yùn)算開(kāi)銷(xiāo)的目的。

2.1 基于地物類(lèi)型的遙感圖像分類(lèi)

進(jìn)行超分辨率重構(gòu)之前，需要先對(duì)所要重構(gòu)的遙感圖像進(jìn)行分類(lèi)，確定它的類(lèi)別，然后使用對(duì)應(yīng)類(lèi)別的分類(lèi)聯(lián)合字典進(jìn)行重構(gòu)。針對(duì)遙感圖像紋理信息豐富，不同地物類(lèi)型的紋理信息差異大的特點(diǎn)，我們選擇LBP特征進(jìn)行分類(lèi)[14]。

每個(gè)像素與鄰近像素點(diǎn)比較灰度值大小，如果大于則置于1，如果小于則置于0，然后從確定的起始位置按照順時(shí)針讀出1或0。這樣，3×3鄰域內(nèi)的8個(gè)點(diǎn)經(jīng)比較可產(chǎn)生8位二進(jìn)制數(shù)。將得到的二進(jìn)制數(shù)轉(zhuǎn)換為十進(jìn)制數(shù)即為該像素點(diǎn)的LBP特征。將一幅圖片劃分為若干的子區(qū)域，對(duì)每個(gè)子區(qū)域內(nèi)的每個(gè)像素提取LBP特征，然后，在每個(gè)子區(qū)域內(nèi)建立LBP特征的統(tǒng)計(jì)直方圖。對(duì)該直方圖進(jìn)行歸一化處理，并將每個(gè)子區(qū)域的統(tǒng)計(jì)直方圖進(jìn)行連接成為L(zhǎng)BP紋理特征向量。

為了對(duì)遙感圖像的LBP特征進(jìn)行分類(lèi)，選取支持向量機(jī)（support vector machines，SVM）方法來(lái)進(jìn)行分類(lèi)器訓(xùn)練[15-16]。

使用LBP編碼規(guī)則提取遙感圖像的LBP紋理特征向量后，使用SVM根據(jù)遙感圖像的不同類(lèi)別，訓(xùn)練多個(gè)分類(lèi)器。本文將遙感地物分為五類(lèi)，經(jīng)過(guò)測(cè)試，得出每一類(lèi)典型地物的識(shí)別準(zhǔn)確率，見(jiàn)表 1。在實(shí)際應(yīng)用中，典型遙感地物的類(lèi)別可以根據(jù)不同的應(yīng)用需求進(jìn)行確定。

表1 遙感圖像LBP特征分類(lèi)測(cè)試結(jié)果Tab.1 LBP features of remote sensing image classification test results

2.2 分類(lèi)字典學(xué)習(xí)及超分辨率重構(gòu)

根據(jù)不同的地物類(lèi)型對(duì)構(gòu)建的遙感圖像訓(xùn)練庫(kù)進(jìn)行分類(lèi)，得到多個(gè)類(lèi)別的遙感圖像訓(xùn)練庫(kù)，在每個(gè)訓(xùn)練庫(kù)上使用K-SVD的字典學(xué)習(xí)方法，訓(xùn)練得到分類(lèi)聯(lián)合字典｛D,HDL｝ω，其中ω為字典類(lèi)別。

對(duì)于低分辨率遙感圖像yL，首先對(duì)其進(jìn)行分類(lèi)，確定它的類(lèi)別ω后，即可確定重構(gòu)過(guò)程中需要使用的分類(lèi)聯(lián)合字典。然后使用雙立方插值方法得出插值圖像，按照字典學(xué)習(xí)過(guò)程中的方法，經(jīng)過(guò)特征提取和降維后，提取出圖像塊集，其中i表示圖像塊的位置。

接下來(lái)，使用貪婪算法中的 OMP算法，構(gòu)建稀疏系數(shù)表示向量｛αi｝。這樣可得出高分辨率圖像塊估計(jì)

式中 Ri為選取圖像塊的線性算子。

由式（7）得出的高分辨率圖像的估計(jì)與Elad方法中對(duì)高分辨率圖像的估計(jì)相近。如果將高分辨率塊置于適當(dāng)位置，對(duì)于重疊區(qū)域取平均，然后疊加z，這樣得到的結(jié)果是與Elad方法中對(duì)高分辨率L圖像的估計(jì)等價(jià)的。

3 試驗(yàn)與評(píng)價(jià)

為了驗(yàn)證本文方法的超分辨率重構(gòu)效果以及時(shí)間效率，使用衛(wèi)星獲取的遙感圖像，形成了五類(lèi)地形的遙感圖像測(cè)試集，包括農(nóng)田、城市、河流、機(jī)場(chǎng)、山脈，并從中選出部分圖像進(jìn)行測(cè)試。首先進(jìn)行分類(lèi)聯(lián)合字典學(xué)習(xí)；然后對(duì)測(cè)試集中的部分真實(shí)遙感圖像進(jìn)行超分辨率重構(gòu)；最后將重構(gòu)的結(jié)果與不同方法進(jìn)行對(duì)比，并使用客觀評(píng)價(jià)指標(biāo)定量分析[17]。

試驗(yàn)中，通過(guò)降采樣后得到低分辨率遙感圖像，然后使用本文提出的方法對(duì)低分辨率遙感圖像進(jìn)行超分辨率重構(gòu)。

本文采用了峰值信噪比（peak singal to noise ratio，PSNR）和結(jié)構(gòu)相似度索引（structural similarity index measurement，SSIM）為超分辨率重構(gòu)結(jié)果的定量質(zhì)量評(píng)價(jià)指標(biāo)。PSNR值越大，SSIM值越大（最大為1），則重構(gòu)圖像與參考圖像就越逼近，說(shuō)明算法效果越好。

試驗(yàn)中，超分辨率重構(gòu)比例為3︰1，塊的大小為9×9，特征采樣因子為3，字典學(xué)習(xí)過(guò)程中使用K-SVD算法，迭代次數(shù)為40次。

為了直觀地比較試驗(yàn)結(jié)果，本文從測(cè)試集中選取了一幅城市圖像展示了試驗(yàn)效果。圖1（a）為輸入的待處理低分辨率圖像，圖1（b）為原始的高分辨率圖像。

圖1 輸入的低分辨率圖像及原始高分辨率圖像Fig.1 Input of the low resolution image and the original high-resolution image

圖2為分別使用雙三次插值、基于稀疏的方法和本文方法的超分辨率重構(gòu)圖像截取左下角區(qū)域放大后的結(jié)果，從中可以更加清楚的對(duì)比重構(gòu)算法的效果。

圖2 超分辨重構(gòu)圖像左下角放大區(qū)域效果比較Fig.2 The super-resolution image magnification of the lower left corner area

本文還測(cè)試了使用維數(shù)更大的通用字典的方法，其中試驗(yàn)選取的五個(gè)類(lèi)別（城市、河流、農(nóng)田、機(jī)場(chǎng)、山脈）圖像各兩張，對(duì)應(yīng)的對(duì)比分析結(jié)果如下（樣本1和2是城市，樣本3和4是河流，樣本5和6是機(jī)場(chǎng)，樣本7和8是農(nóng)田，樣本9和10是山脈）：

圖3給出了各種方法的PSNR值、SSIM值和重構(gòu)時(shí)間。對(duì)比可以看出，相對(duì)于Yang的方法，本文提出的方法在重構(gòu)階段與使用通用字典的方法無(wú)論是PSNR值還是SSIM值，都要較高一些，同時(shí)運(yùn)行時(shí)間大大的縮短。原因是重構(gòu)時(shí)使用OMP算法，而不是Yang使用的最小絕對(duì)收縮選擇算子（least absolute shrinkage and selection operator，LASSO），從而有效提高了運(yùn)算速度；字典訓(xùn)練時(shí)使用K-SVD算法學(xué)習(xí)低分辨率字典，使用廣義逆的方法學(xué)習(xí)高分辨率字典，有效提取了遙感地物的特征信息，從而使得字典更適合表示高頻細(xì)節(jié)信息，最終有效提高了重構(gòu)質(zhì)量。與使用通用字典相比，PSNR值和 SSIM值十分接近。由圖3可以看出，在保證了重構(gòu)圖像質(zhì)量的同時(shí)，由于使用的分類(lèi)字典維數(shù)比通用字典小很多，運(yùn)行時(shí)間也相對(duì)縮短了很多，效率上大大提升。

圖3 三種重構(gòu)方法比較Fig.3 Comparison of three reconstruction methods

4 結(jié)束語(yǔ)

基于稀疏表示理論，本文提出了一種新的遙感圖像超分辨率方法。該方法在聯(lián)合字典學(xué)習(xí)的基礎(chǔ)上引入了分類(lèi)字典的概念。在超分辨率重構(gòu)的過(guò)程中，首先通過(guò)插值的方法獲得準(zhǔn)高分辨率圖像。然后，利用LBP特征對(duì)遙感圖像進(jìn)行分類(lèi)識(shí)別，從而確定圖像的類(lèi)別。最后，使用對(duì)應(yīng)的分類(lèi)字典在稀疏表示的框架下完成超分辨率重構(gòu)。基于真實(shí)遙感圖像的對(duì)比試驗(yàn)表明，該方法提高了字典有效原子的比例，大大降低了字典的維數(shù)，在保證超分辨率重構(gòu)效果的同時(shí)，在運(yùn)行時(shí)間方面表現(xiàn)出了較大的優(yōu)勢(shì)。

References)

[1] 徐青, 遙感圖像融合與分辨率增強(qiáng)技術(shù)[M]. 北京: 科學(xué)出版社, 2007. XU Qing. Remote Sensing Images Fusion and Resolution Enhancement Technology[M], Beijing: Science Press, 2007. (in Chinese)

[2] FARSIUS S, ROBINSON M, ELAD M. Fast and Robust Multiframe Super Resolution[J]. IEEE Trans. on Image Processing, 2004, 13(10): 327-134.

[3] HARRIS J L. Diffraction and Resolving Power[J]. JOSA, 1964, 54(7): 931-933.

[4] HUNT B R. Super-resolution of Imagery: Understanding the Basis for Recovery of Spatial Frequencies Beyond the Dif-fraction Limit[C].Proceedings of Information and Control, Adelaide, Australia, 1999: 243-248.

[5] FREEMAN W T, PASZTOR E C, CARMICHAEL O T. Learning Low-level Vision[J]. International Journal of Computer Vision, 2000, 40(1): 25-47.

[6] CHANG H, YEUNG D Y, XIONG Y, Super-resolution Through Neighbor Embedding[J]. IEEE Conference on Computer Vision and Pattern Recognition, 2004, 1(1): 275-282.

[7] LI D, SIMSKE S, MERSEREAU R M. Single Image Super-Resolution Based on Support Vector Regression[C]. IEEE International Joint Conference on, 2007:2898-2901.

[8] YANG J, WRIGHT J, HUANG T, et al. Image Super-resolution as Sparse Representation of Raw Image Patches[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2008: 1-8.

[9] YANG J, WRIGHT J, HUANG T S, et al. Image Super-resolution Via Sparse Representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[10] ELAD M. Sparse and Redundant Representations: from Theory to Applications in Signal and Image Processing[M]. Springer, 2010: 231-237.

[11] HE Xiaofei, NIYOGI P. Locality Preserving Projections[C]. Advances in Neural Information Processing Systems. Vancouver, Canada, 2003:153-160.

[12] AHARON M, ELAD M, BRUCKSTEIN A. The K-SVD: An Algorithm for Designing of Overcomplete Dictionaries for Sparse Representation[J], IEEE Trans. on Signal Processing, 2006, 54(11): 4311-4322.

[13] TROPP J, GILBERT A. Signal Recovery from Random Measurements Via Orthogonal Matching Pursuit[J]. Theory, 2007, 53(12): 4655-4666.

[14] 宋本欽, 李培軍. 加入改進(jìn)LBP紋理的高分辨率遙感圖像分類(lèi)[J]. 國(guó)土資源遙感, 2010, 22(4): 40-45. SONG Benqin, LI Peijun. High Resolution Remote Sensing Image Classification Based on Improved LBP Texture[J]. Land and Resources Remote Sensing, 2010, 22(4): 40-45. (in Chinese)

[15] 駱劍承, 周成虎, 梁怡, 等. 支撐向量機(jī)及其遙感影像空間特征提取和分類(lèi)的應(yīng)用研究[J]. 遙感學(xué)報(bào), 2002, 6(1): 50-55. LUO Jiancheng, ZHOU Chenghu, LIANG Yi, et al. Support Vector Machine for spatial Feature and Classification of Remotely Sensed Imagery[J]. Journal of Remote Sensing, 2002, 6(1): 50-55. (in Chinese)

[16] 劉佶鑫, 孫權(quán)森, 曹?chē)?guó). 壓縮感知稀疏識(shí)別用于多視角圖像目標(biāo)分類(lèi)[J]. 應(yīng)用科學(xué)學(xué)報(bào), 2013, 31(2): 177-182. LIU Jixin, SUN Quansen, CAO Guo. Compressed Sparse Perception Recognition for Perspective Image Target Classification[J]. Journal of Applied Sciences, 2013, 31(2): 177-182. (in Chinese)

[17] 賀金平, 阮寧娟, 何紅艷. 基于EMD的無(wú)參考圖像清晰度評(píng)價(jià)方法[J]. 航天返回與遙感, 2013, 34(5): 78-84. HE Jinping, RUAN Ningjuan, HE Hongyan. No Reference Image Sharpness Evaluation Method Based on EMD [J], Spacecraft Recovery & Remote Sensing, 2013, 34(5): 78-84.( in Chinese)