加權空-譜局部信息保持極限學習機的高光譜圖像分類算法

邢鈺佳 閆德勤 劉德山 王軍浩

摘? 要： 高光譜圖像的分類研究是高光譜圖像處理與應用的重要環節。為有效提取高光譜遙感圖像的空間信息和光譜信息，本文基于極限學習機提出新的研究。在模式識別和機器學習領域，極限學習機以其簡單、快捷和良好的泛化能力得到越來越多的關注。但由于在高光譜遙感圖像的學習過程中極限學習機缺乏對空間信息和光譜信息的有效提取，無法在分類中提供良好的分類結果。為此，基于譜局部信息的思想構造本文的研究框架，提出一種加權空-譜局部信息保持極限學習機分類算法。為驗證所提算法的有效性，本文在兩組常用的高光譜數據集Indian Pines和University of Pavia上進行實驗，通過與傳統的分類算法SVM和目前較為流行的分類算法KELM，KCRT-CK，MLR和LPKELM相比，本文算法具有較好的分類精度。

關鍵詞： 極限學習機;高光譜遙感圖像分類;加權空-譜;局部信息保持

中圖分類號： TP3 ???文獻標識碼： A??? DOI：10.3969/j.issn.1003-6970.2020.07.023

本文著錄格式：邢鈺佳，閆德勤，劉德山，等. 加權空-譜局部信息保持極限學習機的高光譜圖像分類算法[J]. 軟件，2020，41（07）：113-119+135

Hyperspectral Image Classification Algorithm for Weighted Spatial SpectralLocality Information Preserving Extreme Learning Machine

XING Yu-jia， YAN De-qin， LIU De-shan， WANG Jun-hao

（Department of Computer Science， Liaoning Normal University， Dalian 116081， China）

【Abstract】： Classification of hyperspectral images is an important part of hyperspectral image processing and application. In order to effectively extract the spatial and spectral information of hyperspectral remote sensing images， this paper proposes a new study based on extreme learning machines. In the field of pattern recognition and machine learning， extreme learning machines have attracted more and more attention due to their simplicity， speed and good generalization capabilities. However， due to the lack of effective extraction of spatial information and spectral information during the learning process of hyperspectral remote sensing images， extreme learning machines cannot provide good classification results in classification. To this end， based on the idea of spectral local information， a research framework for this paper is constructed， and a weighted spatial spectral locality information preserving extreme learning machine classification algorithm is proposed. In order to verify the effectiveness of the proposed algorithm， this paper performs experiments on two commonly used hyperspectral data sets， Indian Pines and University of Pavia， and compares with the traditional classification algorithm SVM and the currently popular classification algorithms KELM， KCRT-CK， MLR Compared with LPKELM， our algorithm has better classification accuracy.

【Key words】： Extreme learning machine; Hyperspectral image classification; Weighted spatial spectral; Locality information preserving

0? 引言

高光譜遙感圖像（HSI）是由數百個光譜帶組成的3維立體圖像，如何從中提取大量信息應用于圖像分類是遙感圖像領域面臨的一項挑戰。目前，許多機器學習算法均被應用于高光譜遙感圖像的分類任務中，諸如K-近鄰（KNN）^[1]，Logistic回歸^[2，3]，人工神經網絡（ANN）^[4]等。在這些方法中，支持向量機（SVM）^[5]已經被證明在小樣本且包含噪聲的情況下具有最優的分類精度。然而在高光譜遙感圖像的分類任務中存在著較為明顯的Hughes現象^[6]，如果將原始頻段未經處理直接應用于機器學習算法，將會對分類精度產生較大的計算負擔。為應對這種問題，文獻[7]將圖形模型轉移到地址頻帶選擇問題上，通過捕獲高光譜帶之間的多重依存關系，提供了一種有效的搜索策略來選擇最佳頻帶。文獻[8]使用確定點處理來選擇代表性頻帶，并保留頻譜頻帶的相關原始信息，通過在所選頻段上執行多個拉普拉斯特征圖（LE）來進一步提高分類性能。文獻[9]為整合光譜和空間信息達到更好的分類效果，提出了一種獲取空間信息簡潔有效的方法引導式過濾算法。文獻[10]采用稀疏表示和加權復合特征（WCF）的概率建模來得出優化的輸出權重并提取空間特征，以構建一種高光譜遙感圖像光譜空間分類的新框架。

最近，Huang等人^[11]提出了一種有效的單隱層前饋神經網絡（SLFN）算法，即極限學習機（ELM）。極限學習機隨機生成與訓練樣本無關的節點參數。因此，用戶只需要預定義關于網絡架構的參數，即隱藏層節點的數量，這使得算法在調優過程中節省了大量時間。與此同時，極限學習機利用神經網絡機制分析性地獲取輸出層的輸出權重，而支持向量機則采用迭代優化算法進行訓練獲得輸出權重，這就使極限學習機的學習速度比支持向量機更快。此外，在多分類任務中，極限學習機使用OAA策略，而支持向量機使用OAO策略，這就使極限學習可以進一步縮短訓練過程和測試過程中的計算時間^[12]。文獻[13]提出了一種將兩級融合（即特征級融合和決策級融合）與全局Gabor特征和原始頻譜特征一起應用于局部二進制模式（LBP）提取特征的框架，并采用結構非常簡單的高效極限學習機作為分類器來提高高光譜遙感圖像的分類效果。文獻[14]構建了多層ELM以實現來自HSI的有效有限元分析。文獻[15]提出了一種用于遙感圖像分類的基于極限學習機的異構域自適應（HDA）算法。然而，高光譜遙感圖像是通過遠距離遙感拍攝捕捉的，會出現信號失真、格式錯誤和頻譜雜波等問題^[16]。不充分和錯誤標記的樣本使得高光譜遙感圖像分類變得更具挑戰性^[17]，為應對這種問題，文獻[18，19，20]提出一種基于核的方法并將其應用于高光譜遙感圖像的分類任務中。基于核的方法通過將數據從原始輸入空間映射到高維Hilbert空間來提高學習模型對線性不可分數據的分離能力，支持向量機和極端學習機是近年來用于基于核的高光譜遙感圖像分類領域的主要方法^[18，21-23]。文獻[24]提出了一種基于核的ELM，通過實驗驗證了基于核的ELM在土地覆蓋分類中的分類效果優于SVM，并且在很大的程度上降低了計算復雜度。文獻[25]提出一種新的廣義復合核框架被用于高光譜圖像分類。文獻[26]將高光譜圖像數據樣本的流行結構引入到了ELM的模型中，來提高其分類效果。基于核的極限學習機作為一種特殊的單隱層神經網絡，學習時間相對較短，并為最小范數和最小二乘的非線性問題提供更優的解決方案而脫穎而出。

研究表明，基于核的極限學習機作為一種特殊的單隱層前饋神經網絡在遙感圖像分類任務中取得了良好的分類效果，但是基于核的極限學習機在有監督的高光譜遙感圖像分類中仍存在著學習不充分、缺乏空間信息等問題。本文為充分利用高光譜遙感圖像的空譜信息，基于流形學習的思想以及最新核技術方法的啟發^[27-29]，提出一種加權空-譜局部信息保持極限學習機（weighted spatial spectral locality information preserving extreme learning machine，WSSLPKELM）。該算法利用高光譜遙感圖像的空間信息和光譜信息的有效結合，來對高光譜遙感圖像進行預處理，有效地提高了高光譜遙感圖像的分類精度，并利用流形學習的思想將高光譜遙感圖像數據樣本的幾何結構信息和判別信息引入到ELM模型中，彌補了ELM在高光譜遙感圖像分類中學習不充分、空間信息利用不充分的問題。為了評價和驗證所提方法的有效性，使用Indian Pines，University of Pavia兩個常用的高光譜遙感圖像數據集進行實驗，將本文所提出的方法與SVM^[5]，KELM^[24]，KCRT-CK^[20]，MLR^[25]，LPKELM^[26]算法進行對比，實驗結果表明本文所提算法具有最優的分類效果。

本文的其余部分安排如下：第二部分介紹核極限學習機;第三部分介紹提出的加權空-譜局部信息保持極限學習機算法;第四部分利用兩個高光譜數據集進行實驗，并給出實驗結果及分析;第五部分對所提算法進行總結。

3 ?高光譜遙感圖像分類實驗

3.1 ?實驗數據

在實驗中，使用Indian Pines和University of Pavia兩個高光譜數據集來評估所提出算法的性能。兩個HSI圖像的簡要介紹如下。

印度松樹Indian Pines：該圖像是被AVIRIS傳感器收集在印第安納州西北部的印度松樹測試場地上的。圖像大小為145×145像素，有200個波段，波長范圍為400-2500 nm，被分為16類。通過去除覆蓋吸水區域的頻帶，頻帶的數量已減少到200。由于所有可用類別中混合像素的顯著存在以及每類可用標記像素的不平衡數量，針對此場景的分類問題具有十足的挑戰性。印度松樹高光譜遙感圖像在灰度和地面實況圖中的第25個波段有9個不同的類別，如圖2所示。

帕維亞大學University of Pavia：該圖像是在意大利北部帕維亞的一次飛行活動中被ROSIS傳感器采集的。圖像大小為610×340像素（覆蓋0.4-0.9μm的波長范圍），有103個光譜帶，波長在430和860nm之間。有九個不同的類。在本次實驗中，去除12個最有噪聲的頻帶，使用115個頻帶中的103個。帕維亞大學HSI在灰度和地面實況圖中的第50個波段有9個不同的類別，如圖3所示。

3.2 ?實驗和參數設置

對于兩個圖像，隨機選擇來自每個類別的1%標記樣品用于訓練，并且將剩余樣品用于測試。加權空-譜算法（WSS）的窗口大小。本文所提算法WSSLPKELM使用RBF核。在本文中，通過總體分類精度（OA），平均分類精度（AA）和kappa系數來比較不同的算法，其中OA是測試集中分類正確的樣本個數占所有樣本個數的比例，AA是每個類的分類準確度。所有實驗均在具有4.00GB RAM的Intel i3-3240 3.40GHz機器上使用MATLAB R2011a進行。

3.3 ?實驗結果與分析

3.3.1 ?Indian Pines圖像數據實驗結果

在本節中，將本文所提算法WSSLPKELM與SVM，KELM，KCRT-CK，MLR，LPKELM算法的分類結果進行對比。通過對比測試集上的分類精度OA，AA和kappa系數來衡量每種算法的分類性能。六種分類方法在Indian Pines圖像數據上的分類結果如表1所示。

由表1可知，WSSLPKELM算法與SVM，KELM，KCRT-CK，MLR，LPKELM算法相比，總體分類精度OA，平均分類精度AA和Kappa系數均有所提升。

3.3.2 ?University of Pavia圖像數據實驗結果

在本節中，將本文所提算法WSSLPKELM與SVM，KELM，KCRT-CK，MLR，LPKELM的分類結果進行對比。通過對比測試集上的分類精度OA，AA和kappa系數來衡量每種算法的分類性能。六種分類方法在University of Pavia圖像數據上的分類結果如表2所示。

表2給出六種不同算法在University of Pavia圖像數據上的分類精度OA，AA和Kappa系數。可以看出WSSLPKELM算法的分類結果要優于SVM，KELM，KCRT-CK，MLR，LPKELM算法。

通過表1和表2的對比實驗結果可以看出，WSSLPKELM算法的分類性能優于其他五種分類算法，其原因在于WSSLPKELM結合高光譜遙感圖像的空間結構特性，充分考慮高光譜遙感圖像像素間在空間上的分布特性，利用高光譜遙感圖像空間信息和光譜信息的結合對高光譜遙感圖像進行預處理，有效地提高高光譜遙感圖像的分類精度，并利用流形學習的思想將高光譜遙感圖像數據樣本的幾何結構信息和判別信息引入到核極限學習機模型中，彌補核極限學習機在高光譜遙感圖像分類中學習不充分、空間信息利用不充分等問題。

3.4 ?WSSLPKELM的參數分析

在本節中，重點分析一下兩種不同遙感數據集下近鄰窗口尺度w對WSSLPKELM算法的性能是如何影響的。加權空譜算法的窗口大小，核極限學習機使用RBF核，實驗結果如圖4、5所示。

根據圖4可以看出，在Indian Pines數據集上分類精度總體趨勢上隨著近鄰尺度的增長先增后降。當近鄰窗口大小達到11時算法具有最優的分類精度，而后在近鄰窗口達到13時分類精度降低較為明顯。通過分類精度可以反映出近鄰尺度的大小影響著算法的分類精度，綜合多角度因素本文在實驗中將近鄰窗口尺度大小設置為11。

根據圖5可以看出，在University of Pavia數據集上分類精度總體趨勢上隨著近鄰尺度的增長先增后降。當近鄰窗口大小達到13時算法具有最優的分類精度，而后在近鄰窗口達到15時分類精度降低較為明顯。通過分類精度可以反映出近鄰尺度的大小影響著算法的分類精度，綜合多角度因素本文在實驗中將近鄰窗口尺度大小設置為13。

4 ?結束語

本文中提出一種新的加權空-譜局部信息保持極限學習機WSSLPKELM。為了更加有效的提高高光譜遙感圖像的分類精度，該算法通過以下策略進行處理。首先，該算法通過將高光譜遙感圖像的空間信息和光譜信息結合起來對高光譜遙感圖像進行預處理;然后，捕獲預處理數據內部的流形正則化框架并通過局部保持算法LPP獲取數據的判別性離散度矩陣;最后，將判別性離散度矩陣引入到核極限學習機中對高光譜遙感數據進行分類。通過與SVM，KELM，KCRT-CK，MLR，LPKELM算法進行比較，可以充分地證明本文所提算法WSSLPKELM針對高光譜遙感數據具有較好的分類效果。但是，由于相關預處理及流形框架以正則項添加到目標函數中，在一定程度上增加了算法的計算復雜度，在接下來的科研中將重點針對此方面進行重點突破。

參考文獻

1. Kuo B C， Yang J M， Sheu T W， et al. Kernel-based KNN and Gaussian classifiers for hyperspectral image classification [C]//IGARSS 2008-2008 IEEE International Geoscience and Remote Sensing Symposium. IEEE， 2008， 2： II-1006-II-1008.

2. B?hning D. Multinomial logistic regression algorithm[J]. Annals of the institute of Statistical Mathematics， 1992， 44（1）： 197-200.

3. Li J， Bioucas-Dias J M， Plaza A. Semisupervised hyperspectral image segmentation using multinomial logistic regression with active learning[J]. IEEE Transactions on Geoscience and Remote Sensing， 2010， 48（11）： 4085-4098.

4. Ratle F， Camps-Valls G， Weston J. Semisupervised neural networks for efficient hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing， 2010， 48（5）： 2271-2282.

5. Melgani F， Bruzzone L. Classification of hyperspectral remote sensing images with support vector machines[J]. IEEE Transactions on geoscience and remote sensing， 2004， 42（8）： 1778-1790.

6. Joy A A， Hasan M A M， Hossain M A. A Comparison of Supervised and Unsupervised Dimension Reduction Methods for Hyperspectral Image Classification[C]//2019 International Conference on Electrical， Computer and Communication Engineering （ECCE）. IEEE， 2019： 1-6.

7. Yuan Y， Zheng X， Lu X. Discovering diverse subset for unsupervised hyperspectral band selection[J]. IEEE Transactions on Image Processing， 2016， 26（1）： 51-64.

8. Zheng X， Yuan Y， Lu X. Dimensionality reduction by spatial-spectral preservation in selected bands[J]. IEEE Transactions on Geoscience and Remote Sensing， 2017， 55（9）： 5185- 5197.

9. Wang L， Zhang J， Liu P， et al. Spectral-spatial multi-feature- based deep learning for hyperspectral remote sensing image classification[J]. Soft Computing， 2017， 21（1）： 213-221.

10. Cao F， Yang Z， Ren J， et al. Sparse Representation-Based Augmented Multinomial Logistic Extreme Learning Machine With Weighted Composite Features for Spectral–Spatial Classification of Hyperspectral Images[J]. IEEE Transactions on Geoscience and Remote Sensing， 2018， 56（11）： 6263- 6279.

11. Huang G B， Zhu Q Y， Siew C K. Extreme learning machine： theory and applications[J]. Neurocomputing， 2006， 70（1-3）： 489-501.

12. Huang G B， Zhou H， Ding X， et al. Extreme learning machine for regression and multiclass classification[J]. IEEE Transactions on Systems， Man， and Cybernetics， Part B （Cybernetics）， 2011， 42（2）： 513-529.

13. Li W， Chen C， Su H， et al. Local binary patterns and extreme learning machine for hyperspectral imagery classification[J]. IEEE Transactions on Geoscience and Remote Sensing， 2015， 53（7）： 3681-3693.

14. Cao F， Yang Z， Ren J， et al. Local block multilayer sparse extreme learning machine for effective feature extraction and classification of hyperspectral images[J]. IEEE Transactions on Geoscience and Remote Sensing， 2019.

15. Zhou L， Ma L. Extreme Learning Machine-Based Heterogeneous Domain Adaptation for Classification of Hyperspectral Images[J]. IEEE Geoscience and Remote Sensing Letters， 2019.

16. Bolton J， Gader P. Application of multiple-instance learning for hyperspectral image analysis[J]. IEEE Geoscience and Remote Sensing Letters， 2011， 8（5）： 889-893.

17. Camps-Valls G， Tuia D， Bruzzone L， et al. Advances in hyperspectral image classification： Earth monitoring with statistical learning methods[J]. IEEE signal processing magazine， 2013， 31（1）： 45-54.

Camps-Valls G， Gómez-Chova L， Calpe-Maravilla J， et al. Robust support vector method for hyperspectral data classification and knowledge discovery[J]. IEEE Transactions on Geoscience and Remote sensing， 2004， 42（7）： 1530-1542.

Han M， Liu B. Ensemble of extreme learning machine for remote sensing image classification[J]. Neurocomputing， 2015， 149： 65-70.

Li W， Du Q， Xiong M. Kernel collaborative representation with Tikhonov regularization for hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters， 2014， 12（1）： 48-52.

Mountrakis G， Im J， Ogole C. Support vector machines in remote sensing： A review[J]. ISPRS Journal of Photogrammetry and Remote Sensing， 2011， 66（3）： 247-259.

Pal M， Maxwell A E， Warner T A. Kernel-based extreme learning machine for remote-sensing image classification[J]. Remote Sensing Letters， 2013， 4（9）： 853-862.

Chen C， Li W， Su H， et al. Spectral-spatial classification of hyperspectral image based on kernel extreme learning machine[J]. Remote Sensing， 2014， 6（6）： 5795-5814.

Pal M， Maxwell A E， Warner T A. Kernel-based extreme learning machine for remote-sensing image classification[J]. Remote Sensing Letters， 2013， 4（9）： 853-862.

Li J， Marpu P R， Plaza A， et al. Generalized composite kernel framework for hyperspectral image classification[J]. IEEE transactions on geoscience and remote sensing， 2013， 51（9）： 4816-4829.

何陽， 閆德勤， 劉德山. 局部信息保持極限學習機的遙感圖像分類[J]. 計算機應用與軟件， 2019， 36： 1.

Pal M， Maxwell A E， Warner T A. Kernel-based extreme learning machine for remote-sensing image classification[J]. Remote Sensing Letters， 2013， 4（9）： 853-862.

Li L， Wang C， Li W， et al. Hyperspectral image classification by AdaBoost weighted composite kernel extreme learning machines[J]. Neurocomputing， 2018， 275： 1725-1733.

Li W， Du Q， Xiong M. Kernel collaborative representation with Tikhonov regularization for hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters， 2014， 12（1）： 48-52.

阿茹罕， 何芳， 王標標. 加權空-譜主成分分析的高光譜圖像分類[J]. 國土資源遙感， 2019， 31（2）： 17-23.

Pal M， Maxwell A E， Warner T A. Kernel-based extreme learning machine for remote-sensing image classification[J]. Remote Sensing Letters， 2013， 4（9）： 853-862.

Argyriou A， Micchelli C A， Pontil M. When is there a representer theorem？ Vector versus matrix regularizers[J]. Journal of Machine Learning Research， 2009， 10（Nov）： 2507-2529.