基于流形光譜降維和深度學習的高光譜影像分類

師 蕓，馬東暉，呂 杰，李 杰，史經儉

（西安科技大學測繪科學與技術學院，西安710054）

0 引 言

高光譜影像（hyperspectral image，HSI）具有豐富的光譜信息，在林業、農業、地學等領域具有廣泛的應用前景，對高光譜影像進行分類是獲取高光譜影像信息的重要手段之一[1-3]。為解決高光譜影像分類中存在的小樣本、多維度、相關性和非線性等問題，國內外研究人員對此進行了大量研究[4]，按照標記樣本數量的不同可分為監督分類、無監督分類、半監督分類。監督分類如神經網絡（neural networks，NN）、支持向量機（support vector machine，SVM）[5]和決策樹 （decision tree）[6]等，都取得了較好的結果。無監督分類常用的方法有K均值聚類（k-means clustering algorithm）[7]、 譜 聚 類 （spectral clustering）[8]等。半監督分類是監督分類與無監督分類相結合的一種方法，De Morsier等[9]提出了一種基于空間－光譜標簽傳播的半監督分類方法，使用支持向量機作為分類器，參數對分類結果影響較大。傳統分類方法雖然取得了一定的效果，但難以提取高光譜影像的深層特征。

深度學習作為機器學習的一個分支，在圖像分類和地物識別等領域均取得了優異的成績[10-11]。Lecun等[12]提出著名的LeNet-5模型，首次應用了卷積神經網絡（convolutional neural networks，CNN），但受制于計算機硬件水平，當時并沒有引起重視。2012年Krizhevsky等[13]提出的Alexnet模型在ImageNet競賽中取得2個第一名，由此引發了研究人員的極大關注。近年來，深度學習在高光譜遙感影像分類中表現出優異的性能。Chen等[14]首次將深度學習應用于高光譜數據分類，提出一種堆棧自編碼器（stacked autoencoder，SAE），對高光譜影像進行主成分分析后，將空間信息和光譜信息輸入SAE進行分類，取得了較高的精度，但SAE采用了全連接的方式，導致了網絡參數過多，訓練用時過長。Romero等[15]利用深度卷積神經網絡對高光譜影像進行分類，采用了一種逐層貪婪預訓練的策略，學習輸入圖像的分層稀疏表示，與單層網絡相比，深層網絡能更好地提取空間－光譜特征，但同時也存在過擬合等問題。Li等[16]提出一種基于像對特征（pair of pixel feature，PPF）高光譜影像分類方法，利用CNN從高光譜影像中提取像對模型并構建深層像對特征，采用聯合分類器進行分類，有效改善了帶標記的訓練樣本的不足問題，進一步提升了模型的特征提取能力，但犧牲了運算資源和運算時間。上述算法雖然表現出優異的分類性能，但同時也存在模型較為復雜、運算時間過長等問題。如何提高高光譜影像分類精度的同時保證運算效率，是當前高光譜影像分類領域亟待解決的問題。

高光譜影像各個波段之間的數據冗余降低了分類的精度[17]，增加了分類用時。流形學習（manifold learning）作為機器學習領域的一個熱點研究方向，旨在從原始高維數據中恢復低維流形結構，并求出相應的嵌入映射，以實現維數約簡[18]。根據投影方式的不同可將流形學習分為線性流形學習算法和非線性流形學習算法。線性算法如線性判別分析（linear discriminant analysis，LDA）算法，是一種監督學習的降維方法，核心思想是投影后類內方差最小，類間方差最大[19]。非線性算法如局部線性嵌入（locally linear embedding，LLE）算法，假定高維空間任意點都可以由其鄰域點和對應權值表示，可以在低維空間中恢復其局部線性特征從而實現 降 維[20]； 隨 機 鄰 域 嵌 入 （stochastic neighbor embedding，SNE）算法通過將數據點之間的歐氏距離轉化為條件概率來在低維空間中表示其高維相似性[21]；t分布隨機鄰域嵌入（t-distribution stochastic neighbor embedding，t-SNE）算法是對SNE算法的改進，將高維空間模擬成高斯分布，將低維空間模擬成t分布，t分布長尾的特性使得數據點能夠在低維空間中更均勻地分布[22]。近年來，相關學者將上述算法應用于高光譜影像降維中，Wang等[23]在LDA算法的基礎上提出一種局部自適應判別分析（locality adaptive discriminant analysis，LADA）算法，對高光譜數據的局部流形結構具有更好的自適應性。Tang等[24]提出一種局部線性嵌入稀疏表示（locally linear embedding sparse representation， LESR）算法，在LLE的基礎上采用基于流形的稀疏表示算法，利用測試樣本在相應稀疏表示中的局部結構來增強相鄰樣本稀疏表示的平滑性。Zhao和Du[25]提出了一種基于空間－光譜特征的分類框架，采用平衡局部判別嵌入算法進行（balanced local discriminant embedding，BLDE）降維，使用卷積神經網絡提取空間特征并分類，在對高光譜影像的試驗中取得了較好的結果。

針對高光譜數據分類時存在的運算速度慢、難以充分利用局部特征等問題，本研究提出了一種基于流形光譜特征的高光譜影像分類算法（manifold spectral feature based classification，MSFC），將MSFC應用于Indian Pines、Pavia University和Pavia Center 3個高光譜數據集，降維后采用卷積神經網絡進行特征提取并分類，驗證所提算法的精度與可靠性。

1 方 法

1.1 t分布隨機鄰域嵌入算法

t分布隨機鄰域嵌入算法是一種非線性降維算法，原始高光譜數據處于一個高維流形空間上，利用條件概率分布來描述像點之間的相似性，記高維流形空間內有n個像點的有限高維數據 X={X1,X2,···,Xn}? RD，每個像點的維度為D，記高維像點到低維像點之間的映射為Y={Y1,Y2,···,Yn}? Rd，每個像點的維度為d。

對于每個數據點i和每個潛在的鄰近點j，計算條件概率pij，即選擇j作為i鄰近點的概率，此處定義一個對稱的聯合概率分布，使得pj|i=pi|j，qj|i=qi|j，則高維空間概率分布pij為

式中pj|i為高維空間中數據點i選擇j作為其鄰近點的條件概率，n為像點的個數。采用自由度為1的t分布代替高斯分布，作為映射到低維空間中的分布。低維空間概率qij分布為

式中yi和yj為高維數據點在低維空間的映射，k為困惑度，對于自由度為1的t分布，在低維映射中較大的點對距離(1+||yi-yj||2)-1與||yi-yj||的平方近似成反比，這使得映射對于距離較遠的點，其聯合概率表示幾乎不受空間規模變化的影響，同一簇內的點聚合的更緊密，不同簇之間的點更加疏遠。

1.2 卷積神經網絡

卷積神經網絡是一種專門用來處理具有類似網格結構的數據的神經網絡，通常由若干個卷積層（convolution layer）、池化層（pooling layer）、全連接層（fully connected layer，FC）組成。CNN前幾層由卷積層和池化層交替構成，后面由若干全連接層構成[26]。卷積層具有強大的特征學習能力，能夠進行層次化的特征提取，卷積層后作用一個整流線性函數（rectified linear units，ReLU）作為激活函數，采用ReLU函數能夠將神經網絡的訓練速度提升數倍，而并不會對模型的泛化準確度造成顯著影響[27]。池化層能夠縮減模型的大小，同時提高所提取特征的魯棒性，全連接層作為分類器，以卷積層提取的特征作為輸入，將學到的分布式特征表示映射到樣本標記空間。

本研究卷積神經網絡結構如圖1所示。輸入網絡的訓練樣本像素大小為37×37×B，其中B是降維后的樣本波段數量，在卷積層C1使用500個像素大小為9×9的卷積核對輸入的高光譜影像進行卷積操作，之后附加一個激活函數以增加輸出的非線性特征，輸出像素大小為29×29的500張特征圖，然后在池化層P1進行窗口像素大小為2×2的最大池化操作，輸出像素大小為14×14的500張特征圖，此時特征圖尺寸進一步縮小，從而在下一層提取更深層次的特征；在卷積層C2使用像素大小為3×3的卷積對輸入圖像進行卷積操作，此處附加同樣的激活函數，輸出像素大小為12×12的500張特征圖，在池化層P2進行窗口像素大小為2×2的最大池化操作，輸出像素大小為5×5的500張特征圖，隨后將所有特征圖輸入全連接層FC1和全連接層FC2中，將之前提取到的所有特征進行綜合并分類。

二維卷積運算的過程如圖2所示，卷積層的第1個參數稱為輸入（input），第2個函數為核函數（kernel function），核函數窗口在輸入矩陣上依次滑動進行卷積運算，輸出得到特征映射（feature map，S）。在CNN中，輸入的通常是多維數組的數據，以1張二維圖像I作為輸入，使用卷積核K在多個維度上進行卷積運算，如式（3）所示

式中m和n為輸入圖像的尺寸，i和j分別是進行卷積運算的行和列。

圖1 卷積神經網絡結構Fig.1 Structure of convolutional neural network

圖2 二維卷積運算過程Fig.2 Calculation process of two dimensional convolution

圖3為本研究算法流程圖，t-SNE算法的目的是對輸入的高光譜數據進行維數約簡，降低波段間的冗余，確定參數降維維數（reduced dimension，d）和困惑度（perplexity，k）之后對3個數據集進行降維，將降維后的高光譜數據輸入卷積神經網絡網絡，卷積神經網絡具有強大的深層次特征提取能力，能夠提取高光譜數據的空間－光譜聯合特征，在分類結束后進行精度評價。

圖3 基于流形光譜特征的高光譜影像分類流程圖Fig.3 Flow chart of hyperspectral image classification based on manifold spectral feature

2 試驗與結果分析

首先，與主成分分析（principal component analysis，PCA）、局部自適應判別分析（locality adaptive discriminant analysis，LADA）、局部線性嵌入稀疏表示（locally linear embedding sparse representation， LESR）和隨機鄰域嵌入（stochastic neighbor embedding，SNE）等降維算法進行對比，驗證本研究降維算法的可靠性，隨后對降維后的高光譜數據集進行分類，并與近年來提出的2種降維－分類算法和3種空間－光譜聯合分類算法進行對比。在3個公開的高光譜數據集上進行試驗，對3個數據集進行降維，將降維后的高光譜數據輸入CNN中進行特征提取并分類，采用總體精度（overall accuracy，OA）和Kappa系數作為評價指標。

試驗硬件環境為Intel i5 8500 CPU 3.9GHz、NVIDIA GTX 1060 3GB GPU和16GB RAM，軟件環境為MATLAB R2014a和基于Python3.5的TensorFlow，使用NVIDIA CUDA 9.0進行GPU加速計算。

2.1 數據準備

本次試驗采用了3個高光譜數據集，將3個數據集按訓練集75%和測試集25%的比例劃分。其中，印第安松林（Indian Pines）數據集是由機載可見光/紅外成像光譜 儀 （airborne visible infrared imaging spectrometer，AVIRIS）在美國印第安納州西北部的試驗田獲取（表1），像素大小為145×145、波長為0.4～2.5μm，空間分辨率約為18 m，去除覆蓋吸水區域的波段后包含200個波段；帕維亞中心（Pavia Center）數據集是由反射光學系統成像光譜儀（reflective optics system imaging spectrometer，ROSIS）獲取的意大利北部帕維亞地區的場景（表2），像素大小為1 096×715，去除不可用波段后包含102個波段，空間分辨率約為1.3 m；帕維亞大學（Pavia University）數據集是由ROSIS獲取的意大利帕維亞大學的場景（表3），像素大小為610×340，波長為0.43～0.86μm，空間分辨率約為1.3 m，去除吸水區域和低信噪比的波段后包含103個波段。

表1 印第安松林數據集地物類別和劃分Table 1 Ground classification and division of Indian Pines data set

表2 帕維亞中心數據集地物類別和劃分Table 2 Ground classification and division of Pavia Center data set

表3 帕維亞大學數據集地物類別和劃分Table 3 Ground classification and division of Pavia University data set

2.2 流形學習降維

為驗證本研究所提算法的可靠性，與其他4種降維算法進行比對，對Pavia Center數據集進行可視化，每類地物選取100個樣本點并投影至二維空間。降維后的散點圖如圖4所示。PCA和LADA算法類內可分性較差，邊緣區域的水體和柏油路分離明顯，但其他類別幾乎都重疊在一起，原因是這2種算法沒有很好的考慮局部特征；對于LESR算法，柏油路、水體和梅朵斯公園3類能夠較好地分離，但由于所用高光譜數據龐大，難以顧及所有特征，其余類別仍有重疊，可分性較差；SNE算法的可視化效果有所提升，同一類別的數據點映射至二維空間基本能聚集在一起，但類間可分性較差，邊界處的數據點難以劃分，存在“擁擠問題”；采用了t分布代替高斯分布的t-SNE算法表現出良好的類內聚集性和類間可分性，明顯優于其他算法。

圖4 Pavia Center數據集在不同特征空間的散點圖Fig.4 Scatter plots of Pavia Center data set in different feature spaces

降維尺度對于分類結果至關重要，為了確定最佳降維尺度d，設置了維度2～30的降維試驗，如圖5所示，3個數據集的總體精度都與約簡的維數近似成正比，顯著降低了“休斯（Hughes）”現象的影響，部分算法如LESR和SNE等出現了分類精度隨著d先提高后降低的現象，表明d不是越高越好。將Indian Pines數據集d設為20，Pavia Center數據集d設為16，Pavia University數據集d設為18，分別取得了較好的分類結果。算法中另一參數困惑度k與分類精度的關系如圖6所示，通過試驗最終確定k為30。

圖5 不同數據集在不同降維維度的分類結果Fig.5 Classification of different data sets in different dimensionality reduction dimensions

圖6 困惑度對t-SNE算法的精度影響Fig.6 Effect of perplexity on the accuracy of t-SNE algorithm

2.3 CNN模型參數的設置

在確定降維維度d和困惑度k之后，將降維后的數據作為輸入層，利用CNN進行特征提取并分類。初始學習率為0.01，最大迭代次數4 000次，批處理參數為100，使用AdaGrad算法進行參數更新，網絡參數如表4所示。

表4 卷積神經網絡結構Table 4 Structure of convolutional neural network

2.4 結果與分析

6種算法的總體精度和Kappa系數如表5所示，分類精度如表6～表8所示。

由表5可知，CNN、基于像對特征的卷積神經網絡（convolutional neural networks-pair of pixel feature，CNNPPF）和MSFC均為卷積神經網絡模型，總體精度和Kappa系數表現均優于其他3種機器學習算法，其中MSFC算法在3個數據集中分類的總體精度和Kappa系數最高，相較于其他5種算法取得了顯著的提升，總體精度均在98%以上。橫向對比MSFC算法，在Pavia Center數據集上總體精度最高，由于該數據集地物分布較為單一，主要由水體和瓦片組成，混合像元數量相對較少，而地物類型復雜容易產生回混合像元[28]；卷積神經網絡的性能依賴于訓練樣本的數量，Pavia Center數據集的訓練樣本和測試樣本數量分布較為均勻，與其他2個數據集相比，各類地物的訓練樣本占比均衡，能夠更好地發揮深度學習模型的特征提取能力，因此總體精度最高。

由表6～表8可以看出，對于Indian Pines數據集的各類地物，MSFC算法均取得了較高的分類精度，其中作物的分類精度明顯高于非作物的分類精度，其原因可能與作物生長周期較短，光譜特征變化明顯有關，少耕大豆的分類精度最高，達到99.98%，其余各類作物分類精度均在98%以上。石-鋼-塔和建筑-草分類精度較低，這些地物占比較小且訓練樣本數量較少，光譜特征較為單一，難以提取其空間－光譜特征；對于Pavia Center數據集的各類地物，MSFC算法分類精度均在97%以上，水體和瓦片2種地物占比較大，純凈像元指數較高，因此分類精度較高，分別為98.89%和99.82%，磚路的訓練樣本占比最少，且位分布于瀝青和陰影之間，容易產生混合像元，因此分類精度最低；對于Pavia University數據集的各類地物，MSFC算法相比其他算法取得了更好的分類結果，訓練樣本數量較多的柏油路、梅朵斯公園、金屬板和裸土分類精度均在99%以上，而陰影和瀝青的訓練樣本數量較少，難以充分提取其空間特征，導致分類精度較低。此外，與其他算法相比，MSFC算法在3個數據集上分類用時均為最短。

表5 不同算法的總體精度和Kappa系數Table 5 Overall accuracy and Kappa coefficient of different algorithms

表6 印第安松林數據集分類精度Table 6 Classification accuracy of Indian Pines data set

表7 帕維亞中心數據集分類精度Table 7 Classification accuracy of Pavia Center data set

表8 帕維亞大學數據集分類精度Table 8 Classification accuracy of Pavia University data set

各個數據集的分類結果如圖7～圖9所示。對Indian Pines數據集的分類結果如圖7c～7h所示。所有算法對于小麥和少耕大豆表現出較好的分類結果，這2種地物形態學上呈現出規則和聚集的分布形態，能夠較好地提取其空間特征，而對于免耕玉米都出現了不同程度的誤分現象，其原因可能與交錯種植有關。局部自適應判別分析－神經網絡（locality adaptive discriminant analysisneural networks，LADA-NN）和CNN-PPF算法對于免耕大豆和玉米誤分較為嚴重，其原因可能是地物樣本太少，未能充分提取空間特征，CNN和LADA-NN算法將免耕大豆誤分為少耕大豆。對于此類小樣本地物，MSFC算法體現出了更好的分類結果，總體精度達到99.05，明顯高于其他方法。其他5類方法總體精度分別為91.74%、93.10%、94.35%、94.39%和94.42%；Pavia Center數據集分類結果如圖8c～8h所示。對比算法對于瓦片均表現出良好的分類結果，而對于水體則存在不同程度的誤分現象，局部自適應判別分析－神經網絡（locality adaptive discriminant analysis-neural networks，LADA-NN）、局部線性嵌入稀疏表示支持向量機（locally linear embedding sparse representation-support vector machine，LESR-SVM）和SAE將水面上的波紋誤分為瓦片，CNN和CNN-PPF將其誤分為瀝青，其原因可能與該數據集空間分辨率較高（1.3 m）有關。對于小樣本地物同樣存在誤分現象，局部線性嵌入稀疏表示支持向量機（locally linear embedding sparse representationsupport vector machine，LESR-SVM）和LADA-NN將瀝青誤分為瓦片，CNN將柏油路錯分為磚路，MSFC算法對各類地物均取得了較好的分類結果，總體精度達到99.43%，對于瓦片和水體兩類地物取得了極好的分類效果，精度分別為99.82%和99.89%。對比方法的總體精度分別為87.83%、93.25%、94.98%、95.38和95.69%；Pavia University數據集分類結果如圖9c～9h所示，對比算法對于裸土和梅朵斯公園均存在較為嚴重的誤分現象，其原因可能是裸土與梅朵斯公園的地表覆蓋類型相近，從而表出相似的光譜特征。由于金屬板的反射率較高，在空間特征上表現明顯，因此各算法均取得了較好的分類結果。MSFC算法對于各類地物均有較好的分類效果，總體精度為98.90%，對比算法的總體精度分別為88.68%、94.18%、94.35%、94.87%和96.27%。

圖7 印第安松林數據集分類結果Fig.7 Classification of Indian Pines data set

圖8 帕維亞中心數據集分類結果Fig.8 Classification of Pavia Center data set

圖9 帕維亞大學數據集分類結果Fig.9 Classification of Pavia University data set

3 結 論

本研究融合流形學習和深度學習的方法提出了一種基于流行光譜特征的高光譜影像分類算法（manifold spectral feature based calssification，MSFC），在3個高光譜數據集上進行分類，試驗結果表明：

1）降維后的高光譜數據與原始數據相比，分類的用時減少同時總體精度和Kappa系數有所提升，有效解決了高光譜數據存在的波段冗余問題，改善了“休斯（Hughes）”現象，提高了高光譜數據的利用效率。

2）t-SNE算法作為一種非線性流形學習降維算法，能夠更好地尋找高光譜數據的低維流形表示，改善了小樣本問題。與其他降維算法進行對比，t-SNE算法體現出了顯著的類內聚集性和類間可分性，避免了擁擠問題，提高了高光譜影像的分類精度。

3）卷積神經網絡具有強大的特征提取能力，能夠提取更為深層和抽象的特征，MSFC算法在3個數據集的總體精度分別為99.05%、99.43%和98.90%，與CNN相比分別提升了4.66%、4.05%和4.03%，充分發揮了流形學習降維與卷積神經網絡特征提取的優勢，為高光譜遙感影像分類研究提供了一種思路。

獲取高光譜影像的標記樣本數據通常較為困難，下一步研究工作將考慮如何在有限標記樣本的條件下構建分類模型，以期獲得更好的分類結果。