基于半監督稀疏流形嵌入的高光譜影像特征提取

羅甫林 黃 鴻 劉嘉敏 馮海亮

?

基于半監督稀疏流形嵌入的高光譜影像特征提取

羅甫林 黃 鴻*劉嘉敏 馮海亮

(重慶大學光電技術及系統教育部重點實驗室 重慶 400044)

高光譜影像具有波段數多、冗余度高的特點，因此特征提取成為高光譜影像分類的研究熱點。針對此問題，該文提出一種半監督稀疏流形嵌入(S3ME)算法，該方法充分利用標記樣本和無標記樣本，通過基于切空間的稀疏流形表示來自適應地揭示數據間的相似關系，并利用稀疏系數構建一個半監督相似圖。在此基礎上，增加了圖中同類標記樣本的權重，然后在低維空間中保持圖的相似關系不變，并最小化加權距離和，獲得投影矩陣實現特征提取。S3ME方法不僅能揭示數據間的稀疏流形結構，而且增強了同類數據的集聚性，能有效提取出鑒別特征，改善分類效果。該文提出的S3ME方法在PaviaU和Salinas高光譜數據集上的總體分類精度分別達到84.62%和88.07%，相比傳統特征提取方法提升了地物分類性能。

高光譜數據；特征提取；半監督學習；稀疏流形嵌入

1 引言

高光譜影像是由數十數百個波段組成的圖像，其中各像素表示為一條連續的光譜曲線，能較精確地反映地物特性，在地物分類中具有重要的應用價值[1,2]。然而，其波段數多且存在大量冗余信息，這使地物分類面臨著巨大困難[3,4]。因此，如何減少數據冗余、實現特征提取是高光譜影像分類研究的熱點之一。

維數約簡是處理高維數據常用的方法，能有效地提取高維數據中的低維特征[5]。在研究中，學者們提出了流形學習方法來實現維數約簡，包括局部保持嵌入(LLE)[6]、拉普拉斯特征映射(LE)[7]、鄰域保持嵌入(NPE)[8]、局部保持嵌入(LPP)[9]、邊界Fisher分析(MFA)[10]和局部Fisher分析(LFDA)[11]等算法。與基于統計特性的主成分分析(PCA)、線性鑒別分析(LDA)和最大邊界準則(MMC)[12]等算法相比，該類方法能揭示出數據的內在結構。在高光譜影像分類研究中，學者們應用流形學習方法發現了高光譜數據中的流形結構，并取得了較好的分類效果[13]，但這些方法面臨著局部結構選取困難的問題。為此，學者們提出了稀疏表示(SR)來自適應地揭示數據的結構關系。稀疏保持投影(SPP)[14]是一種經典的稀疏表示算法，該方法能自適應地反映數據間的相似關系，提取出鑒別特征，改善分類效果。然而，上述方法都是以數據只存在單一幾何結構為前提，在實際應用中，數據可能存在多個非線性結構。學者們提出了稀疏流形聚類與嵌入(SMCE)算法，該方法根據切空間理論構建數據的稀疏優化模型，自適應地選取來自同一流形的數據，進而揭示出數據的多流形結構[15]。但SMCE主要用于數據聚類，不具有投影矩陣，對新樣本不能直接處理，且沒有利用數據的類別信息，使其鑒別性能受限制。

為利用數據的類別信息，學者們提出了稀疏鑒別嵌入(SDE)[16]、鑒別稀疏鄰域保持嵌入(DSNPE)[17]、基于稀疏表示投影的鑒別學習(DLSP)[18]等監督算法，這些方法利用先驗信息來增強同類數據的表征，改善鑒別力。但是，這些監督方法需要耗費大量的人力去標記全部樣本的類別信息。因而，為利用少量標記樣本和無標記樣本，學者們提出了半監督(SS)學習方法，主要有SSMMC[19]、半監督子流形保持嵌入(S3MPE)[20]、半監督鑒別分析(SDA)[21]，這些方法能獲取較好的特征，但存在參數選取困難、自適應能力差等問題。

為此，本文提出一種半監督稀疏流形嵌入(Semi-Supervised Sparse Manifold Embedding, S3ME)的維數約簡算法，該方法利用SMCE算法的切空間稀疏流形表示優化模型來獲取稀疏系數，根據稀疏系數構建相似權重矩陣并增強同類標記樣本的貢獻，在低維嵌入空間中保持數據的相似關系不變，實現最小化數據間的加權距離和，提取鑒別特征。在PaviaU和Salinas高光譜數據集上驗證了本文方法的有效性。

2 本文方法

2.1 稀疏流形聚類與嵌入

SMCE算法[15]能自適應地選取來自同一切空間的近鄰點，對于不同的切空間可以視為不同的內在流形，進而能自適應地揭示出數據的內在多流形結構。通過求解該優化模型得到稀疏系數，對于每個數據點的非零稀疏系數對應的數據點與該數據點來自同一流形。其優化目標函數為

(2)

根據稀疏系數可得到相似權值，由權值可實現聚類和嵌入，其權值為

(4)

2.2半監督稀疏流形嵌入

S3ME算法主要原理是利用SMCE的優化模型得到稀疏系數，自適應地揭示出數據的內在結構；再根據稀疏系數構建各數據間的相似關系圖，并由少量標記樣本的類別信息增大同類數據間的相似權重值，進而增強相似圖中同類標記樣本的貢獻率；在低維嵌入空間中，保持相似關系不變，構建目標函數，得到投影矩陣，提取出低維鑒別特征。

(2)構建半監督相似圖： 根據稀疏系數，構建一個半監督相似圖，其中表示圖的頂點。若和的稀疏系數c≠0，則在兩頂點間構建一連線邊，否則無邊；表示各邊的權值矩陣，w表示圖中和間的邊權值，其值反映了數據間的相似程度。為增強同類標記樣本的作用，和間權值w表示為

(3)計算投影矩陣： 低維嵌入空間中，保持圖的相似性不變，使同類數據點盡可能地聚集。通過最小化各數據間的加權距離和，構建目標函數為

通過化解，目標函數可表示為

(8)

為消除尺度因子的影響，增加一約束條件，目標函數轉換為

根據拉格朗日乘子法，式(9)的優化問題可轉化為廣義特征值問題，即

(10)

2.3 S3ME算法步驟

本文提出的S3ME算法的主要步驟為：

步驟1 根據式(5)求解各數據點的稀疏系數；

步驟4 根據式(10)的廣義特征值問題，由前個個最小特征值對應的特征向量組成投影矩陣。

3 實驗結果與分析

為驗證S3ME算法的有效性，選取了公開的PaviaU和Salinas高光譜數據集進行實驗，并與相關的特征提取算法進行了對比。

3.1 實驗數據集

(1)PaviaU 數據集[22]于2002年由 ROSIS 傳感器獲取的高光譜圖像，該圖像為意大利北部的帕維亞大學，其大小為610340像素，空間分辨率為1.3 m，共115個波段，去除受噪聲影響的波段，余下的103個波段用于實驗。PaviaU 數據集的假彩色圖像和真實地物信息如圖1所示。

圖1 PaviaU 高光譜影像

(2)Salinas數據集[22]于1998年由AVIRIS傳感器獲取位于美國加利福尼亞南部薩利納斯山谷的高光譜影像。該影像的大小為512217，空間分辨率為3.7 m，包含了400 nm到2500 nm光譜范圍內的206個波段。去除受大氣影像的波段(108~122, 154~167和224)后，剩余的162個波段用于實驗研究。該數據集的假彩色圖像和真實地物信息如圖2所示。

圖2 Salinas高光譜影像

3.2實驗設置

實驗中，數據集隨機分為測試集和訓練集，訓練集包括標記樣本和無標記樣本，實驗中每類隨機選取(20, 40, 60)個標記樣本，從剩余樣本中隨機選取3000個樣本作為無標記樣本，其余樣本作為測試樣本。實驗中，無監督和半監督方法采用整個訓練集進行學習，而監督方法只使用標記樣本作為訓練集。由特征提取算法對訓練樣本進行學習，得到投影矩陣，提取出鑒別特征。然后，采用最近鄰分類器對測試樣本進行分類，并用總體分類精度(OA)、平均分類精度(AA)和Kappa系數()作為評價指標。每種實驗條件下都進行10次重復實驗，把OA的均值、方差(std)和均值作為最終結果。

實驗中選取了Baseline, LPP, SPP, DLSP和S3MPE與本文提出的S3ME進行對比，其中Baseline為直接對原始數據進行分類。為使各算法都有較好的效果，將各算法的參數調整到最佳，LPP的近鄰數設置為7, DLSP和SPP的稀疏誤差閾值分別設置為0.1和5, S3MPE的兩個平衡參數和分別設置為0.4和0.01, S3ME的稀疏平衡參數和加權參數分別設置為10和40。嵌入特征維數上界值設置為50。

3.3 PaviaU數據集上的實驗

根據實驗設置，圖3為不同標記樣本數下各算法在PaviaU數據集上的分類精度結果，表1為對應各算法的最好分類結果。

圖3 不同維度和標記樣本數下的分類精度

表1不同標記樣本數下的最高總體分類精度(OA ± std(%)(dimension))

表1不同標記樣本數下的最高總體分類精度(OA ± std(%)(dimension))

算法t = 20t = 40t = 60 Baseline67.01±2.23(101)0.589371.77±2.62(101)0.643473.61±2.04(101)0.6647 LPP68.02±2.08(44)0.601973.38±2.67(48)0.663374.90±1.59(36)0.6811 SPP65.47±1.41(6)0.570670.64±2.17(6)0.630373.01±1.38(6)0.6580 DLSP66.52±2.60(22)0.583170.73±2.64(44)0.631571.87±2.96(36)0.6439 S3MPE67.39±1.95(16)0.594673.05±1.87(50)0.659076.37±1.34(50)0.6979 S3ME78.65±3.35(10)0.727782.60±2.38(8)0.775383.62±1.09(12)0.7879

由圖3可知，隨著低維嵌入維數的增加，各算法的分類精度也不斷增加，并逐漸到達一定值。這是由于嵌入特征維度越高，嵌入特征包含的信息越豐富，分類精度也相應地得到提升，但是當有足夠的特征用于分類時，特征維數的增加則對分類精度的提升作用非常有限。在表1中，標記樣本越多，各算法的OA和都不斷增加，因為隨著標記樣本增多，包含的樣本信息越豐富，獲取的特征越能反映樣本的本質特征，其分類精度會更好。根據圖3和表1, S3ME獲得了最優的分類精度，這是因為S3ME為半監督方法能同時利用標記和無標記樣本來增加可用信息，且S3ME能自適應地揭示數據的內在結構，增強同類數據的聚集性，改善特征提取效果，進而提高分類精度。

為探索算法對各類地物的分類性能，實驗中從每類地物中隨機選取了60個標記樣本且從剩余樣本中隨機選取3000個無標記樣本作為訓練樣本，把所有樣本用于測試，嵌入維度為30。表2為各算法對每類地物的分類精度，平均精度(AA), OA和。

表2各類算法對每類地物的分類精度(%)

由表2可知，S3ME在大部分地物類別中都具有較好的分類效果，尤其對‘Asphalt’, ‘Meadows’, ‘Gravel’, ‘Trees’ , ‘Metal Sheets’和‘Soil’的分類，并且S3ME具有最好的AA, OA和，由于S3ME能更好地表征數據的本征屬性，獲取更有效的鑒別特征，提升分類精度。圖4為對應的分類結果圖，可看出S3ME獲得了更多的光滑區域。

圖4 不同算法的分類結果圖

3.4 Salinas數據集上的實驗

在Salinas數據集上進行了實驗，圖5為各算法在不同標記樣本下的平均OA，表3為對應的最高精度。

圖5 不同維度和標記樣本數下的分類精度

表3不同標記樣本數下的最高總體分類精度(OA±std(%)(dimension))

表3不同標記樣本數下的最高總體分類精度(OA±std(%)(dimension))

算法t = 20t = 40t = 60 Baseline82.87±1.09(162)0.810083.65±0.95(162)0.818784.39±0.49(162)0.8268 LPP84.23±1.00(46)0.825085.29±1.10(32)0.836786.13±0.54(50)0.8459 SPP82.31±1.53(14)0.803982.70±1.13(14)0.808283.38±0.67(14)0.8157 DLSP84.13±0.92(32)0.823984.74±0.96(48)0.830685.76±0.61(42)0.8418 S3MPE83.77±0.96(50)0.820084.22±0.70(50)0.824985.14±0.65(50)0.8350 S3ME87.53±0.90(18)0.861688.39±1.15(20)0.871089.27±0.62(22)0.8807

從圖5和表3可以看出，除SPP較Baseline分類效果差外，其余算法都近似或優于Baseline，這由于大部分維數約簡算法可以消除數據的冗余信息，提取出有效的鑒別特征，實現分類性能的改善；而SPP采用稀疏重構方式，雖然可以自適應地揭示數據間的相互關系，但不能較好地表征數據的內在結構，導致分類精度不能被改善。DLSP在各情況下比SPP好，這是由于DLSP利用了樣本的標記信息，增強了同類數據的特征表達，使分類效果比SPP好。在不同標記樣本下S3ME具有最好的精度，由該算法能自主地選取來自同一流形的數據作為近鄰相似，在低維嵌入空間中保持這種相似關系不變，并增加同類數據間的聚集性，提取出更有效的鑒別特征，提升分類效果。

在驗證每類分類效果時，先從數據集中每類選取60個標記樣本，再從剩余樣本選取3000個無標記樣本作為訓練樣本，并把所有樣本用于分類測試，嵌入維度設置為30。表4給出了各類地物的分類精度，AA, OA和，圖6為對應的分類結果圖。

圖6不同算法的分類結果圖

表4各類算法對每類地物的分類精度(%)

由表4的實驗結果可知，S3ME與其余算法相比，在大部分地物上都取得了較好的分類效果，且具有最好的AA, OA和，其分類結果圖具有更少的錯分現象。

3.5參數對S3ME的影響

圖7 不同值下的分類精度 ???????? ?? 圖8 不同值下的分類精度

3.6無標記樣本數對S3ME的影響

為研究在少量標記樣本下無標記樣本數對S3ME算法，分別從PaviaU和Salinas數據中隨機選取每類10標記樣本和余下的樣本中隨機選取0, 100, 500, 1000, 2000, 3000, 4000個無標記樣本作為訓練樣，剩余樣本作為測試樣，在每種條件下進行10實驗，并把平均OA作為實驗結果，如圖9所示。在無標記樣本數較少時，隨著無標記樣本數的增加迅速提升，當有足夠的無標記樣本時，分類精度幾乎為一定值，由于無標記樣本數越多S3ME可以利用的信息越豐富，越能表征數據的內在屬性，可以提取出更多的有用特征，當得到足夠的信息后，分類精度將趨于平衡值。

圖9 在不同無標記樣本數下的分類結果

3.7 時間復雜度分析

S3ME算法各步驟的復雜度分別為：(1)在求解稀疏系數的復雜度為(4); (2)求解權重的復雜度為(2); (3)計算拉普拉斯矩陣和對角矩陣的復雜度都為(2); (4)計算和的復雜度都為(2)；(5)求解式(11)廣義特征值的復雜度為(3)。因而，本文方法的總體時間復雜度可表示為(4+2+3)，主要受樣本數和波段數的影響，且求解稀疏系數的復雜度對運行時間的影響最大。

為對比各算法的運行時間，實驗中從每類地物中隨機選取了60個標記樣本且從剩余樣本中隨機選取3000個無標記樣本作為訓練樣本，其余樣本用于測試，嵌入維度為30，實驗運用了CPU為Intel(R) Core(TM) i5-4590、內存為8 GB, Windows 10和Matlab2015a的平臺。表5為不同特征提取算法的運行時間。

表5不同特征提取算法的運行時間(s)

由表5可知，在Salinas數據集上特征提取耗時比PaviaU數據集多，由于Salinas數據的波段數比PaviaU數據多，需要更多時間去訓練。稀疏表示算法(SPP, DLSP, S3ME)比其余算法耗時更多，這是因為稀疏表示在進行編碼時，需要去尋求一個最優解，比較耗時。S3ME和SPP耗時相對較多，是由于這兩種方法選用了大量的無標記樣本參與訓練，導致耗時增加。在實際應用中，可根據需求在實時性和分類精度之間進行折中，還可在實際場景中通過預先訓練得到投影矩陣，進而可快速處理新樣本，實現維數約簡。

4 結束語

在高光譜影像的地物分類研究中，本文提出一種新的特征提取方法來改善分類性能，稱為半監督稀疏流形嵌入(S3ME)。該方法充分利用標記和無標記樣本在切空間中進行稀疏流形表示，根據優化模型得到的稀疏系數能自適應地選取來自同一流形的數據，然后利用稀疏系數構建了一個相似圖，并由標記信息增強圖中同類標記樣本的貢獻率，在低維嵌入空間中保持數據間的相似關系不變，最小化加權距離和，得到最佳投影矩陣，進而提取鑒別特征。S3ME方法不僅能自適應地揭示出高光譜數據的本質屬性，而且增加了同類數據的聚集性，能有效改善分類性能。在PaviaU和Salinas高光譜數據集上的實驗結果表明，與傳統的特征提取方法相比，S3ME有效地提升了地物分類的精度。在本文的研究中，只考慮了高光譜數據的光譜信息，下一步的工作將在S3ME算法中可以融入高光譜數據的空間信息，進一步提升分類性能。

[1] CHANG Y L, LIU J N, HAN C C,. Hyperspectral image classification using nearest feature line embedding approach [J]., 2014, 52(1): 278-287. doi: 10.1109/TGRS.2013.2238635.

[2] XUE Z H, DU P J, LI J,. Simultaneous sparse graph embedding for hyperspectral image classification[J]., 2015, 53(11): 6114-6133. doi: 10.1109/TGRS.2015.2432059.

[3] 李志敏, 張杰, 黃鴻, 等. 面向高光譜圖像分類的半監督Laplace鑒別嵌入[J]. 電子與信息學報, 2015, 37(4): 995-1001. doi: 10.11999/JEIT140600.

LI Zhimin, ZHANG Jie, HUANG Hong,. Semi- supervised Laplace discriminant embedding for hyperspectral image classification[J].&, 2015, 37(4): 995-1001. doi: 10.11999/ JEIT140600.

[4] 宋相法, 焦李成. 基于稀疏表示及光譜信息的高光譜遙感圖像分類[J]. 電子與信息學報, 2012, 34(2): 268-272. doi: 10.3724/SP.J.1146.2011.00540.

SONG Xiangfa and JIAO Licheng. Classification of hyperspectral remote sensing image based on sparse representation and spectral information[J].&, 2012, 34(2): 268-272. doi: 10.3724/SP.J.1146.2011.00540.

[5] FENG Z X, YANG S Y, WANG S G,. Discriminative spectral-spatial margin-based semi-supervised dimensionality reduction of hyperspectral data[J]., 2015, 12(2): 224-228. doi: 10.1109/ LGRS.2014.2327224.

[6] ROWEIS S T and SAUL L K. Nonlinear dimensionality reduction by locally linear embedding[J]., 2000, 290(5500): 2323-2326. doi: 10.1126/science.290.5500.2323.

[7] BELKIN M and NIYOGI P. Laplacian eigenmaps for dimensionality reduction and data representation[J]., 2003, 15(6): 1373-1396. doi: 10.1162/ 089976603321780317.

[8] HE X F, CAI D, YAN S C,. Neighborhood preserving embedding[C]. IEEE International Conference on Computer Vision, Beijing, 2005: 1208-1213. doi: 10.1109/ICCV.2005. 167.

[9] HE X F and NIYOGI P. Locality preserving projections[C]. Advances in Neural Information Processing Systems, Whistler, B. C., Canada, 2003: 153-160.

[10] YAN S C, XU D, ZHANG B Y,. Graph embedding and extensions: A general framework for dimensionality reduction [J].&, 2007, 29(1): 40-51. doi: 10.1109/CVPR.2005. 170.

[11] SHAO Z and ZHANG L. Sparse dimensionality reduction of hyperspectral image based on semi-supervised local Fisher discriminant analysis[J]., 2014, 31: 122-129. doi: 10.1016/j.jag.2014.03.015.CHEN X B, CAI Y F, CHEN

[12] CHEN X B, CAI Y F, CHEN L,. Discriminant feature extraction for image recognition using complete robust maximum margin criterion[J]., 2015, 26(7): 857-870. doi: 10.1007/s00138-015- 0709-7.

[13] BACHMANN C M, AINSWORTH T L, and FUSINA R A. Exploiting manifold geometry in hyperspectral imagery[J]., 2005, 43(3): 441-454. doi: 10.1109/TGRS.2004.842292.

[14] QIAO L S, CHEN S C, and TAN X Y. Sparsity preserving projections with applications to face recognition[J]., 2010, 43(1): 331-341. doi: 10.1016/j.patcog. 2009.05.005.

[15] ELHAMIFAR E and VIDAL R. Sparse manifold clustering and embedding[C]. Advances in Neural Information Processing Systems, Granada, Spain, 2011: 55-63.

[16] HUANG H and YANG M. Dimensionality reduction of hyperspectral images with sparse discriminant embedding[J]., 2015, 53(9): 5160-5169. doi: 10.1109/TGRS.2015.2418203.

[17] LU G F, JIN Z, and ZOU J. Face recognition using discriminant sparsity neighborhood preserving embedding[J].-, 2012, 31(7): 119-127. doi: 10.1016/j.knosys.2012.02.014.

[18] ZANG F and ZHANG J S. Discriminative learning by sparse representation for classification[J]., 2011, 74: 2176-2183. doi:10.1016/j.neucom.2011.02.012.

[19] SONG Y Q, NIE F P, ZHANG C S,. A unified framework for semi-supervised dimensionality reduction[J]., 2008, 41(9): 2789-2799. doi: 10.1016/j. patcog.2008.01.001.

[20] SONG Y Q, NIE F P, and ZHANG C S. Semi-supervised sub-manifold discriminant analysis[J]., 2008, 29(13): 1806-1813. doi: 10.1016/j.patrec.2008. 05.024.

[21] ZHAO M B, LI B, WU Z,. Image classification via least square semi-supervised discriminant analysis with flexible kernel regression for out-of-sample extension[J]., 2015(153): 96-107. doi: 10.1016/j.neucom.2014.11.048.

[22] Hyperspectral image data sets[OL]. http://www.ehu.eus/ ccwintco/index.php?title=Hyperspectral_Remote_Sensing_Scenes, 2015.

Feature Extraction of Hyperspectral Image Using Semi-supervised Sparse Manifold Embedding

Luo Fulin Huang Hong LIU Jiamin FENG Hailiang

(Key Laboratory of Optoelectronic Technique System of the Ministry of Education, Chongqing University, Chongqing 400044, China)

Hyperspectral image contains the properties of much bands and high redundancy, and the research of hyperspectral image classification focuses on feature extraction. To overcome this problem, a Semi-Supervised Sparse Manifold Embedding (S3ME) algorithm is proposed in this paper. The S3ME method makes full use of labeled and unlabeled samples to adaptively reveal the similarity relationship between data with the sparse representation of tangent space. It constructs a semi-supervised similarity graph via the sparse coefficients and enhances the weight between labeled samples from the same class. In a low-dimensional embedding space, S3ME preserves the similarity of graph to minimize the sum of the weighted distance. Then, it obtains a projection matrix for feature extraction. S3ME not only reveals the sparse manifold structure of data but also enhances the compactness of the same class data, which can effectively extract the discriminating feature and improve the classification performance. The overall classification accuracies of the proposed S3ME method respectively reach 84.62% and 88.07% on the PaviaU and Salinas hyperspectral data sets, and the classification performance of land cover is improved compared with the traditional feature extraction methods.

Hyperspectral data; Feature extraction; Semi-supervised learning; Sparse manifold embedding

TP751

A

1009-5896(2016)09-2321-09

10.11999/JEIT151340

2015-11-23；

2016-03-18；

2016-05-09

重慶市研究生科研創新項目(CYB15052)，國家自然科學基金(41371338)，重慶市基礎與前沿研究計劃(cstc2013jcyjA40005)，中央高校基本科研業務費項目(106112013CDJZR125501, 1061120131204)

The Chongqing Postgraduates’ Innovation Project (CYB15052), The National Natural Science Foundation of China (41371338), The Basic and Advanced Research Program of Chongqing (cstc2013jcyjA40005), The Fundamental Research Funds for the Central Universities (106112013CDJZR125501, 1061120131204)

黃鴻 hhuang@cqu.edu.cn

羅甫林： 男，1988年生，博士生，研究方向為稀疏表示和遙感信息處理.

黃 鴻： 男，1980年生，博士，副教授，研究方向為圖像處理、模式識別和遙感信息處理.

劉嘉敏： 男，1973年生，博士，副教授，研究方向為模式識別和圖像處理.

馮海亮： 男，1962年生，博士，教授，研究方向為流形學習與模式分類.