基于深度學習的高光譜遙感影像分類

朱壽紅，王勝利，舒幫榮

(江蘇師范大學地理測繪與城鄉規劃學院，江蘇 徐州 221116)

基于深度學習的高光譜遙感影像分類

朱壽紅*，王勝利，舒幫榮

(江蘇師范大學地理測繪與城鄉規劃學院，江蘇 徐州 221116)

從傳統高光譜遙感影像分類的不足出發，提出一種空-譜信息與深度學習相結合的影像分類方法。利用深度學習的常用模型—深度置信網絡(DBN)對高光譜影像進行了基于空-譜特征的分類。首先利用主成分分析(PCA)對原始影像進行降維，再對主成分圖影像塊內的所有像素按照窗口大小進行重組，并用排序的方法堆棧融合為空-譜特征。最后利用得到的空-譜特征作為DBN的輸入對高光譜影像進行分類。通過在2組高光譜數據上進行試驗，并與傳統的分類算法進行比較，發現本文方法能較好地提高分類精度。

高光譜遙感；空-譜特征；深度學習；限制玻爾茲曼機；深度置信網絡；影像分類

1 引 言

影像分類作為遙感信息提取的重要手段，受到學者們的廣泛研究并取得一定成果[1～4]。但由于高光譜影像圖譜合一、高維度和數據中非線性成分的存在，傳統分類方法難以滿足其分類的需求，探索新的分類理論和方法具有十分重要的意義。在常用的高光譜影像分類方法中，支持向量機(Support Vector machine，SVM)是精度較高、應用廣泛的模型之一[4～7]。而近年來，深度學習[8～9]成為解決影像分類所面臨的高維數據和算法泛化能力差問題的一個有力工具，并在影像分類領域取得了很好的效果[10～13]。

為了進一步提高高光譜影像分類精度，應將光譜信息和空間信息充分結合起來，尋找一種適合高維數據處理的分類算法。盡管深度學習在影像分類方面取得了一些成果，但數據輸入維度、網絡優化算法和模型自身參數設置比較復雜，目前還沒有統一可供參考的標準。因此，本文引入空-譜特征利用深度學習進行高光譜影像分類，通過多次試驗尋找合適的參數：首先，利用主成分分析(Principal Component Analysis，PCA)對原始影像進行降維；然后，對主成分圖影像塊內的所有像素按照窗口大小進行重組，并用排序的方法堆棧融合得到旋轉不變的空-譜特征；最后，將空-譜特征作為深度置信網絡的輸入進行分類。采用2組高光譜數據進行試驗的結果表明，與傳統分類方法相比，本文方法可以獲得較高的分類精度。

2 深度置信網絡(Deep Belief Network，DBN)

2.1 限制玻爾茲曼機(Restricted Boltzmann Machines，RBM)

RBM[14]是對稱連接且無反饋機制的兩層隨機神經網絡模型，層間全連接，層內無連接，如圖1所示。

圖1 限制玻爾茲曼機模型

假設一個具有n個可視節點和m個隱藏節點RBM的狀態隨機變量為(v，h；θ)，則其能量函數如式(1)所示：

(1)

式中，θ=(Wij，ai，bj)，Wij為層間節點連接權重，ai為可視節點i的偏置，bj為隱藏節點j的偏置。RBM的學習過程是確定參數θ=(Wij，ai，bj)的過程，又稱編碼解碼。

2.2 DBN模型

多層RBM和后向傳播算法(BP)構成DBN模型[15]，如圖2所示。其訓練過程包括預訓練、編碼解碼和微調三個過程。預訓練階段，采用貪婪學習算法[9]調整每層RBM參數，一層RBM訓練完成后，將其輸出結果作為輸入數據訓練下一層RBM，直到預訓練結束；然后，利用監督學習將重構誤差后向傳播，微調θ。與傳統神經網絡相比，微調θ能夠提高訓練效率，避免網絡陷入局部最優解。

圖2 DBN模型

3 空-譜特征提取

高光譜影像各個波段間存在較強的相關性，存在信息冗余，因此在提取空間特征前需要對影像進行PCA降維。假定高光譜影像I在PCA降維后保留d個波段用于分類試驗，那么影像上任意像素x0的空-譜特征可由下式進行構造

U={f0，sort([f1，f2，…，fm2-(r+1)])}∈Rd×(m×m)

(2)

圖3 空-譜特征提取過程

由于遙感影像在成像過程中易受到外界環境及傳感器自身增益變化等因素的影響，使得同物異譜和異物同譜現象廣泛存在，給遙感影像地物分類與提取帶來了一定的挑戰。相關研究表明將空間和光譜信息有效結合起來有利于分類精度的提高[7，10，16]。本文在引入空間信息的同時，充分考慮了影像地物類內差異小和類間差異大的特點，通過找到與中心像元灰度值差值最大的某幾個像元并進行刪除，進一步拉大不同地物的特征可分性，減小錯分現象。試驗中，刪除像元的個數隨著窗口大小而改變，且刪去的像元個數占鄰域像元總數的1/4，如3×3大小的窗口刪除的像元個數為2，7×7大小的窗口刪除的像元個數為12。

4 試驗與分析

在MATLAB R2014a平臺下，利用DBN模型對2組高光譜數據進行分類試驗，通過整體分類精度(overall accuracy，OA)和Kappa系數對分類效果進行評價。試驗分析了DBN不同模型深度、隱層神經元個數和引入空間信息對分類精度的影響，并和其他分類方法進行對比分析。

4.1 試驗數據

選取Pavia University和Pavia Center兩幅高光譜影像進行試驗。Pavia數據是ROSIS-03傳感器在意大利Pavia市獲取的影像，共115個波段，電磁波覆蓋范圍為 0.43 μm～0.86 μm，空間分辨率為 1.3 m。其中Pavia University空間大小為610像素×340像素，受電磁干擾和水汽影響，去掉12個噪聲波段保留103個波段；Pavia Center空間大小為 1 096像素×492像素，去掉13個噪聲波段，選取102個波段進行分類試驗。試驗中這2幅影像的訓練集和測試集數目分配如表1所示。

2幅影像的訓練集和測試集信息 表1

4.2 RBM層間節點連接權重

RBM層間連接權重Wij可視為一個光譜噪聲濾波器，代表對不同波段信息的重視程度[11]。2組數據對應的RBM隱層節點都設為40，則每個隱層節點將分別有103和102個連接權重，對應的RBM可視為40個濾波器。為了方便可視化，將Wij進行折疊，并以二維灰度圖像顯示，如圖4所示。

圖4中灰度值代表Wij中的數值大小，可以看出，RBM部分隱層節點對不同波段的選擇存在明顯差異，不同波段間存在著跳躍，部分波段呈現出類似高斯噪聲的擾動。這說明RBM具備自學習能力，可以自適應調節Wij實現對不同影像的特征提取。

4.3 窗口大小和主成分波段對分類精度的影響

針對圖譜合一的高光譜影像，國內外學者結合空間信息取得較好的分類效果，如灰度共生矩陣、形態學操作和馬爾科夫隨機場等[11，13，16]。本文對2組數據做PCA降維后，根據式(2)得到空-譜聯合特征進行分類試驗。圖5表示不同窗口大小及PCA降維后保留波段數與OA的關系曲線圖。

圖5 窗口大小及主成分波段數目與OA的關系曲線

從圖5(a)可以看出，窗口增大的同時OA隨之增大，但增幅逐漸減小。對于Pavia University數據，窗口 7×7時OA達到最大；對于Pavia Center數據，窗口為9×9時OA最大，窗口進一步增大時分類精度趨向穩定。由此可以得出，選取適當的窗口大小對對象特征的完整表達、增加特征的可區分性是至關重要的。從圖5(b)可以看出，PCA保留波段數目也是影響OA的一個重要因素，OA隨著主成分波段數目的增大而提高，主成分波段為6時趨于穩定。綜合以上分析，最終選取主成分波段數目為6，大小為7×7的窗口進行試驗。

4.4 DBN模型參數對分類精度的影響

網絡深度和隱層神經元個數是影響DBN分類精度的2個重要參數。本文選取網絡深度為2、3、4、5、6，隱層神經元個數為20、40、60、80、100分別進行訓練，學習率初值設置為0.02，之后根據重構誤差進行動態調整。試驗時，將樣本集分為多個小樣本進行分批訓練，Pavia University和Pavia Center數據每批樣本個數分別設置為100和220。從圖6可以看出，網絡深度為5，隱層神經元個數為80是較合適的模型參數。

圖6 DBN模型參數與訓練誤差關系圖

4.5 訓練樣本數目對分類精度的影響

針對2組數據，分別隨機選取5%到30%的地物標簽做訓練樣本，進行10次重復試驗，Kappa系數的詳細統計如圖7所示。通過每個箱中心的紅線表示Kappa系數的中間值，箱型的上下邊緣分別代表第25和75百分位，箱外的上下延伸線分別到Kappa系數的最大值和最小值處，其中紅色“+”表示異常值。從圖中可以看出，對于這2組數據，共同的趨勢是Kappa系數隨著訓練樣本增多而提高；此外，在訓練樣本數量小于15%時，Kappa系數波動較大，且存在異常值。這種現象表明訓練樣本的數量和質量對分類結果的影響至關重要。

圖7 不同訓練樣本數目對應Kappa系數的廂型圖

4.6 本文方法和其他分類方法的對比

為了評定本文方法的優劣，與其他5種分類方法進行了對比，包括：①基于光譜特征的DBN分類法(Spectral)[11]；②基于復合核的SVM分類法(SVM-CK)[3]；③核化的子空間追蹤法(KSSP)[7]；④集成旋轉森林和馬爾科夫隨機場的分類法(RoF-MRF)[17]；⑤未排序的DBN空-譜特征分類法。5種方法采用相同的訓練集和測試集進行比較，如表2所示。可以看出，聯合空-譜特征的分類精度明顯高于僅利用光譜信息的分類精度。與其他分類方法相比，本文方法分類精度有一定程度提高，尤其對于基于排序策略的DBN分類，其精度最高，Pavia University數據分類精度為94.97%，Pavia Center數據分類精度高達99.33%，這說明引入空間信息增加了特征的可區分性。此外，本文方法考慮到影像地物類內差異小的特點，通過刪除與中心像元灰度值差值最大的部分像元，有效地減小了不同類地物誤分的現象，相當于在不同類地物邊緣處進行空間特征提取時，自適應地調節了鄰域的大小，最大程度避免將不同類地物劃分為一類的現象。

2幅影像不同分類方法的分類精度 表2

本文采用基于DBN的排序空-譜特征分類方法的分類結果如圖8和圖9所示。

圖8 Pavia University分類結果

圖9 Pavia Center分類結果

4.7 算法運行效率

和SVM等機器學習算法相比，DBN模型往往需要消耗更多的時間進行訓練。但在處理大數據方面的優勢以及分類的高效率，使其受到多數研究者的青睞。原因在于，影像分類實質是矩陣運算，而DBN擅長矩陣運算的特性使其比傳統分類器(NN和SVM)運行效率更高。為了評定DBN的分類效率，選取地物標簽的5%～30%作為訓練樣本進行分類試驗，并和LIBSVM進行對比，硬件配置為Intel酷睿i5，CPU主頻 3.2 GHz，內存 8 GB。從運行結果(如圖10所示)可以看出，隨著訓練樣本數目的增多，DBN的運算效率明顯占優。

圖10 分類效率對比

5 結 論

針對傳統高光譜遙感影像分類方法的不足，本文將基于深度學習的分類器引入此領域，選取合適的DBN參數對2組高光譜數據進行分類試驗，并和其他分類方法進行對比。結果表明，本文方法提取空間特征時充分考慮地物樣本的類內穩定性，在不同類地物邊緣處最大程度避免誤分，能夠較好地提高高光譜影像分類精度，且提取空-譜特征簡單易行，通過旋轉不變特征消除了原始特征的相關，算法運行效率較高，特征提取能力更強，可以更準確地挖掘到高光譜影像的空間分布規律；此外，DBN自帶稀疏編碼功能，在保留影像低層特征的同時能夠有效降低數據冗余。

當然，本文方法還存在一些不足。比如，DBN模型結構和參數設置是否最優還需深入研究；此外，本文對分類精度和訓練樣本數目之間的關系進行了分析，但并沒有考慮樣本質量與分類精度的關系，下一步，將嘗試引入半監督分類理論，以期得到更好的效果。

[1] 杜培軍，夏俊士，薛朝輝等. 高光譜遙感影像分類研究進展[J]. 遙感學報，2016，20(2)：236～256.

[2] Richards J A，Jia X. Using Suitable Neighbors to Augment the Training Set in Hyperspectral Maximum Likelihood Classification[J]. IEEE Geoscience & Remote Sensing Letters，2008，5(4)：774～777.

[3] Philpott S，Heise L，Mcgrory E，et al. Simultaneous Joint Sparsity Model for Target Detection in Hyperspectral Imagery[J]. IEEE Geoscience & Remote Sensing Letters，2011，8(4)：676～680.

[4] Mountrakis G，Im J，Ogole C. Support vector machines in remote sensing： A review[J]. Isprs Journal of Photogrammetry & Remote Sensing，2011，66(3)：247～259.

[5] 白云海，武文波. 紋理輔助的SAR圖像SVM分類[J]. 城市勘測，2016(6)：60～64.

[6] 譚琨，杜培軍，王小美.基于支持向量機和多變量分析的高光譜遙感數據分類[J]. 測繪通報，2009，11：37～40.

[7] 楊釗霞，鄒崢嶸，陶超等. 空-譜信息與稀疏表示相結合的高光譜遙感影像分類[J]. 測繪學報，2015，44(7)：775～781.

[8] Hinton G E，Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. Science，2006，313(5786)：504～507.

[9] 余凱，賈磊，陳雨強等. 深度學習的昨天、今天和明天[J]. 計算機研究與發展，2013，50(9)：1799～1804.

[10] 呂啟，竇勇，牛新等. 基于DBN模型的遙感圖像分類[J]. 計算機研究與發展，2014，51(9)：1911～1918.

[11] Chen Y，Lin Z，Zhao X，et al. Deep Learning-Based Classification of Hyperspectral Data[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing，2014，7(6)：2094～2107.

[12] 高常鑫，桑農. 基于深度學習的高分辨率遙感影像目標檢測[J]. 測繪通報，2014(S1)：108～111.

[13] 劉大偉，韓玲，韓曉勇. 基于深度學習的高分辨率遙感影像分類研究[J]. 光學學報，2016(4)：306～314.

[14] 樊恒，徐俊，鄧勇等. 基于深度學習的人體行為識別[J]. 武漢大學學報·信息科學版，2016(4)：492～497.

[15] Hinton G E，Osindero S，Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural computation，2006，18(7)：1527～1554.

[16] 林雪，彭道黎，黃國勝等. 結合多尺度紋理特征的遙感影像面向對象分類[J]. 測繪工程，2016，25(7)：22～27.

[17] Xia J，Chanussot J，Du P，et al. Spectral─Spatial Classification for Hyperspectral Data Using Rotation Forests With Local Feature Extraction and Markov Random Fields[J]. IEEE Transactions on Geoscience & Remote Sensing，2015，53(5)：2532～2546.

Classification of Hyperspectral Remote Sensing Image Based on Deep Learning

Zhu Shouhong，Wang Shengli，Shu Bangrong

(School of Geography，Geomatics and Planning Jiangsu Normal University，Xuzhou 221116，China)

In order to avoid the problem of being over-dependent on high-dimensional spectral feature in the traditional hyperspectral image classification，a novel approach based on the combination of spatial-spectral feature and deep learning is proposed in this paper. The deep learning common model-deep belief network (DBN) is used to classify the hyperspectral remote sensing images based on spatial-spectral feature. Firstly，we extract the spatial-spectral feature by reorganizing the local image patch with the firstdprincipal components (PCs) into a vector representation，followed by a sorting scheme to make the vector invariant to local image rotation. Secondly，the spatial-spectral feature is used as the input of the DBN for hyperspectral image classification. In addition，experiments using two hyperspectral data show that the proposed method can effectively improve the classification accuracy comparing with traditional classificaton methods.

hyperspectral remote sensing；spatial-spectral feature；deep learning；restricted boltzmann machine；deep belief network；image classification

1672-8262(2017)04-84-06

P236，TP75

A

2017—03—07

朱壽紅(1991—)，女，碩士研究生，研究方向為遙感影像解譯與土地利用分類。

國家自然科學基金(71503117)