幾種BP網絡訓練方法的高光譜影像分類對比分析

譚靖,王東,陳時雨(1．北京航天泰坦科技股份有限公司,北京 100067; ．武漢大學遙感信息工程學院,湖北武漢 430079)

幾種BP網絡訓練方法的高光譜影像分類對比分析

譚靖1?,王東2,陳時雨2
(1．北京航天泰坦科技股份有限公司,北京 100067; 2．武漢大學遙感信息工程學院,湖北武漢 430079)

摘 要:以Indian Pine數據集為研究對象,利用等角特征映射對其進行特征提取,然后選取BP網絡傳統的梯度下降訓練方法和正切擬牛頓法、Polak-Ribiere共軛梯度法、Levenberg-Marquart法3種數值優化的訓練方法對其進行分類。對分類結果進行對比分析,結果表明:基于數值分析的訓練方法訓練網絡的耗時均比梯度下降法長,但收斂效果更好;總體分類精度均比梯度下降法至少提高6%;各類別制圖精度都較高,且較為穩定,而梯度下降法只對易分的類別精度高;3

種數值分析訓練方法中,正切擬牛頓法和Polak-Ribiere共軛梯度法的收斂效率和分類精度比Levenberg-Marquart法高。

關鍵詞:BP網絡;訓練;數值優化;高光譜影像;分類

1 引 言

高光譜影像分類是遙感技術發展的重要環節,對遙感數據庫建設、信息提取、農業動態監測、環境保護等各方面均有重要意義[1]。人工神經網絡是高光譜影像分類的一個重要方法,其中BP網絡是應用最為廣泛的[2]。

很多學者對傳統的BP網絡訓練,即基于一階梯度網絡訓練的遙感分類,進行了研究。Mahmon等通過比較BP網絡分類和最大似然法分類、ISODATA聚類,發現神經網絡的分類效果更好[3]。Liu等鑒于梯度下降法訓練網絡時易局部收斂,對隱層網絡進行分組設置,從而改進BP網絡[4]。Philip等對BP網絡的訓練參數進行研究,選取合適的參數,從而改善BP網絡分類的效果[5]。駱劍承等對BP網絡的改進包括輸入向量預處理、網絡結構參數調整、學習速率調整、輔助遺傳算法等[6]。Riedmiller等在進行網絡訓練時,利用RP方法,即通過梯度的正負值改變梯度搜索方向[7],該方法較梯度下降法有很大提升。此外,都業軍等利用LM算法的BP網絡訓練方法進行遙感分類研究,指出LM算法是在中等規模網絡中,訓練速度最快的算法[8]。丁碩等利用二維數值矢量為實驗對象,從算法效率上分析了數值優化的網絡訓練方法的勢[9]。綜合以上分析可知,梯度下降法在網絡訓練過程中,收斂較慢、易陷入局部收斂,大部分學者主要從改正網絡參數方面對其進行改進;而利用基于數值優化的BP網絡訓練方法進行遙感分類的研究較少。

基于以上分析,本文主要對比分析梯度下降法和數值優化的訓練方法在高光譜影像分類中的效果。選取Indian Pine高光譜數據集為研究對象,利用等角特征映射對其進行特征提取實現數據降維,然后利用傳統的梯度下降法和具有代表性的3種數值優化網絡訓練方法:正切擬牛頓法、Polak-Ribiere共軛梯度法、Levenberg-Marquart法,對上述數據集進行分類及精度評價,并對比分析各種訓練方法的分類效果。

2 基本理論

BP網絡是多層前向神經網絡,各層節點通過S型函數傳遞,BP網絡各層節點間的權值和閾值調整采用誤差反向傳播學習算法。利用BP網絡進行高光譜影像分類,是將影像特征作為輸入,經網絡傳遞得到對應的實際輸出,最終分類類別作為期望輸出,BP網絡的訓練即通過調整權值,使期望輸出和實際輸出差值(ε)最小,從而得到最佳網絡,利用這個網絡進行測試,即可得到最終的分類結果。

BP網絡的訓練實質是一個非線性目標函數的優化問題,其訓練方法有傳統的梯度下降法和基于數值分析的訓練方法。梯度下降法每次迭代都按照一階梯度的負方向進行,即按ε的一階負導數進行誤差修正;利用該方法雖然誤差減小最快,但收斂速度不一定最快。而基于數值優化的訓練方法利用了目標函數的二階導數信息,首先確定誤差改正的方向,再確定誤差改正量的大小,從而進行迭代;利用該方法,迭代步長是沿梯度方向改變的,從而可以使收斂速度加快。

2．1梯度下降法(GD)

梯度下降法[10]每次迭代的權值和閾值修正公式為:其中,X(k)為網絡的權值向量或閾值向量;α為學習速率;dg(k)為第k次迭代時輸出誤差對各權值或閾值的梯度向量。

2．2數值優化訓練方法

數值優化的網絡尋優分為兩步:首先確定當前迭代的最佳搜索方向,而后在此方向上尋求最優迭代步長,可以統一描述為:

其中,S(X(k))為由X各分量組成的向量空間的搜索方向;η(k)為在S(X(k))的方向上,使f (X(k+1))達到極小的步長。

(1)正切擬牛頓法(OSS)

OSS法[11]的第一次迭代的搜索方向為負梯度方向,即:以后各次迭代的搜索方向為:

其中:

OSS方法是相對于BFGS擬牛頓法提出的一種擬牛頓法,減小了存儲量和計算量。

(2)Polak-Ribiere共軛梯度法(CGP)

共軛梯度法[12]第一步也是沿負梯度方向進行搜索,而后各次搜索方向按當前搜索方向的共軛方向進行,如式(5)所示,共軛梯度法可以迅速達到最優值。

S(X(k))= -?f (X(k))+β(k)S(X(k-1))(5)

其中,β(k)形式不同,可構成不同的共軛梯度法,研究表明,CGP效果更好,CGP中β(k)=,其中gk=?f (X(k))。

共軛梯度法比大多數常規的梯度下降法收斂都要快,而且存儲量和計算量很小。

(3)Levenberg-Marquart法(LM) k

LM法[11]實際是梯度下降法和擬牛頓法的結合,其搜索方向為:

其中J表示雅可比矩陣。LM訓練初,令λ取很大一個值,此時相當于步長很小的梯度下降法;隨著最優點的接近,λ減小到0,則S(X(k))從負梯度方向轉向牛頓法的方向。

LM法所需的存儲量比OSS法和CGP都要大,但LM對于中小網絡的訓練效果很好。

3 實驗與分析

3．1數據介紹及處理

選擇Indian Pine數據集(IP)為實驗數據,該數據截取于AVIRIS在美國印第安納州獲取的影像,是最常用的高光譜基準測試數據集之一[13]。空間分辨率為30 m,影像大小為145×145像素,共21 025個高光譜數據點。該影像包含由400 nm～2 500 nm共計220個有效波段,去掉水氣吸收帶與噪聲較大的波段,保留有158個波段。該數據集主要覆蓋農業用地,被標記地面實況數據共計10 171個數據點,被分為12個類別,表1列出了該數據各類別詳細信息,圖1中左圖為IP數據集經假彩色合成影像,右圖為實際地物類別空間分布情況。

IP數據集實際類別信息 表1

圖1　IP數據集假彩色合成影像(左)和地面實況數據空間分布(右)

IP數據集是高光譜數據,利用高光譜數據直接進行分類,將出現Hughes現象,本文利用等角特征映射法(ISO法)對IP數據集進行特征提取。ISO法是流行學習中最早提出的算法,通過計算數據在流形上的測地線距離,從而能提取數據分布的非線性特征[14]。圖2為利用ISO法提取IP數據集的前10個特征波段的結果,將利用這10個特征波段(簡記為IPisov)進行分類研究。

3．2分類實驗及結果分析

(1)網絡設計

首先構建一個3層前向神經網絡,其中輸入層為IPisov的10個特征波段,即輸入節點數為10;輸出層為實際類別數,即輸出節點為12;隱層節點數經大量實驗發現,設置為21個效果最佳。利用BP網絡訓練方法對IPisov進行分類研究時,經大量實驗驗證,主要訓練參數的初始值設定為:學習速率0．2,訓練最大次數2 000,最小梯度1e-20,訓練精度0．005,輸入層至隱層、隱層至輸出層的傳輸函數均為雙曲正切S型函數。

利用如上設計的網絡對IPisov進行分類,選擇IP數據集5%的樣本進行訓練,剩下95%的樣本進行測試;由于IP數據集各像元真實類別均已知,因此可以選擇20組訓練樣本和對應的測試樣本進行交叉驗證,最終結果取20次實驗的統計結果,結論可靠性高。分別利用GD法、OSS法、CGP法、LM法進行網絡訓練和仿真,得到最終的分類結果,從分類效率、總體精度和各類別精度3個方面對各訓練方法的分類結果進行分析。

(2)各訓練方法分類效率分析

利用GD法、OSS法、CGP法、LM法進行網絡訓練對IPisov分類消耗的時間分別為13 s、31 s、33 s、 23 min 26 s,因此:GD法訓練時間很短;LM法因存儲量大,訓練非常耗時;OSS法和CGP法耗時基本一致,且耗時較短。

利用GD法、OSS法、CGP法、LM法進行網絡訓練對IPisov分類的誤差曲線如圖3所示,可以知道:GD法收斂較慢,且陷入局部收斂;LM法收斂很快;OSS法和CGP法收斂速度較LM稍慢,但收斂效果也很好,其中CGP法略好于OSS法。

圖3　4種訓練方法進行網絡訓練的誤差曲線

綜上分析,GD法訓練簡單,但收斂效果不好;LM法收斂效果最好,但耗時嚴重;OSS法和CGP法收斂效果較好,耗時也短;因此選擇OSS法和CGP法進行網絡訓練較為理想。

(3)各訓練方法總體分類精度分析

利用GD法、OSS法、CGP法、LM法進行網絡訓練,對IPisov進行20次分類實驗,各訓練方法分類的總體精度統計如表2所示,可以知道:3種數值分析訓練方法的分類kappa系數均達到0．6,而GD法的kap-pa系數小于0．6;OSS法和CGP法的總體分類精度最高,達到70%,且20次實驗的標準差僅約為1．1%; LM的總體分類精度次之,為66．93%;而GD法的總體分類精度僅為61．11%。

4種訓練方法進行分類的總體精度統計 表2

(4)各訓練方法各類別分類精度分析

利用GD法、OSS法、CGP法、LM法進行網絡訓練,對IPisov進行20次分類實驗,各訓練方法分類的各類別制圖精度如圖4所示,可以知道:OSS法和CGP法在各類別精度都較高,LM法在類3的精度較低;而GD在類6、類8、類10、類11的精度比其他方法高,但在其他類的精度則比其他方法低很多。4種方法在類3、類12的精度都很低,其中GD法在類3和類12的精度小于5%;LM法類3精度比GD法高,但仍低于10%;而OSS法和CGP法在類3和類12精度都有較大提升。

圖4　4種訓練方法進行分類的各類別精度

玉米地各類別混淆矩陣 表3

為了進一步說明各訓練方法的分類效果,對其中較難區分的類別進行混淆矩陣分析。其中,表3為玉米地類(類1無耕作玉米地、類2耕作中玉米地、類3玉米地)的混淆矩陣,可以知道:類1相對類2、類3更容易區分,而類3很難區分;其中OSS法、CGP法、LM法效果均比GD法好,其中OSS法和CGP法比LM法效果更好。

表4為大豆地(類7無耕作大豆地、類8耕作中大豆地、類9大豆地)的混淆矩陣,可以知道:GD法對類7和類9分類效果較差,而OSS法、CGP法和LM法的分類精度較GD法有約50%的提升;GD法對類8分類效果比OSS法、CGP法、LM法稍好些,但差距不大。

大豆地各類別混淆矩陣 表4

綜上分析,GD法分類的各類精度不穩定,對于易分的類別效果很好,而對于較難分的類別效果很差;而數值分析訓練方法分類在各類別的精度都有較大提升,而且較為穩定。

4 結論與討論

利用BP網絡3種數值分析的訓練方法(OSS、CGP、LM)和傳統的梯度下降法(GD)對IPisov進行分類,并將分類結果進行對比分析,得出以下結論:

(1)基于數值分析的BP網絡訓練方法訓練網絡,耗時均比GD法長,但收斂效果都比GD法好很多。其中,LM法收斂效果最好但耗時很長,OSS法和CGP法收斂效果較好且耗時較短。

(2)基于數值分析的BP網絡訓練方法的總體分類效果均比GD法好。其中,OSS法和CGP法的總體分類精度達到70%,且標準差僅為1．1%;LM法總體分類精度稍低一些,但與GD法相比,有將近6%的提升。

(3)基于數值分析的BP網絡訓練方法分類的各類別精度較高,且較為穩定,其中OSS法和CGP法效果比LM法好;GD法對于易分類別效果好,而對于較難分的類別效果很差。

(4)綜合以上分析,基于數值分析的BP網絡訓練方法的分類效果與傳統梯度下降法相比,有很大提升;其中OSS法和CGP法分類效果最好。

本文對BP網絡的3種數值分析訓練方法和梯度下降法用于高光譜影像分類進行了對比分析,但是僅針對特定的數據進行了研究,在今后的工作中,將進一步深入研究這些方法用于其他數據的分類效果;此外,針對各算法用于分類時存在的缺陷,進行改進。

參考文獻

[1] Lunetta R S,Johnson D M,Lyon J G,et al．Impacts of imagery temporal frequency on land - cover change detection monitoring[J]．REMOTE SENSING OF ENVIRONMENT, 2004,89(4):444～454．

[2] 賈坤,李強子,田亦陳等．遙感影像分類方法研究進展[J]．光譜學與光譜分析,2011,31(10):2618～2623．

[3] Mahmon N A,Ya'acob N．A review on classification of satellite image using Artificial Neural Network(ANN)[C]．Control and System Graduate Research Colloquium(ICSGRC), 2014 IEEE 5th,Shah Alam,Malaysia,2014．

[4] Liu Z K,Xiao J Y．Classification of remotely-sensed image data using artificial neural networks,International Journal of Remote Sensing,12:11,2433～2438．

[5] Heermann P D,Khazenie N．Classification of multispectral remote sensing data using a back-propagation neural network [J]．IEEE Transactions on Geoscience and Remote Sensing,1992,30(1):81～88．

[6] 駱劍承,周成虎,楊艷．人工神經網絡遙感影像分類模型及其與知識集成方法研究[J]．遙感學報,2001,5(2): 122～130．

[7] Riedmiller M,Braun H．A direct adaptive method for faster backpropagation learning:The RPROP algorithm[C]．IEEE International Conference on Neural Networks,San Francisco, California,USA,1993．

[8] 都業軍,周肅,斯琴其其格等．人工神經網絡在遙感影像分類中的應用與對比研究[J]．測繪科學,2010,35:120 ～121．

[9] 丁碩,常曉恒,巫慶輝．數值優化改進的BP網絡的模式分類對比[J]．計算機系統應用,2014(5):139～144．

[10] Watrous R L．Learning algorithms for connectionist networks:Applied gradient methods of nonlinear optimization [J]．Technical Reports (CIS),1988,597．

[11] Saini L M,Soni M K．Artificial neural network based peak load forecasting using Levenberg-Marquardt and quasi-Newton methods[J]．IEEE proceedings generation transmission and distribution,2002,149(5):578～584．

[12] Moller M F．A scaled conjugate gradient algorithm for fast supervised learning[J]．Neural Networks,1993,6(4):525 ～533．

[13] Chakrabarty A,Choudhury O,Sarkar P,et al．Hyperspectral image classification incorporating bacterial foraging - optimized spectral weighting [ J]．Artificial Intelligence Research,2012,1(1):63～83．

[14] 談超,關佶紅,周水庚．基于等角映射的多樣本增量流形學習算法[J]．模式識別與人工智能,2014(2):127～133．

Comparative Analysis of Several Training Methods of BP Network on Hyperspectral Image Classification

Tan Jing1,Wang Dong2,Chen Shiyu2
(1．LTD1 Beijing Aerospace TITAN Technology Co．,Ltd,Beijing 100067,China; 2．School of Remote Sensing and Information Engineering,Wuhan University ,Wuhan 430079,China)

Abstract:This paper study on hyperspectral image classification using BP network trained by numerical analysis methods such as OSS,CGP,LM and traditional gradient descent methods,which based on Indian Pine dataset taking feature extraction using isogonism characteristic mapping methods．Comparing the classification results,it shows:the classification result using numerical analysis methods is better than GD methods．Firstly,the training time using numerical analysis methods is longer than GD,but the convergence effect is better．And then,the total accuracy improves 6% at least against GD．In the end,the mapping accuracy of each category is better and more stable than GD,which is only sensitive on easily classified category．At last,Comparing the three numerical analysis methods,the OSS method and CGP method is better than LM method．

Key words:BP Network;training;numerical analysis;hyperspectral image;classification

文章編號:1672-8262(2015)06-73-05中圖分類號:TP751．1

文獻標識碼:A

收稿日期:?2015—08—27

作者簡介:譚靖(1970—),男,博士,高級工程師,主要從事空間技術研究與應用。王東(1981—),博士研究生,主要研究方向為遙感圖像處理、定量遙感。

基金項目:北京市科技新星計劃(Z131101000413086);國家國際合作專項國家耕地資源動態監管核心技術引進與合作研究項目。