基于相關向量機的高光譜影像分類研究

楊國鵬,余旭初,周 欣,張鵬強

1.信息工程大學測繪學院,河南鄭州450052;2;空軍裝備研究院,北京100850;3.信息工程大學信息工程學院,河南鄭州450052

基于相關向量機的高光譜影像分類研究

楊國鵬1,2,余旭初1,周 欣3,張鵬強1

1.信息工程大學測繪學院,河南鄭州450052;2;空軍裝備研究院,北京100850;3.信息工程大學信息工程學院,河南鄭州450052

從分析支持向量機用于高光譜影像分類時存在的不足出發,提出一種基于相關向量機的高光譜影像分類方法。在介紹稀疏貝葉斯分類模型的基礎上,將相關向量機學習轉化為最大化邊緣似然函數參數估計問題,并采用快速序列稀疏貝葉斯學習算法。通過PHI和OMIS影像分類試驗分析表明基于相關向量機的高光譜影像分類方法的優勢。

高光譜影像;稀疏貝葉斯模型;相關向量機;支持向量機

1 引 言

高光譜影像具有豐富的地物光譜信息,較之全色、多光譜影像在地物識別方面具有巨大的優勢。它記錄的波長范圍更寬,從可見光延伸到短波紅外,甚至到中紅外和熱紅外。它的光譜分辨率高、能夠獲取地物精細的光譜曲線,可以根據需要選擇或提取特定的波段來突出目標特征。利用高光譜遙感技術,還能夠很好地提取目標的輻射特性參量,使地表目標的定量分析成為可能。高光譜遙感已經成為植被調查、海洋遙感、農業遙感、環境監測、軍事情報獲取等領域新的重要技術手段[1]。

高光譜遙感成像機理復雜,成像光譜儀定標、大氣輻射校正、地物光譜重建等預處理技術尚未完善。地物光譜曲線的近乎連續,也導致高光譜影像數據量大、波段相關性強、數據冗余嚴重。在不同季節、不同時刻、不同環境下,同類地物的光譜曲線也會有所不同。高光譜影像分類識別要解決是高維特征空間海量數據的非線性可分問題。因此,高光譜影像給地物精細分類識別帶來了巨大機遇,也給傳統影像分類方法帶來了挑戰。

高光譜影像地物識別有一類研究方法是基于對光譜曲線的分析。基于地物光譜庫的光譜匹配分類方法原理直觀、計算簡單,但前提是必須對高光譜影像進行準確的地物光譜重建,否則將會嚴重影響地物分類的精度。由于高光譜影像的空間分辨率較低,混合像元大量存在,混合像元分解中端元光譜的選擇、解混模型的建立和求解都是有待解決的問題。

高光譜影像地物識別另一類研究方法是進行模式分類。傳統統計模式識別方法,例如貝葉斯分類、神經網絡等,大多是基于經典統計理論的大數定理,泛化能力需要以樣本數量趨近無窮大來描述,對于有限訓練樣本集的高光譜影像分類時,會遇到“維數災難”現象。目前,高光譜影像降維通常采用線性特征提取方法,這也可能會降低樣本的可分性。

目前,許多學者對基于支持向量機(support vector machine,SVM)的高光譜影像分類進行了研究。Gualtieri在1998年首次將SVM用于高光譜影像分類試驗后指出,這種方法能有效地避免Hughes現象。夏建濤[2]對SVM的高光譜影像分類性能做了詳細試驗,指出核函數參數和樣本數量對SVM的分類性能影響較大。

SVM基于統計學習理論的結構風險最小化原則,通過最小化經驗風險和置信范圍提高算法的泛化能力[3]。SVM的數學模型表示為

核函數 K(x,xi)是定義在訓練樣本點的基函數。

SVM能夠有效避免過學習現象,具有良好的泛化能力,但它存在著明顯的不足,主要表現在:①基函數個數基本上隨訓練樣本集規模成線性增長,模型稀疏性有限;②預測結果不具有統計意義,無法獲取預測結果的不確定性;③核函數參數和規則化系數需要通過交叉驗證等方法確定,增加了模型訓練的計算量;④核函數必須滿足Mercer條件。

核方法在SVM中得到成功應用以后,人們開始利用核函數將經典的線性分析方法推廣到一般情況的研究,成為繼經典統計線性分析、神經網絡與決策樹非線性分析之后的第三次模式分析方法的變革[4]。支持向量機、稀疏核主成份分析等也引起了人們研究“稀疏”學習模型的興趣。

稀疏學習模型具有的一般形式為

它是相對于權值向量w=(w1,…,wM)T的線性模型,y(x)能夠逼近實變量函數或判別函數。假定存在訓練樣本集{xn,tn},稀疏模型是通過將權值向量w的多數元素設置為零,來控制模型復雜度,從而避免過學習現象,減小模型預測的計算量。

2000年,Tipping提出一種與 SVM相似的稀疏概率模型來彌補SVM的不足,被稱為相關向量機(relevance vector machines,RVM)[5]。 2003年,Tipping設計了快速序列稀疏貝葉斯學習算法,提高了模型訓練速度[6];2005年,Thayananthan將該模型推廣,解決了多元輸出回歸和多類分類的訓練問題[7]。RVM最初用以處理回歸問題,通過Laplace逼近可以將分類問題轉化為回歸問題。目前,已經開展了RVM在文本識別、影像分類、時序分析等應用領域的研究[8-10]。

本文在介紹稀疏貝葉斯分類模型的基礎上,通過參數推斷將RVM學習可以轉化為最大化邊緣似然函數估計問題,并選用快速序列稀疏貝葉斯學習算法實現。本文通過一系列的兩類RVM分類器組合解決多類RVM分類問題,將其應用于高光譜影像分類。通過PHI和OMIS影像分類試驗,表明了基于RVM的高光譜影像分類方法的優勢。

2 稀疏貝葉斯分類模型

2.1 模型描述

對于兩類稀疏貝葉斯分類問題[11],假定訓練樣本集為{xn,tn}Nn=1,其中 xn∈d為訓練樣本向量,tn∈{0,1}為訓練樣本標號,分類預測模型要將非線性基函數的線性組合通過 S形函數映射到區間(0,1)內進行類別判定,即

其中,φ(x)=[φ(x1),φ(x2),…,φ(xΜ)]T為樣本基函數映射組成的列向量;φi(x)(i=1,…,N)是定義在訓練樣本點上的核函數,即φi(x)=K(x, xi)。由于這里不要求 φi(x)為正定的,因此沒有必要滿足 Mercer條件。這里的 w=(w0,…, wN)T為所有基函數的權值組成的列向量,采用 S形函數的數學表達式為

對于兩類分類問題,如果假設樣本獨立同分布的,那么訓練樣本集的似然函數可以表示為[5]

這里,t=(t1,…,tN)T為訓練樣本的目標向量。

根據概率統計原理,假設參數wi服從均值為0、方差為的高斯條件概率分布,因此

其中,α是決定權值w的先驗分布的超參數。

這樣為每一個權值(或基函數)配置獨立的超參數是稀疏貝葉斯模型的最顯著的特點,這也是導致模型具有稀疏性的根本原因[12]。由于這種先驗概率分布是一種自動相關判定先驗分布,模型訓練結束后,非零權值的基函數所對應的樣本向量被稱為相關向量,因此稱這種學習機為相關向量機。

根據貝葉斯理論,如果已知模型參數的先驗概率分布 p(w,α),那么模型參數的后驗概率為

若獲取了模型參數的后驗分布 p(w,α|t),那么對于待測樣本為x＊,稀疏貝葉斯模型的預測值z＊的分布為

因為無法直接積分獲取 p(z＊|t),需要通過參數推斷獲取預測值z＊。RVM判別準則為:如果 y＊=σ(z＊)<0.5,則 t＊=0;如果 y＊=σ(z＊)> 0.5,則t＊=1。

2.2 參數推斷

由于模型參數的后驗分布 p(w,α|t)不能通過積分直接獲取,故將其分解為

根據貝葉斯公式,p(α|t)∝p(t|α)p(α)。由于模型參數的后驗概率分布 p(w|t,α)和邊緣似然函數 p(t|α)都無法積分求解,需要采用Mac-Kay提出的Laplace逼近方法近似[13],具體步驟描述如下:首先初始化超參數向量α;對于給定的向量α,建立后驗概率分布的高斯近似,從而獲取邊緣似然函數的近似分布;通過最大化邊緣似然函數來重新估計向量α;重復這個過程直到收斂[12]。

利用高斯正態分布來逼近后驗概率分布的Laplace方法,是對后驗概率分布的眾數位置處函數的二次逼近。對于給定的向量α,由于

那么,關于w的高斯后驗分布的眾數通過最大化公式(3)得到

其中,yn=σ{y(xn;w)},A=diag(ai)。

通過迭代再加權最小二乘法求解,迭代收斂后,得到以眾數位置為中心的后驗概率分布的近似高斯分布,其均值為wMP=A-1ΦT(t-y),方差為Σ=(ΦTBΦ+A)-1。這里B=diag(β1,β2,…, βn),βn由式(4)計算得到

得到近似后驗概率分布后,同樣使用Laplace逼近方法可以將邊緣似然函數 p(t|α)近似表示為

如果令^t=ΦwMP+B-1(t-y),則近似高斯后驗分布的均值wMP=Σ ΦTB^t、方差Σ=(ΦTBΦ+ A)-1。近似的邊緣似然函數對數為

其中,C=B+ΦA-1ΦT。

通過比較稀疏貝葉斯的分類和回歸模型的參數推斷過程可知,利用Laplace逼近方法可以將分類問題轉化為回歸問題[6],相應回歸問題的目標向量^t=ΦwMP+B-1(t-y)。稀疏貝葉斯分類模型學習,最終都歸結為第Ⅱ類型最大似然參數估計問題。

2.3 多類分類器

上面研究的是二值分類問題的稀疏貝葉斯分類模型。在多類別分類情況下,假設共存在 K個類別(K>2),隨機樣本服從獨立同分布的多項式分布,此時最大似然函數可以表示為[14]

這里采用 K目標編碼方法,分類器共有 K個輸出yk(xn;w),每個輸出都有獨自的參數向量wk和超參數αk。

由于這種多類問題整體求解時,計算量非常大。與SVM多類分類相似,可以將多類分類問題分解成一系列二類問題進行求解,例如一對余法 (one against rest,OAR)、一對一法 (one against one,OAO)等多類分類器構造方式[1]。

3 相關向量機學習算法

通過以上分析,RVM學習最終歸結為第Ⅱ類型最大似然參數估計問題。通過最大化邊緣似然函數 p(t|α)來估計α,通常采用以下三種方法[7]:MacKay迭代估計、期望最大化迭代估計、自下而上的基函數選擇算法。

最大邊緣似然估計超參數過程中,超參數更新需要計算后驗權值的協方差矩陣,矩陣求逆需要計算復雜度為O(M3)和存儲空間為O(M2)[11],M為基函數的個數。本論文采用自下而上的基函數選擇方法中,基函數個數從1開始不斷增加直至獲取相關向量,而且Φ與Σ只包含當前模型中存在的基函數。

2.4 算法原理

自下而上的基函數選擇是 Tipping于2003年提出的快速序列稀疏貝葉斯學習算法[6]。由于邊緣似然函數的對數L(α)與單個超參數αi的相關性,i∈{1,…,M},將式(5)中的C分解為

其中,C-i是C去除第i個基函數影響后的矩陣,滿足

邊緣似然函數的對數L(α)可以表示為

其中,

目標函數L(α)可分解為去除基函數φi后的邊緣似然函數L(α-i)與關于αi的獨立表達式l(αi)。這里的 si=Cφi,qi=Ct。稀疏因子si用于度量基函數φi與模型中剩余所有基函數的重疊程度;質量因子qi用于度量去除基函數φi后對模型誤差的校正。

通過分析l(αi)表明,L(α)關于αi存在唯一最大值。當>si時,αi=/(-si);當

如果假設 Si=C-1φi和Qi=C-1t,則有si=αiSi/(αi-Si),qi=αiQi/(αi-Si)。當αi=∞時,si=Si且qi=Qi。

實際學習過程中,利用Woodbury恒等式獲取 Si和Qi非常方便[6],有

針對稀疏貝葉斯分類,B=diag(β1,β2,…, βn),^t=ΦwMP+B-1(t-y)。

2.5 快速序列稀疏貝葉斯學習算法

序列稀疏貝葉斯學習算法流程可以描述為[12]

1.初始化選擇1個基函數φ1,并估計相應權值w1。

2.設置基函數φ1的超參數α1為合理數值,使其他所有超參數αj為無窮大,即模型中只有基函數φ1。

3.利用式(4)計算B。

4.計算均值μ和方差Σ,同時計算出所有基函數對應的qi和si。

5.選擇候選的基函數φi。

9.如果收斂,算法結束;否則,執行步驟3—9。

4 高光譜影像分類試驗

已有文獻表明,基于SVM的高光譜影像分類具有良好的泛化能力,其分類精度較高。論文進行了基于RVM和SVM的高光譜影像分類試驗,并對分類結果進行了比較分析。

由于SVM要求核函數滿足Mercer條件,為便于比較,RVM與SVM都采用高斯徑向基核函數,其表達式為 k(x,x′)=exp(-‖x-x′‖2/ σ2),其中σ2為核函數參數,它控制了核函數寬度。為了便于設置σ2數值,試驗中將高光譜影像的每個波段特征DN值規范化到[0,1]范圍內。

由于SVM模型含有規則化系數,在分類時需要設置,在試驗中通過交叉驗證網格搜索法來獲取[1]。SVM學習過程采用序列最小優化算法,利用統計模式識別工具箱STPRtool實現[15]。

本試驗采用的計算機硬件環境為Intel Core2 CPU 3.0 GHz、2.99 GHz內存3.25 GB,軟件環境為Microsoft Windows XP、MATLAB 7.5。

4.1 試驗一

試驗數據:由中科院上海技術物理研究所研制的PHI成像光譜儀1999年9月獲取的江蘇省常州市影像,光譜覆蓋范圍為0.42～0.85μm,共80波段,圖像大小為346×512,數據經過反射率轉換。訓練樣本分布如圖1所示,樣本信息情況如表1所示。

圖1 試驗區PHI影像樣本分布Fig.1 Samples distribution of PHI imagery

表1 試驗區PHI影像樣本信息Tab.1 Samples information of the PHI imagery

將各類樣本按數量隨機等分成兩部分作為訓練樣本和測試樣本。選擇不同 Gauss核函數參數σ,該PHI影像RVM分類結果比較如表2所示,基函數數量為該多類分類器中所有二值分類器使用基函數個數之和。

表2 試驗區PHI影像RVM分類比較T ab.2 RVM classification comparison of the PHI imagery

通過SVM進行分類時,規則化系數C需要通過交叉驗證獲取,該影像OAO-SVM分類的交叉驗證精度如圖2所示,選取規則化系數 C= 2.0。不同Gauss核函數參數σ時,該影像SVM分類結果比較如表3所示。

圖2 試驗區PHI影像OAO-SVM分類交叉驗證精度/(%)Fig.2 Cross-validation error rate of the PHI imagery OAO-SVM classification/(%)

表3 試驗區PHI影像SVM分類比較T ab.3 SVM classification comparison of the PHI imagery

4.2 試驗二

試驗數據,采用中科院上海技術物理研究所研制的OMIS成像光譜儀獲取的江蘇太湖沿岸的影像,光譜覆蓋范圍0.46～12.85μm共128波段,影像大小347×513,試驗中使用受噪聲影響比較小的6～64、113～128共75個波段。通過對影像目視判讀,訓練樣本分布如圖3所示,樣本信息情況如表4所示。

表4 試驗區OMIS數據樣本信息Tab.4 Samples information of the OMIS imagery

將各類樣本按數量隨機等分成兩部分作為訓練樣本和測試樣本。選擇不同Gauss核函數參數σ,該OMIS影像RVM分類結果比較如表5所示。

圖3 試驗區OMIS影像樣本分布Fig.3 Samples distribution of the PHI imagery

表5 試驗區OMIS影像RVM分類比較T ab.5 RVM classification comparison of the OMIS imagery

通過SVM進行分類時,通過交叉驗證獲取選擇規則化系數C=2.0時。選擇不同 Gauss核函數參數σ,該OMIS影像SVM分類結果比較如表6所示。

表6 試驗區OMIS影像SVM分類比較T ab.6 SVM classification comparison of the OMIS imagery

4.3 試驗分析

通過PHI和OMIS影像的RVM、SVM分類試驗,論文得出以下結論:

1.在RVM模型中不存在規則化系數C,不需要交叉驗證獲取規則化系數的步驟,因此RVM與SVM相比受分類器參數選擇的影響要小。

2.對于不同的多類分類器構造方法,包括一對一法和一對余法,RVM分類精度與SVM分類精度都相當,RVM的訓練速度更快。

3.由于RVM模型更加稀疏,RVM分類器所用核函數個數是SVM所用核函數個數的1/10～1/5。因為RVM與SVM都是通過核函數的線性組合來進行分類預測的,所以RVM分類速度比SVM分類速度快得多。

4.無論是RVM,還是SVM,在訓練過程中,一對一多類構造方法的訓練速度都要比一對余法訓練速度要更快。

5 總 結

RVM是按照SVM模型的形式,在貝葉斯框架下提出的具有稀疏概率模型的學習機。在RVM求解過程中,核函數不必要滿足Mercer條件。在RVM模型中,不需要通過交叉驗證獲取規則化系數。

通過PHI和OMIS影像分類試驗表明,RVM具有良好的泛化能力,受分類器參數選擇的影響較小。當SVM選擇合適的規則化系數時,SVM與RVM的分類精度相當。

RVM采用快速序列學習算法時,訓練過程要比序列最小優化的SVM速度要快。在RVM訓練完成后,只有少數基函數的權值非零,比SVM更加稀疏,分類預測過程所用時間更短。

由于RVM的核函數不必要滿足Mercer條件,本文為方便與SVM進行比較,只進行了RBF核函數的試驗研究。不同核函數的高光譜影像RVM分類性能將是下一步研究的重點。

[1] YANG Guopeng.Hyperspectral Image Classification and Feature Extraction Based on Kernel Methods[D].Zhengzhou: Information Engineering University.2007.(楊國鵬.基于核方法的高光譜影像分類與特征提取[D].鄭州:信息工程大學,2007.)

[2] XIA Jiantao.High Dimensional Multispectral Data Classification Based on Machine Learning[D].Xi’an:Northwestern Polytechnical University,2002.(夏建濤.基于機器學習的高維多光譜數據分類[D].西安:西北工業大學,2002.)

[3] VAPNIK V N.The Nature of Statistical Learning Theory[M]. New York:Springer,1995.

[4] SHAWE-TSYLOR J,CRISTIANINI N.Kernel Methods for Pattern Analysis[M].London:Cambridge University Press, 2004:47-82.

[5] BISHOP C M,TIPPING M E.Variational Relevance Vector Machines[C]∥Proceedings of the 16th Conference on Uncertainty in Artificial Intelligence.San Francisco:Morgan Kaufmann,2000:46-53.

[6] TIPPINGM E,FAUL A.Fast Marginal Likelihood Maximization for Sparse Bayesian Models[C]∥Proceedings of Ninth International Workshop on Artificial Intelligence and Statistics. Key West:[s.n.],2003.

[7] THAYANANTHAN A.Template-based Pose Estimation and Tracking of 3D Hand Motion[D].Cambridge:University of Cambridge,2005.

[8] SILVA C,RIBEIRO B.Scaling Text Classification with Relevance Vector Machines[C]∥IEEE International Conference on Systems,Man and Cybernetics. Taipei: IEEE,2006: 4186-4191.

[9] DEMIR B,ERTURK S.Hyperspectral Image Classification Using Relevance Vector Machines[J].IEEE Geoscience and Remote Sensing Letters,2007,4(4):586-590.

[10] NIKOLAEV N,TINO P.Sequential Relevance Vector Machine Learning from Time Series[C]∥Proceedings of 2005 IEEE InternationalJoint Conference on Neural Networks.[S.l.]:IEEE,2005:1308-1313.

[11] TIPPING M E.Sparse Bayesian Learning and the Relevance Vector Machine[J].Journal of Machine Learning Research, 2001,1:211-244.

[12] BISHOP C M.Pattern Recognition and Machine Learning [M].Singapore:Springer,2007.

[13] MACKAYDJ C.The Evidence Framework Applied to Classification Networks[J].Neural Computation,1992,4(5):720-736.

[14] THAYANANTHAN A.Relevance Vector Machine Based Mixture of Experts[R].Cambridge:Department of Engineering,University of Cambridge,2005.

[15] FRANC V,HLAVAC V.Statistical Pattern Recognition Toolbox for Matlab User’s Guide[DB/OL].[2004]. http:∥cmp.felk.cvut.cz/cmp/cmp software.html.

(責任編輯:叢樹平)

Research on Relevance Vector Machine for Hyperspectral Imagery Classification

Y ANG Guopeng1,2,YU Xuchu1,ZHOU Xin3,ZHANG Pengqiang1
1.Institute of Surveying and Mapping,Information Engineering University,Zhengzhou 450052,China;2.Intelligence Institute of Airforce’s Equipment Academy,Beijing 100850,China;3.Institute of Surveying and Mapping,Information Engineering University, Zhengzhou 450052,China

Though the support vector machine has been successfully applied in hyperspectral imagery classification, it has also several limitations.Relevance vector machine(RVM)is a sparse model in the Bayesian framework,its mathematics model doesn’t have regularization coefficient and its kernel functions don’t need to satisfy Mercer’s condition.RVM presents the good generalization performance,and its predictions are probabilistic.In this paper, we firstly analysis the disadvantages of the support vector machine for hyperspectral imagery classification,and then a hyperspectral imagery classification method based on the relevance machine is brought forward.We introduce the sparse Bayesian classification model,regard the RVM learning as the maximization of marginal likelihood, and select the fast sequential sparse Bayesian learning algorithm.Through the experiments of PHI and OMIS imageries,the advantages of the relevance machine used in hyperspectral imagery classification are given out.

hyperspectral imagery;sparse Bayesian model;relevance vector machine;support vector machine

YANG Guopeng(1982—),male,PhD candidate,majors in pattern reorganization and hyperspectral imagery remote sensing.

E-mail:yangguopeng@hotmail.com

1001-1595(2010)06-0572-07

P237

A

國家863計劃(2006AA701309)

2009-07-17

2009-09-17

楊國鵬(1982—),男,博士生,主要從事模式識別、高光譜遙感。