一種用于高光譜圖像特征提取的子空間核方法

劉振林，谷延鋒，張 曄

（哈爾濱工業大學電子與信息工程學院，黑龍江哈爾濱150001）

一種用于高光譜圖像特征提取的子空間核方法

劉振林，谷延鋒，張 曄

（哈爾濱工業大學電子與信息工程學院，黑龍江哈爾濱150001）

特征提取對于實現高光譜遙感圖像的有效信息挖掘和利用以及提高后續分類應用有著重要價值。為了改進降維效果，提出一種子空間調制的核主成分分析方法，將高光譜數據分組特性整合到一個統一的核方法框架中，并構造子空間調制核。子空間調制核依靠特征分組實現了在光譜波段上的稀疏調制，它也是一個數據自適應的核，用于度量高光譜數據樣本間的非線性相似性。該方法利用AVIRIS真實高光譜圖像進行評估，并且與傳統的核方法、光譜加權核方法進行了比較。實驗結果表明，基于子空間調制的核方法更充分地利用了波段間復雜相關的物理特性，進而在高光譜圖像分類方面的結果好于傳統的核方法與光譜加權核方法。

高光譜圖像；核方法；數據降維；圖像分類；特征提取

近年來高光譜成像技術廣泛應用于民用和軍用領域。高光譜圖像的光譜分辨率一般達到10 nm。這樣高的光譜分辨率使得高光譜圖像適合于辨別光譜相似的地表覆蓋類別。同時，較高的光譜分辨率意味著高光譜數據立方體擁有著巨大的數據量，所以在處理高光譜圖像時考慮計算時間和存儲資源是很有必要的。在這種情況下，特征提取或降維成為了后續應用過程中的必要手段［1-4］。

考慮到波段間復雜的相關性，Jia等［5］提出了分段主成分變換（segmented principal component transform，SPCT）來提高傳統主成分分析（principal com-ponent analysis，PCA）的性能。在SPCT中，首次提出了基于光譜波段間相關性的特征分組，研究表明SPCT在高光譜圖像降維方面優于傳統PCA方法。SPCT的成功應用表明特征分組能夠對不同子空間數據或子數據重要性進行清晰的解釋和估計，這樣在高光譜圖像分析方面更有利用價值。在過去十年中，一些研究發現了核方法在遙感圖像處理中的巨大潛力，特別是在高光譜圖像分析中。為了更好地挖掘核方法在度量非線性相似性方面的潛力，學者們相繼提出了一些改進的核。其中，重要進展包括2個方面［6-12］，如混合核和半監督核。Guo等提出了一個光譜加權核方法，即通過優化泛化誤差或者通過評估每個波段的貢獻大小來選擇一系列特殊的權值，旨在更好地利用SVM技術進行高光譜圖像分類［13］。但現有光譜加權核方法未能有效利用高光譜圖像特征分組的可分特性。到目前為止，特征分組作為高光譜圖像可分特性還沒有在核設計中得到充分重視。

本文通過將特征分組整合到核函數設計中，得到一個新的核函數來解決高光譜圖像中的降維問題。實質上，高光譜數據可以被近似的視為不同傳感器在同一時刻采集到的異構信息，這是因為數據覆蓋了不同電磁波波長范圍，從可見光到近紅外甚至到熱紅外?？紤]到高光譜數據異構特性，提出一個子空間核方法，即子空間調制核主成分分析（簡記為SM-KPCA）。在提出的方法中，高光譜數據特征分組用于決定基核的數目。然后，調制因子，例如不同子空間的核的權值，通過不同子空間的波段圖像和地物真實圖的互信息來決定。此外，比較分析了在降維和分類應用中3種特征分組方法的效果。為了證明提出的SM-KPCA算法的有效性，利用真實AVIRIS高光譜圖像進行驗證實驗。分類精度作為一個主要指標來客觀評價該算法的有效性。

1 核方法

給定原始數據空間RL，輸入數據X＝{x1，x2，…，xN}。對于高光譜圖像x2∈RL，k＝1，2，…，N，可以視為第k個波段圖像的向量化。通常，輸入空間中的數據并不是線性可分的。核方法將輸入數據映射到高維特征空間中，以便使數據在新的空間中線性可分。特征空間表示為F，相應的映射為Ф。非線性映射如下：

通常在特征空間需要做的是計算映射樣本的內積。核方法的主要思想是利用一個在輸入空間定義的核函數代替特征空間中的內積。核函數定義為

這樣，可以通過輸入空間的核函數來代替內積的計算，所以映射Ф的形式并不需要明確的給出。方程（2）只是核的一般形式，它可以視為2個樣本間的相似性度量。在本文研究中主要采用高斯核。

高斯徑向基函數（RBF）：

2 本文算法

2.1 特征加權核

對于遙感中高光譜圖像的高維數據，數據的信息來自從可見光到紅外的很寬波長范圍。所以，在設計核結構時，值得區分不同源的特征。把核叫做特征加權核，它的一般描述如下：

Kw( xi，xj)＝K( X Di，X Dj)＝K( dixi，djxj)（4）式中：X＝[x1x2…xN]，D是數據矩陣X的對角權值矩陣，diag D＝(d1，d2，…，dN)，X Di是XD的第i列。

考慮方程（4）高斯核，方程（3）可重新表示如下：

式中：Kw·，·()表示加權高斯核。將帶寬參數σ引入到對角矩陣D中，用矩陣Dm代替D。有

根據方程（6）和（7），可以發現新增的對角矩陣D起到調制樣本帶寬參數σ的作用，帶寬參數σ在特征加權核中不再是一個常數。換句話說，在將權值矩陣D或Dm引入到新的核函數之后，特征加權核的帶寬參數σ是隨著不同光譜特征或光譜波段自適應變化的。在高光譜圖像應用中，方程（7）中的核是適應于光譜波段的核。所以分別稱Dm和ΔW為調制矩陣和各自全空間的調制向量。

2.2 子空間調制的核PCA

根據方程（7），可以注意到選擇好調制向量ΔW就表明特征加權核可以提供較好的樣本相似性的非線性度量。本文提出的SM-KPCA包括3個主要部分，即基于光譜波段復雜相關性的特征分組，優化調制向量的確定和子空間調制核的特征值分解。

首先，對原始高光譜數據進行特征分組，即根據相關性或信息度量將原始高光譜數據分割成一些子空間。一般來說，在同一子空間中不同波段的高光譜圖像子集有很強的相關性，這表明這些波段圖像應該有相同的調制因子。在分完M個子空間后，原始高光譜數據空間S可以寫為

式中：Sh( h＝1，2，…，M，M＜＜N)是S的數據子空間，Hi( i＝1，2，…，N)是第i個波段圖像，N是高光譜圖像的波段數，并且Si∩Sj＝?（?是空集）。

用子空間調制向量ΔS代替全空間調制向量ΔW，有

式中：σsh( h＝1，2，…，M)是對應第h個數據子空間Sh的調制向量。即同一子空間Sh的每一波段圖像共享σsh。

其次，在本章的后2部分給出了確定子空間調制向量ΔS的方法。

在確定了稀疏子空間調制向量ΔS后，可以獲得子空間調制核，并用子空間調制核代替傳統的KPCA核矩陣K得到子空間調制KPCA。本章的最后給出傳統KPCA簡單的介紹。

在特征空間F中，協方差矩陣計算如下：

CΦ的特征值分解如下：

式中：V可以由Φyi(){}生成的特征空間F表示：

與方程（4）等效的方程可以寫為

利用核函數代替F中的內積。根據方程（2），一個N×N的核矩陣K計算如下：

得到的結果(λk，αk)需要通過λk(αk·αk)＝1規范化，K需要用中心核矩陣Kc代替。表示如下：

式中：1N是一個N×N矩陣，其元素為1／N。

為了提取核主成分，映射樣本Φ(x)可以投影到特征空間中的特征向量Vk上，其可以如下描述：

上面簡單介紹了KPCA的基本概念，在子空間調制KPCA中，核由下式給出：

2.3 高光譜圖像特征分組

特征分組是在特定的規則下將原始數據的所有光譜波段劃分成若干組。一般來說，具有很高相關性的一系列光譜波段會被分到相同的組中，組成子空間數據。本文分析了3種特征分組方法，并用于確定子空間調制核的數目。接下來對這些分組方法進行詳細描述。

2.3.1 基于相關性的子空間

光譜波段yi和yj的相關系數由下式計算：

在計算完2個波段光譜相關系數后，高光譜數據的所有N個波段的相關系數矩陣表示為

給定一個光譜波段相關性的可視化度量方法，Indian Pine數據（200個波段）的相關系數矩陣如圖1所示。這種基于相關性的波段分組方法是沿著波段逐步進行的。2個連續子空間的邊界通過相關系數的預設閾值自動度量。分塊過程從第1個波段開始，第1個波段被固定作為第1個子空間的初始波段。然后計算下一個波段與初始波段的相關系數，并與預設閾值比較。如果相關系數高于閾值，那么該波段被認為是當前子空間的元素。相反，則結束當前子空間的擴展，該波段作為下一個子空間的初始波段。同樣的操作一直持續到最后一個波段，這樣就可以完成對所有波段的特征分組。

2.3.2 基于局部相關的子空間

在文獻［14］中，討論了局部相關系數的概念，它揭示出顯著的相關性只存在于相鄰的波段之間。借助于光譜波段的局部相關性，提出另一種特征分組方法。

光譜Wiener濾波矩陣A定義為

式中：Σ是高光譜數據的協方差矩陣。

第i波段光譜Wiener濾波估計誤差可表示為

同方程（18）定義的相關系數相比，與線性光譜估計誤差有關的局部相關系數定義為

相應的局部相關系數矩陣可以寫為

Indian Pine高光譜數據的局部相關系數如圖2所示。通過測量一組連續波段間的局部相關性，利用預設閾值來調制子空間邊界。例如，如果pi，i+1高于預設閾值，波段yi+1被認為是屬于yi子空間的元素；否則，波段yi+1屬于下一個子空間。分組過程重復從第1對波段到最后1對。

2.3.3 基于互信息的子空間

前面提過的相關系數與局部相關系數都可以表示2個變量的線性關系。在信息論中，互信息（MI）可以作為另一種方法來度量2個隨機變量的統計獨立性。

假設高光譜圖像的2個波段為2個離散變量A和B。A和B的互信息定義如下：

式中：p( a)和p( b)是A和B的邊緣概率分布，表示光譜波段反射值得分布，p( a，b)是A和B的聯合概率密度分布。

互信息矩陣MI由每2個光譜波段的互信息計算得到，根據方程（24）來定義，Iij＝I( yi，yj)，MI表示為

互信息矩陣也可以由一個二維圖像顯示出來，這樣可以提供一個全局的視覺評價。Indian Pine高光譜數據的MI圖像如圖3所示。圖3表明高光譜數據的互信息矩陣具有分塊的性質，即相鄰光譜波段有很強的相關性。所以MI可以作為一種波段分組的依據，如前文描述的相關系數一樣。

與基于相關性的分組方法相似，基于MI的分組方法通過控制預設閾值逐步擴大和劃分子空間。具體的過程與基于相關性的方法相同，只需要用互信息代替相關系數，并改變相應的閾值。

2.4 確定調制向量

對于高光譜圖像分類，在SM-KPCA方法中，由地物真實圖得到的先驗類別信息用于確定優化子空間的調制向量ΔS。光譜波段圖像與已知的地物真實圖間的互信息可以顯示該波段的類別可分性，并能度量出對分類的貢獻。根據方程（24）計算互信息，這里的2個變量將由地物真實圖和波段圖像所代替。因此，在已知先驗信息的監督方法下，子空間數據的光譜波段與地物真實圖間的互信息用于確定子空間調制向量ΔS。其應用過程按如下實現：首先，計算每個波段與地物真實圖的互信息，然后采用同一子空間下所有波段的平均互信息作為子空間調制權值σsh( h＝1，2，…，M)。

3 實驗與結果分析

為了驗證該算法的有效性，對真實高光譜數據進行數值實驗。本文用地表覆蓋物的分類來客觀地評價和比較本文的SM-KPCA方法與傳統的KPCA方法。另一個用于比較的方法是SWK，它需要確定全局空間調制向量ΔW，由SWKPCA定義得到SWK PCA。在客觀評價中，分類方法采用的是一對一的SVM多類分類方法。

在實驗中，本文提出的SM-KPCA方法對高光譜數據進行特征提取，數據為AVIRIS在西北印第安納的印第安平原采集得到的。原始數據包括224個光譜波段，每個波段圖像是145×145像素。去掉4個全為零的波段和20個受大氣水分吸收影響的波段，使用200個波段用于實驗。在使用SM-KPCA方法之后，對所有16類地物進行基于SVM的監督分類，利用真實地物圖對特征提取的表現進行評價。在分類過程中，16類樣本中每一類的20%用于訓練，余下的80%用于測試。

對于不同方法其實驗的設置如下。

3.1 不同特征分組

實驗中采用第4部分描述的3種特征分組方法，相應的閾值用于控制子空間邊界，如表1所示。為了更加清楚地比較不同方法，通過調整閾值來得到一些特定的子空間數目，本實驗中設置為10、15、20和25。表1表明閾值是隨著子空間數目增加而增加的。這種趨勢與只有相鄰波段間存在高相關性的現象一致。

表1 不同子空間分組方法的閾值Table 1 Threshold of different subspace grouping

3.2 比較先驗方法下通過不同子空間方法提取的特征

在先驗調制方法下提出的SM-KPCA方法執行了第4部分介紹的3種特征分組方法。高斯徑向基函數作為核函數和特征加權核的原型，帶寬參數σ設為1。由傳統KPCA、SWKPCA和SM-KPCA提取的前5個特征如圖1、2和3所示，其中，子空間的數目設為20。

圖1 傳統KPCA方法提取的前5個特征Fig.1 First five features by KPCA

圖2 SW-KCPA方法提取的前5個特征Fig.2 First five features by SW-KPCA

圖3 不同SM-KPCA算法提取的前5個特征Fig.3 First five features by SM-KPCA

3.3 分類性能

分類中，采用基于SVM，SVM-KM分類的MATLAB工具箱和高斯徑向基函數。分類是在不同數量（5～25）的主成分數目上進行的，圖4分別給出總體分類精度曲線（表1列出不同子空間數目）。可以看出，子空間調制核PCA可以極大地改善核PCA的分類性能。與光譜加權核PCA相比，本文的SMKPCA在多數情況下更有效。在這3種特征分組方法中，沒有哪一種完全好于其他方法。但是可以找到一種方法，它在利用基于分組的互信息方法的多數情況下性能更優越。此外，在考慮一些非線性成分時基于相關性的分組方法SWKPCA也顯示出很好的性能。

圖4 總體分類精度Fig.4 Overall accuracy of classification

子空間的數目影響著SM-KPCA的性能，所以在實驗中分析了這種影響，相應的結果如圖5所示。同時考慮SW-KPCA，因為它可以視為一種特殊的情況，即有200個調制子空間。從這一點可以得出結論，本文的子空間調制核方法好于光譜加權核的方法。圖5中，當子空間的數目從15變化到25時，SM-KPCA方法要好于其他方法，這表明子空間的數目不能過大或過小。

圖5 不同子空間數量下的總體分類精度Fig.5 Overall accuracy with different number of subspaces

4 結論

本文提出一種新穎的子空間調制核方法用于高光譜圖像降維后的分類。在低維特征上的分類用于客觀的評價方法的特征提取性能。在本文提出的方法中，高光譜圖像的特征加權核與特征分組特性整合到了傳統的核方法中，并用于提高數據的適應性，且得到了SM-KPCA方法。與傳統KPCA與SWK方法相比，針對降維后的分類處理效果和性能來說，SMK方法更有效。

本文提出的方法中，分類作為一個目的用來引導和評價子空間調制核結構。所以，未來的工作是如何擴展其他的調制核結構的應用領域，通過更有效的集成核方法與高光譜圖像的空譜結構信息使得在高光譜圖像的多種重要應用中得到最優處理效果，例如光譜解混、目標檢測。

［1］VANE G，GREEN R O，CHRIEN T G，et al.The airborne visible／infrared imaging spectrometer（AVIRIS）［J］.Remote Sens Environ，1993，44：127-143.

［2］LANDGREBE D.Hyperspectral image data analysis as a high dimensional signal processing problem［J］.IEEE Signal Process Mag，2002，19（1）：17-28.

［3］林娜，楊武年，王斌.高光譜遙感影像核最小噪聲分離變換特征提?。跩］.武漢大學學報：信息科學版，2013，38（8）：988-992.

LIN Na，YANG Wunian，WANG Bin.Hyperspectral image feature extraction via kernel minimum noise fraction transform［J］.Geomatics and Information Science of Wuhan University，2013，38（8）：988-992.

［4］杜培軍，王小美，譚琨，等.利用流形學習進行高光譜遙感影像的降維與特征提取［J］.武漢大學學報：信息科學版，2011，36（2）：148-152.

DU Peijun，WANG Xiaomei，TAN Kun，et al.Dimensionality reduction and feature extraction from hyperspectral remote sensing imagery based on manifold learning［J］.Geomatics and Information Science of Wuhan University，2011，36（2）：148-152.

［5］JIA X，RICHARDS J A.Segmented principal components transformation for efficient hyperspectral remote-sensing Image display and classification［J］.IEEE Trans Geosci Remote Sens，1999，37（1）：538-542.

［6］CAMPS-VALLS G，GOMEZ-CHOVA L，MUNOZ-MARI J，et al.Composite kernels for hyperspectral image classification［J］.IEEE Geosci Remote Sens Lett，2006，3（1）：93-97.

［7］GU Y，LIU Y，ZHANG Y.A soft classification algorithm based on spectral-spatial kernels in hyperspectral images［C］／／Second International Conference on Innovative Computing，Information and Control，ICICIC 2007.Kumamoto，Japan，2007：1-4

［8］FAUVELE M，CHANUSSOT J，BENEDIKTSSON J A.A-daptive pixel neighborhood definition for the classification of hyperspectral images with support vector machines and composite kernel［C］／／IEEE International Conference on Image Processing，ICIP’08.San Diego，USA，2008：1884-1887.

［9］TUIA D，RATLE F，POZDNOUKHOV A，et al.Multisource composite kernels for urban-image classification［J］.IEEE Geosci Remote Sens Lett，2010，7（1）：88-92

［10］CAMPS-VALLS G，MARSHEVA T V B，ZHOU D.Semisupervised graph-based hyperspectral image classification［J］.IEEE Trans Geosci Remote Sens，2007，45（10）：3044-3054.

［11］CAPOBIANCO L，GARZELLI A，CAMPS-VALLS G.Target detection with semisupervised kernel orthogonal subspace projection［J］.IEEE Trans Geosci Remote Sens，2009，47（11）：3822-3833.

［12］MARCONCINI M，CAMPS-VALLS G，BRUZZONE L.A composite semisupervised SVM for classification of hyperspectral images［J］.IEEE Geosci Remote Sens Lett，2009，6（2）：234-238.

［13］GUO B，GUNN S R，DAMPER R I，et al.Customizing kernelfunctions for svm-based hyperspectralimage classification［J］.IEEE Trans Image Process，2008，17（4）：622-629.

［14］MANOLAKIS D，LOCKWOOD R，COOLEY T.On the spectral correlation structure of hyperspectral imaging data［C］／／IEEE International Geosience and Remote Sensing Symposium，IGARSS’08.Cape Town，South Africa，2008：581-584.

A subspace kernel learning method for feature extraction of the hyperspectral image

LIU Zhenlin，GU Yanfeng，ZHANG Ye
（School of Electronics and Information Engineering，Harbin Institute of Technology，Harbin 150001，China）

Feature extraction is quite valuable for the mining and utilization of valid information in hyperspectral remote-sensing imaging and the increase of subsequent classified applications.For improving the dimension reduction effect，a subspace-modulated kernel principal component analysis（SM-KPCA）method is proposed.With this method，the grouping natures of hyperspectral data are integrated into a uniform kernel method framework and a subspace-modulated kernel is constructed.SMK（subspace-modulated kernel）achieves a sparse modulation on the spectral waveband by means of feature grouping；in addition，it is a data-adaptive kernel for measuring the nonlinear similarities among the hyperspectral data specimens.With the proposed method，AVIRIS（airborne visible infrared imaging spectrometer）real hyperspectral imaging is applied for evaluation.Additionally，this method is compared with the conventional kernel method and the spectrally weighted kernel method.The experimental results show that the SM-KPCA method more sufficiently utilizes the complex and relevant physical characteristics between wavebands.Therefore，itoutperforms both the conventional kernelmethods and the spectrally weighted kernelmethod regarding the aspect of the classification of hyperspectral images.

hyperspectral images；kernel methods；data dimension reduction；image classification；feature extraction

10.3969／j.issn.1006-7043.201309025

TN911.73

A

1006-7043（2014）02-0238-07

http：／／www.cnki.net／kcms／doi／10.3969／j.issn.1006-7043.201309025.html

2013-09-06.網絡出版時間：2014-1-2 15：26：13.

國家自然科學基金資助項目（61371180）.

劉振林（1970-），男，博士研究生；

谷延鋒（1977-），男，教授，博士生導師.

谷延鋒，E-mail：guyf＠hit.edu.cn.