基于ISSMFA與LMPNN算法的高光譜遙感影像分類

謝福鼎，蓋虹羽，楊 俊

(遼寧師范大學(xué) 城市與環(huán)境學(xué)院，遼寧 大連 116029) E-mail：351521039@qq.com

1 引 言

高光譜遙感的最主要特點(diǎn)是圖譜合一，其獲取的地面空間圖像能夠融合地物的圖像維和光譜維信息，得到每個地物的連續(xù)光譜信息，因此研究人員可根據(jù)獲取的信息進(jìn)行地物識別和分類.由于高光譜遙感數(shù)據(jù)的光譜維數(shù)高，相鄰波段間的相關(guān)性強(qiáng)，傳統(tǒng)的分類方法容易造成維數(shù)災(zāi)難，導(dǎo)致分類精度不高.同時(shí)光譜分辨率高，導(dǎo)致很多異物同譜的地物在高維空間中可能距離很近，呈云團(tuán)狀成簇分布，這些云團(tuán)之間并不是呈線性分布的，這種非線性的結(jié)構(gòu)被稱為"流形".因此，如何有效地提取出高光譜遙感數(shù)據(jù)中的地物特征，并且挖掘出其中蘊(yùn)含的流形，是實(shí)現(xiàn)地物準(zhǔn)確分類的關(guān)鍵.[1，2]

在處理高維數(shù)據(jù)的研究中，國內(nèi)外學(xué)者提出了一系列算法，傳統(tǒng)的線性降維方法有主成分分析(Principal component analysis，PCA)，線性判別分析(Linear discriminant analysis，LDA)，多維尺度變換(Multidimensional scaling，MDS)[3-5]等.其核心思想是找到一種線性特征變換將高維特征空間變換至低維特征空間，并同時(shí)保持樣本的某些特性不變.非線性流形算法有等距映射(Isometric feature mapping，Isomap)，拉普拉斯特征映射(Laplacian eigenmaps，LE)，局部線性嵌入(Locally-linear embedding，LLE)，局部保持投影(Locality preserving projection，LPP)[6-9]等.文獻(xiàn)[10]提出了邊際Fisher分析(Marginal Fisher Analysis，MFA)，有效利用了數(shù)據(jù)的類別信息，基于圖嵌入框架，通過兩個圖來描述類內(nèi)的緊密型和類間的分離性，獲得線性映射函數(shù)，將數(shù)據(jù)從高維空間投影到低維空間.但由于對遙感影像全部標(biāo)記較為困難，文獻(xiàn)[11]使用半監(jiān)督算法對MFA進(jìn)行改進(jìn)，但并未考慮空間相鄰像元間的關(guān)系.從物理意義上講，地理空間上很近的像元在很大概率上屬于同類地物，即圖像域的空間一致性特點(diǎn)[12].因此，研究人員開始將高光譜影像的空間信息融入到特征提取中，采用空-譜聯(lián)合的方式，選取合適的地物特征對數(shù)據(jù)進(jìn)行維約簡.比如文獻(xiàn)[13]將光譜角引入空譜聯(lián)合稀疏表示圖像分類理論中，設(shè)計(jì)空譜聯(lián)合稀疏表示進(jìn)行圖像分割，有效提高復(fù)雜影像的分類精度.

在眾多分類方法中，KNN 分類法因具有簡單有效，分類準(zhǔn)確度高，魯棒性好等優(yōu)點(diǎn)，被廣泛用于模式識別領(lǐng)域.基于該方法，提出了加權(quán)投票方法的KNN[14，15]，給越近的鄰居分配更大的權(quán)重.但是根據(jù)近鄰點(diǎn)的距離越近，分配權(quán)重越大不是絕對正確的，有時(shí)一些更遠(yuǎn)的鄰居的類別信息更為重要.關(guān)于這個問題，提出了自適應(yīng)指標(biāo)最近鄰分類[16].為克服離群點(diǎn)的負(fù)面影響，提出了一個簡單的非參數(shù)分類器，局部平均k近鄰[17]，用每類k近鄰的局部平均向量來分類待測樣本.偽近鄰(pseudo nearest neighbor，PNN)[18]則是在距離權(quán)重k近鄰法(WKNN)[14]和局部平均k近鄰基礎(chǔ)上提出來的，搜尋每類的偽鄰居點(diǎn)，根據(jù)最近的偽鄰居點(diǎn)的類別來分類.局部平均偽近鄰算法[19]則是對PNN算法的推廣，用每類的k近鄰求得k個局部平均向量，來代替?zhèn)梧従狱c(diǎn)，計(jì)算權(quán)重距離和，待測點(diǎn)的類別由最近的局部平均偽近鄰的類別決定.相比PNN能代表更有效的類別信息，從而提高分類性能.

基于以上分析，本文提出了一種結(jié)合空間近鄰關(guān)系的流形降維(ISSMFA)和局部平均偽近鄰(LMPNN)的高光譜遙感影像分類方法.首先在描述類間關(guān)系的本征圖構(gòu)建中，融入地理空間近鄰像元的信息，設(shè)置權(quán)重，使得同類或地理空間近鄰的像元點(diǎn)更加聚集，從而提取高光譜數(shù)據(jù)中有效的特征信息進(jìn)行維數(shù)約簡，再對降維后的數(shù)據(jù)用LMPNN方法進(jìn)行分類.Indian Pine 數(shù)據(jù)集和PaviaU數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文提出的方法能夠針對高光譜數(shù)據(jù)的空-譜特點(diǎn)，有效解決地物點(diǎn)的多分類問題，并且取得較好的分類結(jié)果.

2 算法介紹

2.1 半監(jiān)督邊際Fisher分析(SSMFA)

(1)

(2)

(3)

(4)

(5)

目標(biāo)函數(shù)可轉(zhuǎn)化為如下形式：

(6)

于是，上述最優(yōu)化問題可轉(zhuǎn)化為方程的特征值求解：

XLPXTA=λXLXTA

(7)

解得上式的d個最大特征值λ={λ0，λ1，…，λd-1}，所對應(yīng)的特征向量{a0，a1，…，ad-1}即為所求的映射A={a0，a1，…，ad-1}.

(8)

(9)

其中β為大于1 的常數(shù)

2.2 結(jié)合空間近鄰信息的半監(jiān)督邊際Fisher分析(ISSMFA)

SSMFA考慮了只有少數(shù)樣本有標(biāo)簽的情況，進(jìn)行了改進(jìn)，但直接運(yùn)用SSMFA對高光譜數(shù)據(jù)降維，僅能利用其光譜信息.實(shí)際上高光譜影像區(qū)別于其他高維數(shù)據(jù)，具有空-譜一致性的特點(diǎn)，在地理二維空間上距離很近的像元極有可能屬于同類地物，僅僅利用現(xiàn)有流形算法中固定的流形結(jié)構(gòu)不能全面的表達(dá)高光譜數(shù)據(jù)的特征信息，導(dǎo)致選取的特征有誤，影響后續(xù)的分類效果.本文提出的方法，將地理空間近鄰像元點(diǎn)加入到SSMFA本征圖的構(gòu)建，賦以更大的權(quán)重，從而增強(qiáng)地理空間鄰域像元的緊密性，同時(shí)保持原高維空間中數(shù)據(jù)的類內(nèi)結(jié)構(gòu)和類間結(jié)構(gòu).

給定一個像元P0，該像元在圖像中的位置用(i，j)表示，P0的相鄰像元的集合用NP0表示，設(shè)鄰域窗口大小為m×m(m為大于1的奇數(shù)).當(dāng)m=3時(shí)，中心像元點(diǎn)P0的鄰近像元為4個或8個，如圖1(a)圖1(b)所示.同理可推m=5時(shí)，它鄰近像元為12個，20個或24個…隨著窗口增大，中心像元點(diǎn)的近鄰像元數(shù)增多，可利用的類別信息增多，但同時(shí)導(dǎo)致計(jì)算量過大，因此本算法只取3×3窗口，8個近鄰像元點(diǎn)，通過滑動3×3窗口，不斷把近鄰關(guān)系加入到本征圖中.

圖1 鄰域窗口示意圖Fig.1 Schematic of the neighborhood window

假設(shè)高維空間RD中一組含n個樣本的數(shù)據(jù)集為X={x1，x2，…，xn}，對于點(diǎn)xi與點(diǎn)xj，如果屬于同類，或者互為地理空間鄰近像元點(diǎn)，或者互為K近鄰，則連起來構(gòu)成本征圖G；如果屬于不同的類，則連起來構(gòu)成懲罰圖Gp，以保持樣本點(diǎn)類間關(guān)系.通過公式(10)(9)獲得本征圖和懲罰圖的權(quán)重矩陣，再利用公式(6)(7)求得映射函數(shù)及低維構(gòu)造點(diǎn).

(10)

2.3 局部平局偽近鄰(LMPNN)

(11)

(12)

注意：第一個近鄰點(diǎn)的局部平均向量就是它本身.

(13)

(14)

4)計(jì)算目標(biāo)函數(shù)：

(15)

將距離x最近的基于局部平均的偽近鄰的類標(biāo)簽賦給x.(注意：當(dāng)k=1時(shí)，LMPNN等同于NN，PNN，LMKNN).

2.4 算法步驟

本文算法步驟如下：

輸入：高光譜數(shù)據(jù)集和類標(biāo)簽

輸出：低維構(gòu)造點(diǎn)

Step1. 從數(shù)據(jù)集中每類數(shù)據(jù)中隨機(jī)選取一定數(shù)量的測試樣本

Step2. 構(gòu)建本征圖和懲罰圖.對每一個數(shù)據(jù)點(diǎn)，計(jì)算k1近鄰，將其連接起來，同時(shí)將其空間鄰域m×m內(nèi)的點(diǎn)也連起來，構(gòu)成本征圖.同樣每一個數(shù)據(jù)，計(jì)算k2近鄰，將不同類的點(diǎn)連接起來，構(gòu)成懲罰圖.

Step3. 根據(jù)公式(10)(9)，構(gòu)造權(quán)重矩陣

Step4. 根據(jù)公式(6)(7)，計(jì)算映射函數(shù).

Step5. 利用映射函數(shù)將高光譜數(shù)據(jù)從高維空間映射到低維空間，得到低維構(gòu)造點(diǎn)Y.

Step6. 利用LMPNN算法對降維后的點(diǎn)進(jìn)行分類.

3 實(shí)驗(yàn)結(jié)果與分析

本文選擇Indian Pines數(shù)據(jù)集和PaviaU數(shù)據(jù)集進(jìn)行實(shí)驗(yàn).為驗(yàn)證ISSMFA算法的優(yōu)越性，同LDA，MFA，SSMFA等降維算法進(jìn)行對比；為驗(yàn)證LMPNN的分類效果，與KNN分類器進(jìn)行對比.實(shí)驗(yàn)中，分別從數(shù)據(jù)集的每類樣本中隨機(jī)選取一定數(shù)量的訓(xùn)練樣本，剩余樣本作為測試樣本.首先用各特征提取算法對訓(xùn)練樣本進(jìn)行學(xué)習(xí)，獲得投影矩陣，提取樣本特征，然后采用各分類算法對測試樣本的特征數(shù)據(jù)進(jìn)行分類.實(shí)驗(yàn)以總精度OA和Kappa系數(shù)量化分類效果，為了降低隨機(jī)性，每個實(shí)驗(yàn)重復(fù)10次并取平均值作為實(shí)驗(yàn)結(jié)果.

本文中的參數(shù)如下：β為當(dāng)兩個樣本點(diǎn)屬于同類或者空間位置近鄰時(shí)的權(quán)重系數(shù)，k為KNN分類器的近鄰數(shù)，kL為LMPNN方法的近鄰數(shù)，根據(jù)各數(shù)據(jù)集中數(shù)據(jù)分布情況進(jìn)行調(diào)整設(shè)定.

本文的實(shí)驗(yàn)環(huán)境為：實(shí)驗(yàn)硬件平臺為 Intel(R)Core(TM)i5-4210U CPU，主頻為2.40 GHz，內(nèi)存為4.00 GB，編程環(huán)境為MATLAB R2014a.

3.1 Indian Pines數(shù)據(jù)集實(shí)驗(yàn)結(jié)果及分析

Indian Pines數(shù)據(jù)集是1992年6月用AVIRIS傳感器采集的美國印第安那州農(nóng)場的遙感影像，空間分辨率為20m，圖像大小為145×145.去除幾個受大氣影響的波段，剩余200個光譜波段，包含16類地物標(biāo)記( 20<每類中樣本點(diǎn)數(shù)<2455)，真實(shí)地物標(biāo)記如圖2所示.根據(jù)數(shù)據(jù)分布情況，鄰域大小定為3×3，β=1.9，k=2，kL=15，為比較不同訓(xùn)練樣本下各算法的性能，分別從每類中隨機(jī)選取10%，20%，30%作為訓(xùn)練樣本，表1給出了各算法在不同訓(xùn)練比例下的總體分類精度(OA)和Kappa系數(shù)，和訓(xùn)練10%時(shí)各算法的運(yùn)行時(shí)間.表2給出了本文方法與SSMFA在訓(xùn)練20%時(shí)，每類地物的分類精度.

圖2 Indian Pines影像數(shù)據(jù)真實(shí)地物標(biāo)記Fig.2 True markings of Indian Pines image data

表1 各算法在Indian數(shù)據(jù)集的分類結(jié)果Table 1 Results of the algorithms in the Indian dataset

從表1可知，隨訓(xùn)練比例的提高，各算法的精度均有提高，這是因?yàn)橛?xùn)練比例提高，可利用的類別信息增多.當(dāng)分類器為KNN時(shí)，MFA比LDA精度高，因?yàn)镸FA使用了圖框架，能挖掘出數(shù)據(jù)中的流形，保持局部近鄰結(jié)構(gòu)不變，加強(qiáng)了同類數(shù)據(jù)點(diǎn)的緊密性，同時(shí)推遠(yuǎn)不同類數(shù)據(jù)，使得分類更加準(zhǔn)確.ISSMFA比SSMFA高，因?yàn)樵谙嗤?xùn)練比例下，ISSMFA考慮了地理空間鄰近像元的位置關(guān)系，并把周圍8個像元的類別信息用于構(gòu)圖，使得特征提取更加準(zhǔn)確.使用LMPNN進(jìn)行分類的效果普遍比KNN分類器好，是由于，LMPNN考慮了每個類的近鄰信息，而不僅僅依據(jù)少數(shù)近鄰點(diǎn)決定其類別，加強(qiáng)了分類的準(zhǔn)確性.表2的數(shù)據(jù)表明，在訓(xùn)練比例為20%時(shí)，ISSMFA 總體分類精度能達(dá)到87.62%.相比SSMFA方法，ISSMFA對于各類地物均有較好的分類效果，Grass-trees，Grass-pasture-mowed，Wheat，Woods精度均達(dá)到0.90以上，其中Grass-trees地物的分類精度提高顯著，分類精度達(dá)到0.99.

表2 Indian數(shù)據(jù)集中各地物用不同算法分類后的結(jié)果Table 2 Results of the classification of different materials in the Indian dataset

3.2 PaviaU數(shù)據(jù)集實(shí)驗(yàn)結(jié)果及分析

PaviaU數(shù)據(jù)集是ROSIS傳感器在意大利南部拍攝的Pavia University，空間分辨率為1.3m，圖像大小為610×340，

圖3 PaviaU影像數(shù)據(jù)真實(shí)地物標(biāo)記Fig.3 True markings of PaviaU image data

去除噪聲波段，剩余103個光譜波段，此地區(qū)共包含9種地物標(biāo)記(947<每類中樣本點(diǎn)數(shù)<18649)，真實(shí)地物標(biāo)記如圖3所示.設(shè)定β=1.3，k=2，kL=13，為比較不同訓(xùn)練樣本下各算法的性能，分別從每類中隨機(jī)選取10%，20%，30%作為訓(xùn)練樣本，表3給出了各算法在不同訓(xùn)練比例下的總體分類精度(OA)和Kappa系數(shù)，和訓(xùn)練10%時(shí)各算法的運(yùn)行時(shí)間.表4給出了本文方法與SSMFA在訓(xùn)練20%時(shí)，每類地物的分類精度.

表3 各算法在PaviaU數(shù)據(jù)集的分類結(jié)果Table 3 Results of the algorithms in the PaviaU dataset

從表3可看出PaviaU數(shù)據(jù)集的總體分類精度比Indian數(shù)據(jù)集的總體分類精度高，這是由于這兩個數(shù)據(jù)集的數(shù)據(jù)分布不同導(dǎo)致的，PaviaU數(shù)據(jù)集中，同類別數(shù)據(jù)點(diǎn)聚集度較高，不同類別數(shù)據(jù)點(diǎn)距離較遠(yuǎn)，因此可分度高，分類精度高.隨訓(xùn)練比例增加，各算法精度均有提高，在訓(xùn)練10%，20%，30%時(shí)，ISSMFA分別比SSMFA精度高了3.79%，3.34%，3.35%，說明將地理空間鄰近像元信息加入到流形構(gòu)圖中能取得更好的分類效果.表4中數(shù)據(jù)表明，在訓(xùn)練比例為20%時(shí)，分別使用SSMFA和ISSMFA相比，Bitumen地物的分類精度提高顯著，提高了10%，ISSMFA+LMPNN對每類地物的分類精度均在85%以上，其中Painted metal sheets與Shadows這兩類的精度接近100%，總體分類精度達(dá)到95.03%.

表4 PaviaU數(shù)據(jù)集中各地物用不同算法分類后的結(jié)果Table 4 Results of the classification of different materials in the PaviaU dataset

4 結(jié) 論

高光譜影像在地理空間上距離很近的像元點(diǎn)極有可能屬于同類地物，僅僅利用現(xiàn)有流形算法中固定的流形結(jié)構(gòu)不能全面的表達(dá)高光譜影像數(shù)據(jù)的特征信息.因此，本文提出了一種結(jié)合地理空間近鄰關(guān)系的流形降維(ISSMFA)和局部平均偽近鄰(LMPNN)的高光譜遙感影像分類方法.為證明本文方法的有效性，同LDA，MFA，SSMFA這些降維方法進(jìn)行對比實(shí)驗(yàn)，降維后分別使用KNN和LMPNN兩種方法分類.從Indian Pine和PaviaU數(shù)據(jù)集上的實(shí)驗(yàn)可以看出，在各算法降維后，使用LMPNN進(jìn)行分類要比KNN的分類效果好；在使用相同的分類方法時(shí)，相比LDA，MFA，SSMFA這些降維方法，本文提出的ISSMFA方法分類精度明顯提高，在訓(xùn)練20%時(shí)，總體精度分別能達(dá)到87.62%，95.03%.

[1] Xie Yao.Study on hyperspectral image classification based on spatially fitting sparse representation[D].Shenzhen：Shenzhen University，2015.

[2] Wei Feng，He Ming-yi，Shen Zhi-ming，et al.Multi-spectral data based on manifold semi-supervised feature selection[J].Acta Photonica Sinica，2014，43(6)：93-97.

[3] Turk M.Pentland- "eigenfaces for recognition[J].Journal of Cognitive Neuroscience，1991，3(1)：71-86.

[4] Belhumeur P，Hespanha J，Kriegman D.Face recognition：eigenfaces vs.fish-erfaces：recognition using class specific projection[J].IEEE Trans Pattern Analysis & Machine Intelligence，1997，19(7)：711-720.

[5] Trevor C，Michael C.Multidimensional scaling[M].London：Chapman&Hall，1994.

[6] Tenenbaum J，Silva D D，Langford J.A global geometric framework for nonlinear dimensionality reduction[J] .Science，2000，290(5500)：2319-2323.

[7] Belkin M，Niyogi P.Laplacian eigenmaps for dimensionality reduction and data representation[J].Neural Computation，2003，15(6)：1373-1396.

[8] Roweis S T，Saul L K.Nonlinear dimensionality reduction by locally linear embedding[J].Science，2000，290(5500)：2323-2326.

[9] He X，Niyogi P.Locality preserving projections[C].In Thrun S，Saul L，et al.Advances in Neural Information Processing System,Cambridge，MA：MIT Press，2004.

[10] Yan Shui-cheng，Xu Dong,Zhang Ben-yu，et al.Graph embedding and extensions：a general frma ework for dimensionality rdeuction[J].IEEE Trans．on Pattern Analysis and Machine Intelligence，2007，29(1)：40-51.

[11] Wang Li-zhi，Huang Hong，F(xiàn)eng Hai-liang.Remote sensing image classification based on SSMFA and kNNS algorithm [J] .Acta Electronic Journal，2012，40(4)：780-787.

[12] Pu Han-ye，Wang Bin，Zhang Li-ming.Dimensional image based on a new algorithm for hyperspectral drop manifold learning[J].Infrared and Laser Engineering，2014，43(1)：232-237.

[13] Wang Cai-ling，Wang Hong-wei，Hu Bing-liang，et al.Study on hyperspectral image classification based on neighborhood segmentation[J].Spectroscopy and Spectral Analysis，2016，36(9)：2919-2924.

[14] Dudani S A.The distance-weighted k-nearest neighbor rule[J].IEEE Trans.Syst.Man Cybern，1976，6(4)：325-327.

[15] Gou J，Du L，Zhang Y，et al.A new distance-weighted k-nearest neighbor classifier[J].Journal of Information &Computational Science,2012，9(6)：1429-1436.

[16] Domeniconi C，Peng J,Gunopulos D.Locally adaptive metric nearest-neighbor classification[J].Pattern Analysis & Machine Intelligence IEEE Transactions on,2002，24(9)：1281-1285.

[17] Mitani Y，Hamamoto Y.A local mean-based nonparametric classifier[J].Pattern Recognition Letters,2006,27(10)：1151-1159.

[18] Zeng Y，Yang Y，Zhao L.Pseudo nearest neighbor rule for pattern classification[J].Expert Systems with Applications，2008，36(2)：3587-3595.

[19] Gou J，Zhan Y，Rao Y，et al.Improved pseudo nearest neighbor classification[J].Knowledge-Based Systems，2014，70(C)：361-375.

附中文參考文獻(xiàn)：

[1] 謝 瑤.基于空譜融合稀疏表示的高光譜圖像分類技術(shù)研究[D].深圳：深圳大學(xué)，2015.

[2] 魏 峰，何明一，申志明，等.高光譜數(shù)據(jù)基于流形的半監(jiān)督特征選擇[J].光子學(xué)報(bào)，2014，43(6)：93-97.

[11] 王立志，黃 鴻，馮海亮.基于SSMFA與kNNS算法的高光譜遙感影像分類[J].電子學(xué)報(bào)，2012，40(4)：780-787.

[12] 普晗曄，王 斌，張立明.基于流形學(xué)習(xí)的新高光譜圖像降維算法[J].紅外與激光工程，2014，43(1)：232-237.

[13] 王彩玲，王洪偉，胡炳梁，等.基于鄰域分割的空譜聯(lián)合稀疏表示高光譜圖像分類技術(shù)研究[J].光譜學(xué)與光譜分析，2016，36(9)：2919-2924.