基于局部保留降維卷積神經(jīng)網(wǎng)絡(luò)的高光譜圖像分類(lèi)算法

齊永鋒 李發(fā)勇

(西北師范大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院， 蘭州 730070)

0 引言

高光譜圖像分類(lèi)是高光譜遙感信息提取的核心技術(shù)之一，是基于像元的光譜與空間特性，對(duì)每個(gè)像元或像元組所包含的地物類(lèi)別進(jìn)行屬性確定和標(biāo)注[1]。由于高光譜圖像波段多、波段間相關(guān)性強(qiáng)、空間分辨率高，如果直接對(duì)高光譜圖像進(jìn)行分類(lèi)，容易產(chǎn)生“休斯”現(xiàn)象，從而很大程度上降低了分類(lèi)精度。為了克服這些困難，在分類(lèi)前通常對(duì)高光譜數(shù)據(jù)進(jìn)行降維處理。對(duì)于數(shù)據(jù)降維，國(guó)內(nèi)外學(xué)者提出了許多經(jīng)典的算法，這些方法通常依據(jù)某種準(zhǔn)則，將高維光譜向量投影到低維特征空間，然后在低維特征空間進(jìn)行分類(lèi)[2]。經(jīng)典方法包括線性判別式分析(Linear discriminant analysis，LDA)[3]、核主成分分析(Kernel principal component analysis，KPCA)[4]、核Fisher判別式分析[5]、廣義判別式分析[6]和支持向量機(jī)(Support vector machines，SVM)[7]等。上述算法雖然已經(jīng)取得了較好的效果，但是仍存不足。LDA假設(shè)類(lèi)條件分布是高斯分布，而高光譜數(shù)據(jù)往往是非高斯分布，甚至有可能是多模型，且在最大化類(lèi)間分布矩陣的過(guò)程中不能很好地保護(hù)輸入空間相鄰像素的局部特征，從而導(dǎo)致信息丟失。

從空間角度來(lái)看，空間相鄰的像元最有可能屬于同一類(lèi)，即具有空間一致性。為充分利用空間特征，各種提取空間特征的方法被提出，例如灰度共生矩陣[8]、小波變換特征提取[9]、支持向量機(jī)[9]、擴(kuò)展形態(tài)輪廓[10]等。這些方法在提取空間特征時(shí)需要預(yù)先手動(dòng)設(shè)定參數(shù)，提取的空間特征只能針對(duì)特定的目標(biāo)對(duì)象，缺少靈活性，并且形狀、紋理、邊緣等低級(jí)特征變化很大，使得這些方法不可能通過(guò)設(shè)置經(jīng)驗(yàn)參數(shù)來(lái)描述所有類(lèi)型對(duì)象。

高光譜圖像的類(lèi)別復(fù)雜多樣，純光譜信息或純空間信息的分類(lèi)很難適用于所有類(lèi)型的高光譜數(shù)據(jù)。目前普遍認(rèn)為，同時(shí)使用空間和光譜信息對(duì)提高分類(lèi)精度具有很大幫助。對(duì)原始數(shù)據(jù)中包含的光譜和空間信息進(jìn)行提取，利用不同類(lèi)型的特征進(jìn)行光譜空間分類(lèi)，可以有效提高分類(lèi)準(zhǔn)確率。因此，充分利用空間信息與光譜信息進(jìn)行像元分類(lèi)，成為高光譜圖像分類(lèi)的研究熱點(diǎn)[8-12]。近年來(lái)，研究者們提出了許多空間-光譜聯(lián)合的高光譜圖像分類(lèi)方法[13-15]。

近幾年，深度學(xué)習(xí)在圖像分類(lèi)領(lǐng)域中取得的成果越來(lái)越多。與傳統(tǒng)的手工設(shè)置空間特征相比，它能夠自動(dòng)分層地提取空間特征，并在圖像分類(lèi)中表現(xiàn)出更高的有效性和更強(qiáng)的魯棒性。在遙感分類(lèi)領(lǐng)域，深度學(xué)習(xí)顯示出巨大的潛力[12-15]。上述方法基本都采用分層結(jié)構(gòu)從原始光譜信息中提取深度光譜特征完成高光譜遙感數(shù)據(jù)的分類(lèi)，而忽略了原始數(shù)據(jù)包含的空間特征信息。Gabor小波具有較好的空間局部性、頻率選擇性及方向選擇性等特點(diǎn)，能夠提取反映圖像尤其是局部區(qū)域的頻率及方向信息的特征，在人臉識(shí)別及紋理分類(lèi)[15]方面取得了較好的效果。高光譜遙感圖像的空間一致性使得同類(lèi)地物的圖像不論在空間頻率還是方向性上都具有較大的相似性，而不同地物圖像的這些空間特性具有較大的差異性，二維Gabor濾波器能很好地提取高光譜遙感圖像的空間特征[12]。為充分利用高光譜遙感圖像的空間和光譜信息，本文結(jié)合高光譜數(shù)據(jù)和深度學(xué)習(xí)的特點(diǎn)，融合高光譜圖像的空-譜聯(lián)合信息并提取有效的特征，提出基于局部保留降維卷積神經(jīng)網(wǎng)絡(luò)的高光譜圖像分類(lèi)算法。

1 研究方法

1.1 數(shù)據(jù)預(yù)處理

1.1.1局部保留降維

(1)

其中

γi=‖xi-xi，m‖

式中γi、γj——樣本xi、xj的局部標(biāo)度

xi，m——樣本xi的第m個(gè)相鄰樣本

在原始線性判別式分析基礎(chǔ)上，局部保留降維通過(guò)局部保護(hù)投影得到一個(gè)線性圖譜M，從而保留相鄰像素間的局部信息[17]。得到的線性圖譜M不但能很好地分離類(lèi)，而且還可以很好保護(hù)類(lèi)內(nèi)局部信息。局部保留降維中的局部類(lèi)間散布矩陣Llb和類(lèi)內(nèi)散布矩陣Llw定義為

(2)

(3)

式中Wi,j——類(lèi)間訓(xùn)練樣本間的緊密值

Wi,j′——類(lèi)內(nèi)訓(xùn)練樣本間的緊密值

其中，類(lèi)間散布矩陣Llb和類(lèi)內(nèi)散布矩陣Llw均為n×n方陣。

式(1)中得到同類(lèi)相鄰像素的緊密值，而類(lèi)間散布矩陣Llb和類(lèi)內(nèi)散布矩陣Llw對(duì)同類(lèi)非相鄰像素幾乎不產(chǎn)生影響。通過(guò)局部散布矩陣，得到最大化的Fisher比為

(4)

式中δ——對(duì)角線特征值矩陣

從而得到變換矩陣為

(5)

式中 tr(·)——矩陣求跡運(yùn)算函數(shù)

局部保留降維有局部保護(hù)約束性，可以有效地保護(hù)原始高光譜圖像多元化的局部結(jié)構(gòu)。該約束性由局部相鄰像素的相似性來(lái)衡量，通過(guò)變換矩陣TLFDA，使同類(lèi)相鄰數(shù)據(jù)彼此靠近，而不同類(lèi)相鄰數(shù)據(jù)彼此分離，同時(shí)很好地保留了數(shù)據(jù)的局部特征。利用局部保留降維對(duì)其進(jìn)行降維，不但得到了更緊湊的分布，而且降低了貝葉斯誤差，最終達(dá)到了提高分類(lèi)精度的目的。

1.1.2空-譜特征提取

二維Gabor變換函數(shù)是通過(guò)高斯包絡(luò)調(diào)制的正弦曲線函數(shù)，其函數(shù)表達(dá)式為[17]

(6)

其中

x′=xcosθ+ysinθ

(7)

y′=ycosθ-xsinθ

(8)

式中 ?——正弦因子波長(zhǎng)

x、y——坐標(biāo)系中的橫、縱坐標(biāo)值

θ——核方向夾角，指定了函數(shù)并行條紋方向

γ——限定核函數(shù)橢圓率的空間相位比

σ——高斯包絡(luò)標(biāo)準(zhǔn)差，由波長(zhǎng)和空間頻率帶寬來(lái)決定

為提高光譜數(shù)據(jù)特征利用率，設(shè)計(jì)一個(gè)光譜特征提取隧道。光譜特征提取隧道聚焦于pij位置的中心像素Zij，在卷積和混合池之后，輸出的光譜特性將三維光譜特征向量變換成一維向量[18]，即算法所獲取的深度光譜特征。光譜隧道以像素pij為中心，r為半徑作為輸入數(shù)據(jù)，原始數(shù)據(jù)Zij=Rk×k(k=2R+1)被輸入到DCNN隧道中，二維卷積和批量歸一化實(shí)現(xiàn)了中心目標(biāo)像素點(diǎn)pij周?chē)鷧^(qū)域的光譜特征提取[19]。由于不飽和非線性函數(shù)(ReLU)的梯度是不飽和的，當(dāng)x>0時(shí)，該函數(shù)的梯度恒為1，在反向傳播過(guò)程中，減輕了梯度彌散問(wèn)題，使神經(jīng)網(wǎng)絡(luò)前幾層的參數(shù)可以很快地更新，所以非線性函數(shù)(ReLU)作為激活函數(shù)不僅收斂速度和訓(xùn)練速度快而且分類(lèi)精度高。

本文設(shè)計(jì)的高光譜圖像空間-光譜特征提取模型，能充分提取高光譜圖像的空間-光譜間特征，且能保護(hù)相鄰特征的局部信息和高光譜圖像的多模型結(jié)構(gòu)，從而能在較大幅度上提高分類(lèi)精度和Kappa系數(shù)，尤其在高斯噪聲環(huán)境中，具有優(yōu)良的分類(lèi)性能。空間-光譜特征提取模型如圖1所示。

1.2 空-譜特征聯(lián)合

將使用光譜特征提取隧道變換后的光譜特征進(jìn)行分類(lèi)，利用組合函數(shù)方法將像元光譜特征和Gabor空間特征結(jié)合起來(lái)，然后再將它們輸入到全連接層。全連接層的輸出表示為

(9)

式中 ‖——連接空間特征向量和光譜特征向量的操作

F——全連接層的輸出

W、b——全連接層的權(quán)重和偏置

最后，將聯(lián)合空間光譜特征(Fhsi)輸入到雙層分類(lèi)層中[20]，預(yù)測(cè)的概率分布為

(10)

圖1 空間-光譜特征提取模型圖Fig.1 Model diagram of spatial-spectral feature extraction

式中θj——第j列預(yù)測(cè)層權(quán)重

Q——類(lèi)的個(gè)數(shù)

P(i,j)——一維向量，預(yù)測(cè)測(cè)試像素標(biāo)簽,P(i,j)∈RC

T——查詢(xún)指定數(shù)據(jù)運(yùn)算函數(shù)

1.3 DCNN與雙重優(yōu)選分類(lèi)器

在DCNN上，利用空-譜聯(lián)合信息處理高光譜影像，在某種程度上能削弱同物異譜或者同譜異物的影響。DCNN與雙重優(yōu)選分類(lèi)器模型如圖2所示。

圖2 DCNN與雙重優(yōu)選分類(lèi)器Fig.2 DCNN and dual classifier

在C1層采用5×5卷積核對(duì)輸入圖像進(jìn)行卷積操作，輸出尺寸為23像素×23像素(本文輸入的訓(xùn)練樣本的尺寸為27像素×27像素)的50幅特征圖。在S1層采用2×2的抽樣窗口對(duì)C1最大池化下采樣操作，輸出尺寸為11像素×11像素的50幅特征圖。在C2層采用5×5卷積核對(duì)輸入圖像S1卷積操作，輸出尺寸為7像素×7像素的50幅特征圖。在S2層采用2×2的抽樣窗口對(duì)C2最大池化下采樣操作，輸出尺寸為3像素×3像素的50幅特征圖。

DCNN包含卷積層和下采樣層。在卷積神經(jīng)網(wǎng)絡(luò)中，卷積層是一個(gè)特征提取層，通過(guò)卷積運(yùn)算，可增強(qiáng)原信號(hào)特征且降低噪聲。卷積操作能銳化、模糊圖像邊緣的檢測(cè)[22]。

其卷積過(guò)程表示為

(11)

式中aj,l——層l中輸出特征圖j的激活值

ki,j,l——將l-1層中的輸入特征圖i與l層中的輸出特征圖j連接的內(nèi)核

bj,l——與l層中的輸出特征圖j的加法偏差

f(·)——Relu函數(shù)

Mj——線性圖譜M的特征圖j

下采樣層又稱(chēng)子采樣層或池化層，可看作是模糊濾波器，依據(jù)圖像局部相關(guān)性的原理，對(duì)圖像特征進(jìn)行子抽樣，起到再次特征提取的效果，既減少了數(shù)據(jù)處理量又最大限度地保留了有價(jià)值信息[19]。下采樣層的正向傳播表示為

aj,l=f(βj,ldown(aj,l-1)+bj,l)

(12)

式中 down(·)——子抽樣函數(shù)

βj,l——l層中輸出特征圖j的乘法偏置

通常，該函數(shù)將輸入特征圖的每個(gè)不同補(bǔ)丁相加，以便輸出特征圖在兩個(gè)空間維度上都是n倍。每個(gè)輸出圖給出其自己的乘法偏差和加法偏差[23]。

高光譜數(shù)據(jù)中，類(lèi)與類(lèi)之間的數(shù)量常常存在嚴(yán)重不平衡，如果不對(duì)各類(lèi)樣本加以權(quán)重約束，所訓(xùn)練出來(lái)的網(wǎng)絡(luò)對(duì)數(shù)據(jù)量大的樣本更有利，而對(duì)數(shù)據(jù)量小的樣本則不利，導(dǎo)致小樣本學(xué)習(xí)不足，致使小樣本分類(lèi)精度極低。為了解決這個(gè)問(wèn)題，采取對(duì)各類(lèi)樣本加以權(quán)重約束。因此，對(duì)各類(lèi)樣本賦予不同的權(quán)重加以約束。為了加強(qiáng)小樣本的學(xué)習(xí)能力，在小樣本類(lèi)別前加上較大的權(quán)重，而在大樣本類(lèi)別前加上較小的權(quán)重[19]，則

(13)

式中μi——用來(lái)約束不同類(lèi)的權(quán)重

L——L2范數(shù)的變形

ci——選取樣本點(diǎn)個(gè)數(shù)

λ、m、n——常數(shù)W——權(quán)重矩陣

需要指出的是，DCNN跟其他深度學(xué)習(xí)模型一樣，能夠隨著迭代次數(shù)增加而不斷提高模型的分類(lèi)精度。雙重分類(lèi)器采用了兩層堆棧，第1層重構(gòu)特征作為第2層的訓(xùn)練集，第2層將上一級(jí)的輸出作為訓(xùn)練集。雙重分類(lèi)器可以將原始特征和新特征進(jìn)行融合，相當(dāng)于特征擴(kuò)充，然后進(jìn)行標(biāo)準(zhǔn)化和歸一化處理，這樣與單純使用一層分類(lèi)器的特征量綱和產(chǎn)出的后驗(yàn)概率組成的特征量綱不一樣，使用雙重分類(lèi)器會(huì)提高分類(lèi)精度。

1.4 算法流程

基于局部保留降維卷積神經(jīng)網(wǎng)絡(luò)分類(lèi)算法對(duì)高光譜圖像的光譜空間特征進(jìn)行研究，利用局部保護(hù)降維法來(lái)保護(hù)相鄰特征的局部信息和利用二維 Gabor 濾波器提取高光譜圖像的多模型結(jié)構(gòu), 深度卷積神經(jīng)網(wǎng)絡(luò)框架能提取更高層更抽象和更穩(wěn)定的特征，本文算法步驟如下：①對(duì)原始高光譜圖像進(jìn)行預(yù)處理，利用局部保留對(duì)高光譜數(shù)據(jù)降維。②利用二維 Gabor 濾波器提取高光譜圖像空間特征。③利用光譜特征提取隧道提取高光譜圖像光譜特征。④將空間、光譜特征連接起來(lái)，然后將其輸入到全連接層，得到新的特征。⑤對(duì)處理后的特征采用DCNN模型進(jìn)行訓(xùn)練。⑥將經(jīng)過(guò)DCNN訓(xùn)練后的集合放到雙重優(yōu)選分類(lèi)器進(jìn)行分類(lèi)。算法流程如圖3所示。

圖3 算法流程圖Fig.3 Flow chart of algorithm

2 實(shí)驗(yàn)數(shù)據(jù)

本文使用的實(shí)驗(yàn)數(shù)據(jù)有兩組,分別為Indian Pines場(chǎng)景高光譜數(shù)據(jù)和University of Pavia場(chǎng)景高光譜數(shù)據(jù)。Indian Pines場(chǎng)景圖像尺寸145像素×145像素，波長(zhǎng)為400～2 500 nm，光譜分辨率為10 nm，原始波段數(shù)為224個(gè)，去除壞波段和水體吸收波段，用剩余的200個(gè)波段進(jìn)行分類(lèi)實(shí)驗(yàn)。University of Pavia數(shù)據(jù)波段為430～860 nm,共103個(gè)可用光譜通道,空間分辨率約1.3 m,每個(gè)波段包含207 400個(gè)像素。選取這兩組數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)的主要原因?yàn)榭臻g分辨率不同，光譜分辨率也不同，并且來(lái)自?xún)蓚€(gè)不同的成像傳感器,觀測(cè)場(chǎng)景不同，可以更全面地驗(yàn)證方法的有效性。

3 實(shí)驗(yàn)結(jié)果與分析

采用整體精度(OA)、平均精度(AA)、Kappa系數(shù)作為分類(lèi)性能評(píng)價(jià)指標(biāo)。其中，OA 表示正確分類(lèi)的測(cè)試樣本的百分比，而AA則為每個(gè)類(lèi)在測(cè)試樣本上的準(zhǔn)確性平均值，Kappa系數(shù)是衡量分類(lèi)精度的指標(biāo)。實(shí)驗(yàn)中，在數(shù)據(jù)集的每類(lèi)中隨機(jī)選擇200個(gè)像元作為測(cè)試樣本，其余像元作為訓(xùn)練樣本，為了避免隨機(jī)偏差，每個(gè)方法重復(fù)多次實(shí)驗(yàn)并計(jì)算平均結(jié)果。

圖4 Indian Pines數(shù)據(jù)集分類(lèi)效果Fig.4 Classification effect of Indian Pines scene of AVIRIS

為驗(yàn)證本文算法對(duì)分類(lèi)性能的有效性，與 CNN、PCA-SVM、CD-CNN、CNN-PPF算法進(jìn)行比較，分別在Indian Pines、University of Pavia數(shù)據(jù)集進(jìn)行分類(lèi)對(duì)比驗(yàn)證，得到表1、2的分類(lèi)結(jié)果，分類(lèi)效果如圖4、5所示。

表1 Indian Pines數(shù)據(jù)集實(shí)驗(yàn)結(jié)果Tab.1 Results of Indian Pines scene of AVIRIS

表2 University of Pavia數(shù)據(jù)集實(shí)驗(yàn)結(jié)果Tab.2 Results of University of Pavia scene of ROSIS

本文算法實(shí)現(xiàn)了對(duì)兩個(gè)數(shù)據(jù)集的較優(yōu)分類(lèi)，其中Indian Pines數(shù)據(jù)集分類(lèi)整體精度為97.13%， University of Pavia數(shù)據(jù)集分類(lèi)整體精度為98.89%，與其他方法相比，本文算法對(duì)兩個(gè)數(shù)據(jù)集的平均分類(lèi)精度和 Kappa系數(shù)都有大幅度提高，充分驗(yàn)證了本文算法對(duì)高光譜圖像分類(lèi)的有效性。

由圖4可知，本文算法對(duì)植被多、分布復(fù)雜且數(shù)據(jù)集不平衡的高光譜數(shù)據(jù)有較好的分類(lèi)效果，能夠有效地去除椒鹽現(xiàn)象[25]，驗(yàn)證了本文算法對(duì)高光譜圖像的植被有較好的分類(lèi)性能。University of Pavia數(shù)據(jù)集中柏油路與瀝青，金屬板面與陰影的光譜曲線非常相似，由圖5可知，本文算法分類(lèi)效果比其他算法都優(yōu)，驗(yàn)證了本文算法對(duì)光譜特性接近的地物有較好的分類(lèi)性能。

圖5 University of Pavia數(shù)據(jù)集分類(lèi)效果Fig.5 Classification effect of University of Pavia scene of ROSIS

本文算法采用二維Gabor空間特征提取，能保證形狀、紋理、邊緣等低級(jí)特征變化不大，并利用深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)框架進(jìn)行高光譜植被分類(lèi)，能在有限的訓(xùn)練標(biāo)簽中獲得較高的分類(lèi)精度，且能有效去除椒鹽現(xiàn)象。高光譜圖像地物具有豐富的光譜特性，且光譜相似，實(shí)驗(yàn)結(jié)果表明，本文算法可以利用空-譜結(jié)合信息有效對(duì)光譜特性相似的地物實(shí)現(xiàn)高精度分類(lèi)，彌補(bǔ)了用光譜信息或空間信息進(jìn)行分類(lèi)的不足。

4 結(jié)束語(yǔ)

使用局部保留降維模型，通過(guò)局部保護(hù)性判別式分析對(duì)高光譜數(shù)據(jù)降維，消除特征之間的相關(guān)性，并降低特征維數(shù)，獲得清晰的空間結(jié)構(gòu)，保證形狀、紋理、邊緣等低級(jí)特征變化不大。利用二維Gabor濾波器提取空間特征，利用光譜隧道提取光譜信息，然后使用深度卷積神經(jīng)網(wǎng)絡(luò)，主要是通過(guò)利用空間結(jié)構(gòu)的相對(duì)關(guān)系來(lái)減少參數(shù)數(shù)目，提高了算法的訓(xùn)練性能。卷積神經(jīng)網(wǎng)絡(luò)中的每一個(gè)卷積層后接二次提取的下采樣層，這種特有的二次特征提取結(jié)構(gòu)降低了特征分辨率，也使網(wǎng)絡(luò)在特征提取時(shí)對(duì)輸入樣本有較高的魯棒性。高光譜數(shù)據(jù)實(shí)驗(yàn)結(jié)果表明，高光譜遙感圖像的分類(lèi)精度較高，驗(yàn)證了本文算法在分類(lèi)精度方面的良好性能。