基于SSAE深度學(xué)習(xí)特征表示的高光譜遙感圖像分類方法

,

(河海大學(xué) 商學(xué)院,南京 211100)

0 引言

高光譜遙感圖像不僅包含地物的連續(xù)、緊密的光譜信息，且包含地物的空間分布信息，為此在如農(nóng)業(yè)、礦物學(xué)、監(jiān)測(cè)和環(huán)境科學(xué)中有重要應(yīng)用[1]。對(duì)高光譜影像中每個(gè)像素進(jìn)行分類是關(guān)鍵問(wèn)題，目前學(xué)者引入了大量的機(jī)器學(xué)習(xí)方法來(lái)解決分類問(wèn)題[2]。

機(jī)器學(xué)習(xí)算法的性能在很大程度上取決于它們的數(shù)據(jù)表示(特征)的選擇，這在計(jì)算機(jī)視覺(jué)任務(wù)中尤為明顯。其中精心設(shè)計(jì)的手工特征，如尺度不變特征變換(SIFT)或梯度直方圖(HOG)在各種任務(wù)中表現(xiàn)出很高的有效性[3-4]。但是，這些特征描述符的主要缺點(diǎn)是在設(shè)計(jì)過(guò)程中需要進(jìn)行人為干預(yù)。此外，這些特征具有高維度特性并且具有有限的泛化能力。這就促使需要通過(guò)特征表示學(xué)習(xí)從數(shù)據(jù)中自動(dòng)提取的有效特征，旨在學(xué)習(xí)原始數(shù)據(jù)的有用表示以用于更高級(jí)別的任務(wù)，并最小化學(xué)習(xí)算法對(duì)特征工程的依賴性[5]。

從基礎(chǔ)數(shù)據(jù)中學(xué)習(xí)這些特征會(huì)受許多變異因素的影響。例如，在遙感圖像方面，包括地面環(huán)境條件以及云污染會(huì)給特征學(xué)習(xí)帶來(lái)挑戰(zhàn)。一些學(xué)者采用各種經(jīng)典神經(jīng)網(wǎng)絡(luò)來(lái)提取特征，例如文獻(xiàn)[6]采用了卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征學(xué)習(xí)來(lái)提取特征。但是這些神經(jīng)網(wǎng)絡(luò)的計(jì)算復(fù)雜度都很高。

在這項(xiàng)工作中，我們的目標(biāo)是在現(xiàn)實(shí)世界的情景下找到衛(wèi)星數(shù)據(jù)的“優(yōu)良特征表示”。本文通過(guò)考慮稀疏自動(dòng)編碼器(Sparse Auto-encoder, SAE)的框架，構(gòu)建一種無(wú)監(jiān)督特征表示學(xué)習(xí)方法。SAE是一種采用非線性編碼并施加稀疏性約束來(lái)表示原始數(shù)據(jù)的人工神經(jīng)網(wǎng)絡(luò)。為了在復(fù)雜背景下訓(xùn)練深度模型，本文利用一系列堆疊的稀疏自動(dòng)編碼器，構(gòu)建堆疊稀疏自動(dòng)編碼器(Stacked Auto-encoder, SSAE)進(jìn)行特征映射，獲得圖像的特征表示。最后通過(guò)傳統(tǒng)的支持向量機(jī)(Support Vector Machine, SVM)分類器對(duì)輸入圖像特征進(jìn)行分類，最終實(shí)現(xiàn)遙感圖像中像素的分類。

1 基于SSAE深度學(xué)習(xí)的特征表示

1.1 稀疏自動(dòng)編碼器(SAE)

特征映射是將輸入模式x∈Rd轉(zhuǎn)換為k個(gè)神經(jīng)元(單位)的隱藏表示h(稱為編碼)，由編碼器函數(shù)定義：

f(x)=h=αf(W1x+b1)

(1)

其中:αf是應(yīng)用于輸入向量的激活函數(shù)。激活函數(shù)通常選擇為非線性，如邏輯sigmoid和雙曲正切。最近，人們?cè)絹?lái)越關(guān)注修正線性單元(Rectified Linear Unit, ReLU)[8]，它似乎在監(jiān)督識(shí)別任務(wù)中效果更好。

(2)

其中:αg是激活函數(shù)，W2∈Rd×k是解碼矩陣，b2∈Rd是從隱藏層到輸出層學(xué)習(xí)的偏置參數(shù)。

通過(guò)特定的損失函數(shù)，最小化輸入和輸出之間的重建誤差，來(lái)實(shí)現(xiàn)對(duì)自動(dòng)編碼器的參數(shù)集A=W1的估計(jì)。給定訓(xùn)練集，一個(gè)典型的損失函數(shù)是用來(lái)尋求最小化的最小二乘誤差，優(yōu)化目標(biāo)[9]定義如下：

(3)

SAE是典型自動(dòng)編碼器的特殊情況，其中編碼被限制為稀疏，即在訓(xùn)練期間僅有一小部分單元是活動(dòng)的。信號(hào)和模型稀疏性具有許多優(yōu)點(diǎn)，對(duì)信號(hào)處理和機(jī)器學(xué)習(xí)產(chǎn)生了深遠(yuǎn)的影響，例如魯棒性，模型復(fù)雜性，生成性和判別能力等。此外，來(lái)自神經(jīng)科學(xué)的證據(jù)表明，稀疏網(wǎng)絡(luò)更接近生物神經(jīng)元的反應(yīng)，因?yàn)楸煌瑫r(shí)激活的神經(jīng)元的百分比估計(jì)在總數(shù)的1%到4%之間[10-11]。

圖1 傳統(tǒng)自動(dòng)編碼器體系結(jié)構(gòu)

(4)

(5)

(6)

超參數(shù)β確定稀疏正則化的重要性。通過(guò)計(jì)算JspAE的偏導(dǎo)數(shù)并應(yīng)用反向傳播算法來(lái)更新一組特定的權(quán)重。這樣，在少量迭代之后，訓(xùn)練通常會(huì)收斂到全局最小。可以通過(guò)常規(guī)優(yōu)化算法(例如，梯度下降)來(lái)實(shí)現(xiàn)最小化模型參數(shù)θ，也可以使用更復(fù)雜的算法，例如共軛梯度和BFGS(Broyden-Fletcher-Goldfarb-Shanno)方法以加速收斂。

1.2 堆疊稀疏自動(dòng)編碼器(SSAE)

深度學(xué)習(xí)是表示學(xué)習(xí)的一個(gè)特例，它認(rèn)為多層次表示會(huì)產(chǎn)生更通用和有益的特征。第一層神經(jīng)元的活動(dòng)對(duì)應(yīng)于輸入的低級(jí)特征，而更高級(jí)別的抽象概念在隨后的隱藏層中進(jìn)行編碼。更具體地說(shuō)，本文為深度架構(gòu)提供表面反射輸入數(shù)據(jù)，這是從遙感觀測(cè)系統(tǒng)收集的原始數(shù)據(jù)，并嘗試通過(guò)分層方法來(lái)學(xué)習(xí)它們的“高級(jí)”版本，這將理想地匹配高質(zhì)量的手工特征。這里，本文考慮的高質(zhì)量特征是歸一化植被指數(shù)(NDVI)和地表溫度(LST)，這些特征是從MODIS Terra檢索的相同月份的相同圖塊上提取的。NDVI和LST時(shí)間序列特征的組合可以量化植被生長(zhǎng)表現(xiàn)和土地覆蓋物理特征的變化。

通過(guò)這種方式，本文目標(biāo)是繞過(guò)專家對(duì)這些特征的經(jīng)驗(yàn)設(shè)計(jì)要求，自動(dòng)學(xué)習(xí)可以替代和增強(qiáng)圖像的特征表示。同時(shí)，由于處理的無(wú)監(jiān)督性質(zhì)，所提出的方法更具普遍性，并且還可以與其他類型的目標(biāo)一起工作，例如城市地區(qū)的結(jié)構(gòu)。

通過(guò)將單層自動(dòng)編碼器堆疊在一起，可以創(chuàng)建具有兩個(gè)或更多隱藏層的堆疊自動(dòng)編碼器架構(gòu)[13]，如圖2所示，其中圓圈表示特征單元。黑色表示隱藏層單元，而白色表示可見單元，兩個(gè)中間層構(gòu)成一個(gè)編碼器。

圖2 4層堆疊自動(dòng)編碼器網(wǎng)絡(luò)[3-4-4-2]

形式上，首先將原始數(shù)據(jù)作為輸入，訓(xùn)練SAE。然后丟棄解碼器層，使得隱藏單元(第1層特征)的激活，成為用于訓(xùn)練第二自動(dòng)編碼器層的輸入(前饋)，進(jìn)而產(chǎn)生另一表示(第2層特征)。這種貪婪的逐層過(guò)程使先前的圖層保持固定，并忽略與后續(xù)圖層的交互，從而大大減少了對(duì)參數(shù)空間的搜索。雖然這個(gè)過(guò)程可以重復(fù)多次，但很少涉及三個(gè)以上的隱藏層。我們可以根據(jù)下式來(lái)公式化堆疊自動(dòng)編碼器：

hL=fL(…f2(f1(x)))

(7)

其中:hL表示由頂層L學(xué)習(xí)的表示。整個(gè)架構(gòu)的輸出用于反饋給獨(dú)立的分類器，與原始輸入相比，這種方式提供了改善的數(shù)據(jù)表示。

深度學(xué)習(xí)的挑戰(zhàn)在于，梯度信息很難通過(guò)一系列隨機(jī)初始化的層，這是因?yàn)楹茈y確定一個(gè)好的起點(diǎn)。無(wú)監(jiān)督預(yù)訓(xùn)練是最近開發(fā)的且非常有影響力的協(xié)議，通過(guò)引入用于初始化每層權(quán)重的先驗(yàn)知識(shí)來(lái)幫助緩解該優(yōu)化問(wèn)題，允許梯度“流動(dòng)良好”。自動(dòng)編碼器作為無(wú)監(jiān)督學(xué)習(xí)的一個(gè)基本例子，作為預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的方法引起了很多關(guān)注。在形式上，我們使用SAE以自下而上的方式一次訓(xùn)練一個(gè)層，用于固定數(shù)量的更新(輪次)。到目前為止，該程序完全沒(méi)有監(jiān)督。隨后在深層結(jié)構(gòu)的頂層引入監(jiān)督的重建，以便相對(duì)于監(jiān)督標(biāo)準(zhǔn)微調(diào)基于梯度的優(yōu)化算法，該標(biāo)準(zhǔn)稱為微調(diào)階段的過(guò)程。作為最后一個(gè)可選的訓(xùn)練階段，可以通過(guò)全局微調(diào)進(jìn)一步優(yōu)化參數(shù)，每調(diào)整一次都使用通過(guò)整個(gè)網(wǎng)絡(luò)架構(gòu)的反向傳播。

1.3 數(shù)據(jù)預(yù)處理

(8)

2 基于SVM的像素分類

本文將支持向量機(jī)(SVM)作為基礎(chǔ)分類器，根據(jù)所提取的特征對(duì)遙感圖像進(jìn)行分類。SVM被認(rèn)為是最有效的遙感數(shù)據(jù)分類器之一[14]。假設(shè)每個(gè)訓(xùn)練示例xi與二進(jìn)制標(biāo)簽yi∈{0,1}相關(guān)聯(lián)，則SVM分類器試圖在該較高維空間中找到具有最大余量的線性分離超平面。形式上，當(dāng)內(nèi)核函數(shù)是線性的時(shí)，SVM尋求以下約束優(yōu)化問(wèn)題的解決方案：

subject toyi(ωxi-ω0)≥1-ξi,ξi≥0

(9)

其中:松弛變量ξi測(cè)量數(shù)據(jù)的錯(cuò)誤分類程度，參數(shù)C> 0控制松弛變量罰分和保證金之間的交易。

3 實(shí)驗(yàn)及分析

3.1 數(shù)據(jù)集

在本文的實(shí)驗(yàn)中，使用兩個(gè)高光譜數(shù)據(jù)集，印第安納農(nóng)場(chǎng)數(shù)據(jù)集(Indian Pines)和意大利帕維亞大學(xué)數(shù)據(jù)集(U.Pavia)[15]。對(duì)于兩個(gè)數(shù)據(jù)集，從圖像的地面實(shí)況中都選擇出包含9種不同土地覆蓋類別進(jìn)行分類實(shí)驗(yàn)。兩個(gè)數(shù)據(jù)集中的遙感圖像和分類標(biāo)簽實(shí)例分別如圖3和圖4所示。

圖3 Indian Pines數(shù)據(jù)集上的實(shí)例圖像

圖4 U.Pavia數(shù)據(jù)集上的實(shí)例圖像

隨機(jī)挑選來(lái)自每個(gè)類的200個(gè)標(biāo)記像素以構(gòu)建訓(xùn)練集。其余的標(biāo)記樣品構(gòu)成測(cè)試集。從可用訓(xùn)練集中提取一部分驗(yàn)證集以調(diào)整模型的超參數(shù)。

3.2 參數(shù)設(shè)置

對(duì)于控制自動(dòng)編碼器稀疏度的超參數(shù)ρ和β，我們首先以合理的值執(zhí)行粗網(wǎng)格搜索，并且在所有情況下，根據(jù)最小Jaccard系數(shù)執(zhí)行參數(shù)選擇。其中，ρ∈{0.001,0.01,0.1,0.5,0.9}，β∈{1,3,5,7,9}。隨后在產(chǎn)生最佳分?jǐn)?shù)的參數(shù)組合(ρ,β)附近進(jìn)行更精細(xì)的搜索。最后結(jié)果表明，當(dāng)ρ=0.5，β=3時(shí)效果較好。

對(duì)于神經(jīng)網(wǎng)絡(luò)的兩個(gè)關(guān)鍵系統(tǒng)參數(shù)，即隱藏層神經(jīng)元數(shù)量以及隱藏層深度對(duì)性能的影響。通過(guò)多次實(shí)驗(yàn)，最終設(shè)定神經(jīng)網(wǎng)絡(luò)中隱藏層數(shù)量為2，每層的神經(jīng)元數(shù)量為120。

3.3 性能指標(biāo)

根據(jù)以下指標(biāo)評(píng)估分類方法的性能：

1)總體準(zhǔn)確度(OA)：是正確分類的樣本總數(shù)與所有類別的樣本總數(shù)之比。

2)F值：設(shè)置TP，TN，F(xiàn)N和FP分別表示真陽(yáng)性，真陰性，假陰性和假陽(yáng)性樣品的數(shù)量，那么F值表示為：

(10)

3)Kappa系數(shù)：是不同評(píng)估者之間一致性程度的統(tǒng)計(jì)指標(biāo)。假設(shè)有兩個(gè)評(píng)估者將N個(gè)項(xiàng)分類為C個(gè)互斥類。然后，Kappa系數(shù)由下式給出：

(11)

其中:p0是相對(duì)觀察到的一致概率，pe是一致改變的假設(shè)概率。k=1表示評(píng)估者之間完全一致，而k≤0表示根本沒(méi)有達(dá)成一致。

3.4 實(shí)驗(yàn)結(jié)果

本文結(jié)合了基于SSAE深度學(xué)習(xí)的特征表示方法和SVM分類器，構(gòu)建了一種遙感圖像分類方法，稱為SSAE+SVM。為了驗(yàn)證本文方法的有效性，將其與現(xiàn)有的幾種方法進(jìn)行比較。為了比較的公平性，分類器都采用SVM分類器。首先，為了證明SSAE深度學(xué)習(xí)特征表示的有效性，構(gòu)建一種對(duì)比方法，即傳統(tǒng)特征+SVM分類器。另外，還與文獻(xiàn)[6]提出的利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)進(jìn)行特征提取的方法進(jìn)行了比較。在兩個(gè)數(shù)據(jù)集上的比較結(jié)果如表1和表2所示。

表1 Indian Pines數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

表2 U.Pavia數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

可以看到，本文SSAE+SVM方法與傳統(tǒng)特征+SVM方法相比有明顯改善，這說(shuō)明了采用SSAE深度學(xué)習(xí)進(jìn)行特征表示對(duì)提高分類性能有明顯的促進(jìn)作用。另外，本文方法也比文獻(xiàn)[6]方法的性能更好，這是因?yàn)镾SAE深度學(xué)習(xí)能夠解決傳統(tǒng)神經(jīng)網(wǎng)絡(luò)易陷入局部最優(yōu)的問(wèn)題，且無(wú)需大量含有標(biāo)簽的數(shù)據(jù)集，為此進(jìn)一步提高了分類性能。

4 結(jié)論

本文提出一種基于SSAE深度學(xué)習(xí)特征表示和SVM的高光譜遙感圖像分類方法，用以解決傳統(tǒng)分類方法中特征需要手工設(shè)計(jì)的缺陷。通過(guò)SSAE來(lái)從訓(xùn)練數(shù)據(jù)中不斷學(xué)習(xí)，以此獲得最佳的特征表示，并將其作為SVM分類器的輸入，對(duì)圖像像素進(jìn)行分類。在兩個(gè)都包含9種物質(zhì)類別的Indian Pines和U.Pavia高光譜數(shù)據(jù)集上進(jìn)行了驗(yàn)證實(shí)驗(yàn)，結(jié)果證明了本文方法的有效性。