聯(lián)合空譜信息的高光譜影像深度Transformer網(wǎng)絡(luò)分類

張鵬強， 高奎亮， 劉 冰， 譚 熊

(中國人民解放軍戰(zhàn)略支援部隊信息工程大學(xué)，鄭州 450001)

0 引言

高光譜遙感技術(shù)能夠同時獲取觀測區(qū)域內(nèi)豐富的光譜和空間信息，為地物的精細識別和分類提供了可能[1]。高光譜影像分類旨在為影像中的每個像素賦予唯一的類別標(biāo)識，生成能夠反映地物空間分布信息的分類圖，為進一步的分析和應(yīng)用提供數(shù)據(jù)支撐。支持向量機(support vector machine,SVM)和隨機森林等傳統(tǒng)分類器能夠直接對高光譜影像進行分類。然而，受到高光譜數(shù)據(jù)高維非線性和“同譜異物、異物同譜”等因素的影響，傳統(tǒng)分類器往往無法獲得令人滿意的分類效果[2]。

深度學(xué)習(xí)模型通過構(gòu)建層次化的網(wǎng)絡(luò)框架，能夠逐層提取出具有高判別性和信息性的深層次特征，從而獲得更為優(yōu)異的分類和識別效果。棧式自編碼[3]、深度置信網(wǎng)絡(luò)[4]、循環(huán)神經(jīng)網(wǎng)絡(luò)[5]等深度模型被率先應(yīng)用于高光譜影像分類的研究中，在樣本充足的條件下取得了較傳統(tǒng)方法更為優(yōu)異的分類效果。卷積神經(jīng)網(wǎng)絡(luò)[6-7]利用卷積運算能夠直接處理呈網(wǎng)格結(jié)構(gòu)的圖像數(shù)據(jù)，因此更適用于高光譜影像的處理和分析。為了同時利用高光譜影像中空間和光譜信息，二維和三維卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于高光譜影像分類。例如，高奎亮等[8]將二維卷積和NIN網(wǎng)絡(luò)結(jié)構(gòu)相結(jié)合，設(shè)計了一種新穎深度網(wǎng)絡(luò)模型，有效提高了分類精度; Li等[9]利用三維卷積構(gòu)建了適用于高光譜影像分類的深度模型，以充分利用影像中的深度空譜聯(lián)合信息。除此之外，主動學(xué)習(xí)[10]、遷移學(xué)習(xí)[11]和殘差學(xué)習(xí)[12]等先進學(xué)習(xí)方法也與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，進一步提高了高光譜影像分類的精度和魯棒性。

卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)成為了高光譜影像處理和分析中的主流深度模型。然而，其仍然存在一定缺陷： 卷積運算無法對長距離特征關(guān)系進行建模，無法學(xué)習(xí)全局語義信息。相比之下，Transformer模型通過將輸入圖像轉(zhuǎn)換為序列圖像塊能夠更好地利用大范圍內(nèi)的全局語義信息[13]。最近，Transformer模型已經(jīng)在圖像分割、目標(biāo)識別等諸多計算機視覺任務(wù)中取得了更為優(yōu)異的表現(xiàn)[14]。受此啟發(fā)，本文基于Transformer模型設(shè)計了一種新穎的深度空譜分類網(wǎng)絡(luò)，以進一步提高高光譜影像分類精度。

1 主要算法

1.1 Transformer模型

基本的Transformer模型結(jié)構(gòu)如圖1所示，包含一個自注意力層和一個前饋神經(jīng)網(wǎng)絡(luò)。Transformer模型的輸入和輸出均為一個特征向量序列，為了更好地考慮輸入的特征向量位置信息，在輸入第1層Transformer前，先對特征向量序列進行空間位置編碼，然后和特征向量相加作為輸入。Transformer模型的輸出同樣為特征向量序列，并作為下一層Transformer的輸入。

圖1 Transformer基本結(jié)構(gòu)Fig.1 Basic structure of Transformer

1.1.1 空間位置編碼

空間位置編碼為每個特征向量輸出一個維度與特征向量相同的空間位置向量，從而用空間位置向量來描述特征向量的位置關(guān)系。本文采用如下的形式對特征向量進行位置編碼，即

(1)

式中：PE為位置編碼;pos為特征向量在整個序列中的位置；dmodel為特征向量的維度；i為特征向量的位置。式(1)會在每個特征向量的偶數(shù)位置添加sin變量，奇數(shù)位置添加cos變量，以此來產(chǎn)生與原始特征向量維度相同的空間位置向量，然后與原始特征向量相加完成空間位置編碼。

1.1.2 自注意力層

與卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練參數(shù)卷積核不同，每層Transformer的訓(xùn)練參數(shù)包含3個矩陣WQ,WK,WV，這3個矩陣分別與輸入的向量序列相乘得到查詢矩陣、鍵矩陣和值矩陣。自注意力機制的公式為：

(2)

式中：Q,K,V分別為查詢矩陣、鍵矩陣和值矩陣；dk為輸入的維度。為了提高模型的性能，采用多頭注意力機制，即使用多個WQ,WK,WV矩陣生成多個查詢矩陣、鍵矩陣和值矩陣，再根據(jù)式(2)輸出多個特征值，將多個特征值進行拼接再乘以一個矩陣參數(shù)輸出最終特征。如圖2所示，Z1,Z2,Z3分別是3個注意力頭輸出的特征矩陣(特征序列拼接成特征矩陣)，3個特征矩陣拼接后形成矩陣Z，再與矩陣參數(shù)W相乘得到最終的輸出特征，特征矩陣中每一行為一個特征向量。

圖2 多頭注意力機制Fig.2 Multi-head attention mechanism

為了提高模型的非線性，將自注意力層輸出的特征向量序列再分別通過一個前饋神經(jīng)網(wǎng)絡(luò)，本文采用2層全連接層作為前饋神經(jīng)網(wǎng)絡(luò)。另外，在Transformer模型中的自注意力層和前饋神經(jīng)網(wǎng)絡(luò)層引入殘差連接，以提高深度模型的訓(xùn)練效果。

1.2 本文網(wǎng)絡(luò)模型

本文網(wǎng)絡(luò)模型的整體結(jié)構(gòu)如圖3所示，Conv2D，TRM和MLP分別代表二維卷積層、Transformer層和多層感知機。首先，利用主成分分析方法對高光譜數(shù)據(jù)立方體進行降維處理，并保留前3個主成分分量。為了充分利用高光譜影像中的空譜聯(lián)合信息，選擇中心像素周圍32像素×32像素大小的鄰域作為輸入樣本。具體地，將輸入樣本沿空間方向劃分為16個大小相等的圖像塊； 然后，利用卷積層將圖像塊映射為一維特征向量，至此一個輸入樣本被轉(zhuǎn)換為16個一維特征向量； 接著，將序列特征向量輸入到包含8個Transformer層的深度網(wǎng)絡(luò)進行深度特征提取； 最后，利用多層感知機輸出分類結(jié)果。本文網(wǎng)絡(luò)模型具有端到端的網(wǎng)絡(luò)結(jié)構(gòu)，以像素領(lǐng)域數(shù)據(jù)作為輸入，以類別標(biāo)記作為輸出。

2 數(shù)據(jù)集及參數(shù)設(shè)置

2.1 數(shù)據(jù)集

為了驗證本文方法的有效性，采用Salinas和Indian Pines這2組高光譜數(shù)據(jù)集進行試驗。Salinas數(shù)據(jù)集由AVIRIS傳感器于1992年獲取，觀測區(qū)域為美國加利福尼亞州某山谷，影像大小為512像素×217像素，光譜覆蓋范圍為0.40～2.50 μm，空間分辨率為3.7 m。該數(shù)據(jù)集共包括野草、休耕地和萵苣等16個標(biāo)注類別和204個波段，標(biāo)注類別集中分布在影像的左側(cè)和上側(cè)，且均為條狀和面狀地物。Indian Pines數(shù)據(jù)集由AVIRIS傳感器于2001年獲取，觀測區(qū)域為美國印第安納州西北部某處農(nóng)田，影像大小為145像素×145像素，光譜覆蓋范圍為0.40～2.50 μm，空間分辨率為20 m，共包括200個波段可用于分類。該數(shù)據(jù)集共包括玉米、大豆和樹木等16個地物類別且在影像中均勻分布，但部分類別包含的標(biāo)記樣本過少。參照相關(guān)文獻，本文僅選取了9個樣本數(shù)量較多的類別進行實驗。另外，2個數(shù)據(jù)集均隨機選取200個標(biāo)記樣本作為訓(xùn)練數(shù)據(jù)，剩余樣本作為測試樣本(2個數(shù)據(jù)集分別包含50 929個和7 434個測試樣本)。

2.2 參數(shù)設(shè)置

試驗中，迭代訓(xùn)練次數(shù)設(shè)置為600，學(xué)習(xí)率設(shè)置為0.000 1，數(shù)據(jù)批量大小為64，并利用Adam算法進行網(wǎng)絡(luò)優(yōu)化，以保證模型進行充分訓(xùn)練。卷積核數(shù)量設(shè)置為128，因此每個圖像塊將被轉(zhuǎn)換為長度為128的特征向量。多頭注意力機制中頭數(shù)設(shè)置為8，使模型能夠提取到更為豐富的特征。多層感知機中，全連接層的神經(jīng)元個數(shù)分別設(shè)置為128和K(K為目標(biāo)數(shù)據(jù)集中包含的類別數(shù)量)。另外，本文試驗的硬件環(huán)境為Intel(R) Xeon(R) Gold 6152處理器和Nvidia A100 PCIE顯卡。

3 結(jié)果與分析

為了驗證本文方法的有效性，選擇機器學(xué)習(xí)分類器SVM、2種經(jīng)典的深度學(xué)習(xí)模型SSDCNN[15]和3D-CNN[9]以及深度三維殘差網(wǎng)絡(luò)RES-3D-CNN[16]作為對比算法。不同方法在2個數(shù)據(jù)集上的分類結(jié)果如圖4—5所示。可以看到，本文方法的分類結(jié)果與真實地面標(biāo)記最為接近，可以從視覺角度驗證了本文方法在高光譜影像分類上的有效性。需要說明的是，圖4(e)中綠色地物區(qū)域出現(xiàn)了明顯的噪點，但本文方法在其余區(qū)域的分類效果明顯優(yōu)于其他方法。本文方法能夠通過提高難區(qū)分地物的分類精度來改善影像的整體分類效果，從而獲得更為平滑的分類結(jié)果。

圖5 Indian Pines數(shù)據(jù)集分類結(jié)果

為了進一步對不同方法的分類性能進行定量評價，選擇總體分類精度(overall accuray,OA)、平均分類精度(average accuracy,AA)和Kappa系數(shù)作為評價指標(biāo)。2個數(shù)據(jù)集不同方法的分類結(jié)果如表1—2所示。從表中可以看到，傳統(tǒng)的機器學(xué)習(xí)分類器SVM由于無法利用高光譜影像中的深層次特征，因此無法獲得令人滿意的分類結(jié)果。深度學(xué)習(xí)模型SSDCNN和3D-CNN分別利用二維卷積和三維卷積進行深度特征提取，分類精度有一定提高。RES-3D-CNN利用殘差連接和三維卷積核構(gòu)建了深度殘差網(wǎng)絡(luò)模型，具有更深層次的網(wǎng)絡(luò)，能夠利用深層次的空譜聯(lián)合特征，因此具有更高的分類精度。在所有對比方法中，本文方法獲得了更為優(yōu)異的分類效果。在Salinas數(shù)據(jù)集上，其OA，AA和Kappa系數(shù)分別較第二名提高了3.01百分點，0.83百分點和0.033 4； 在Indian Pines數(shù)據(jù)集上，其OA，AA和Kappa系數(shù)分別較第二名提高了2.84百分點，1.23百分點和0.033 1。本文方法通過堆疊Transformer模型構(gòu)建骨干網(wǎng)絡(luò)，并利用注意力機制和殘差連接保證模型能夠有效利用到有益于分類任務(wù)的深層抽象特征，從而進一步提高分類精度。需要說明的是，本文方法雖然在個別地物上的分類精度略低于RES-3D-CNN模型(例如Salinas數(shù)據(jù)集中第1類，Indian Pines數(shù)據(jù)集中第2,4和8類)，但其能夠明顯提高其他方法難以區(qū)分的地物的分類精度(例如Salinas數(shù)據(jù)集中第8類和第15類、Indian Pines數(shù)據(jù)集中第1類和第7類)。這表明，本文方法能夠有效提高可分性差的地物的分類精度，從而提升影像的整體分類效果。

表1 Salinas數(shù)據(jù)集分類結(jié)果Tab.1 Classification results of Salinas dataset

表2 Indian Pines數(shù)據(jù)集分類結(jié)果Tab.2 Classification results of Indian Pines dataset

另外，深度學(xué)習(xí)模型需要足夠的標(biāo)記樣本進行網(wǎng)絡(luò)優(yōu)化和參數(shù)更新，然而，實際中獲取高質(zhì)量的標(biāo)記樣本是十分費時費力的。因此，深度分類模型應(yīng)對訓(xùn)練樣本數(shù)量的變化具有良好的適應(yīng)性。為了探究不同分類方法在訓(xùn)練樣本逐漸減少時的分類性能，隨機選取每類100，120，140，160，180，200個樣本作為訓(xùn)練樣本進行分類試驗，結(jié)果如圖6所示。從圖6中可以看出，隨著訓(xùn)練樣本的減少，所有分類方法的分類準(zhǔn)確率都逐漸下降。SVM在2個數(shù)據(jù)集上的分類曲線始終低于其他對比方法。SSDCNN，3D-CNN和RES-3D-CNN這3種基于CNN的深度學(xué)習(xí)分類模型的總體分類精度曲線變化相對平穩(wěn)，說明它們對訓(xùn)練樣本數(shù)量的變化具有較好的適應(yīng)性。本文方法的總體分類精度曲線始終高于其他方法，這表明當(dāng)訓(xùn)練樣本逐漸減少時，該方法具有最好的分類性能。

(a) Salinas數(shù)據(jù)集 (b) Indian Pines數(shù)據(jù)集

4 結(jié)論

為了進一步提高高光譜影像分類精度，基于Transformer模型設(shè)計了一種新穎的深度分類模型，并展開了相關(guān)高光譜影像分類試驗，具體結(jié)論如下：

1)與基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型相比，本文方法能夠更好地對全局語義信息進行建模，從而獲得更高的分類性能。在Salinas和Indian Pines這2個數(shù)據(jù)集上的試驗結(jié)果表明，本文方法能夠獲得比現(xiàn)有卷積神經(jīng)網(wǎng)絡(luò)模型更為優(yōu)異的分類性能。

2)從類一致性的角度看，本文方法的分類結(jié)果具有更好的視覺效果，更接近地面真實標(biāo)記。

3)在逐漸減少訓(xùn)練樣本的條件下，本文方法始終能夠獲得較為優(yōu)異的分類效果，表明本文方法對訓(xùn)練樣本數(shù)量具有較好的適應(yīng)性。

與常規(guī)卷積神經(jīng)網(wǎng)絡(luò)相比，本文方法利用Transformer模型有效提高了高光譜影像分類精度。下一步的工作將結(jié)合半監(jiān)督學(xué)習(xí)、元學(xué)習(xí)等方法進一步提高高光譜影像在訓(xùn)練樣本受限條件下的分類精度。