基于三通道多尺度密集連接網(wǎng)絡(luò)的高光譜地物分類研究

鄧子青，楊 晨

（貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院，貴陽550025）

0 引 言

HSI由搭載在不同空間平臺上的高光譜傳感器、即成像光譜儀捕獲，除了包含空間信息外，HSI還包含從可見光到紅外光譜的數(shù)百個光譜帶。由于其豐富的光譜信息，HSI已被廣泛應(yīng)用于許多領(lǐng)域，如土地覆蓋分類、目標(biāo)檢測和圖像分割等。而在HSI分類領(lǐng)域，如何充分利用豐富的光譜空間信息是實現(xiàn)高分類精度的關(guān)鍵。

迄今為止，HSI的分類方法主要可分為2類：傳統(tǒng)方法和基于深度學(xué)習(xí)的方法。在傳統(tǒng)方法的早期階段，研究人員傾向于利用豐富的光譜信息，如支持向量機（SVM）、k-最近鄰（KNN）和多項式邏輯回歸（MLR）。然而，這些基于光譜的方法只考慮光譜信息，實際上空間信息在分類過程中也起著重要作用。在后期，研究人員開始將光譜信息與空間信息相結(jié)合，以更好地進行分類。2017年，Lu等人提出了HSI分類的融合框架。將亞像素、像素和超像素的特征融合為一個復(fù)合核，并將復(fù)合核送入SVM分類器進行分類。基于光譜-空間聯(lián)合特征的方法取得了令人滿意的分類效果，但傳統(tǒng)方法主要依靠人工設(shè)計的特征，造成了性能的局限性。

在過去十年中，由于基于深度學(xué)習(xí)的方法具有出色的特征提取能力，則已被引入HSI分類領(lǐng)域和其他許多圖像處理領(lǐng)域。到目前為止，已經(jīng)提出了許多用于HSI分類的深度學(xué)習(xí)方法。與傳統(tǒng)方法一樣，研究人員更關(guān)注早期的光譜信息。例如，Hu等人提出了一種五層1-D卷積神經(jīng)網(wǎng)絡(luò)（CNN），用于直接分析HSI分類的光譜信息。Li等人提出了一種像素對方法來學(xué)習(xí)光譜特征，并通過投票獲得最終的分類結(jié)果，進一步提高了網(wǎng)絡(luò)性能?；?-D的方法可以提取光譜信息進行HSI分類，此后就開發(fā)出基于2D和3D的方法來利用空間和光譜信息。

目前，研究人員更多地關(guān)注基于光譜空間特征的方法，這種方法可以同時利用光譜和空間信息，極大地提高分類精度。Wang等人在利用卷積層進行特征提取的基礎(chǔ)上添加密集連接緩解深層次網(wǎng)絡(luò)存在的梯度消失問題，取得了良好的分類結(jié)果。Chen等人通過減少網(wǎng)絡(luò)參數(shù)使其更易于訓(xùn)練，提出了一種輕量級CNN，通過使用一維卷積層和二維卷積層來提取光譜和空間特征。為了利用多尺度感知增強CNN的特征提取能力，Pooja等人提出了一種用于HSI分類的多尺度殘差CNN。研究時使用多尺度擴展卷積來擴展網(wǎng)絡(luò)的感受野，并取得了令人滿意的分類結(jié)果。從以上方法來看，基于光譜空間的方法比僅基于光譜信息的方法具有更好的性能，而多尺度感知、密集連接是增強網(wǎng)絡(luò)特征提取能力的有效手段。

為此，本文提出將多尺度手段和密集連接結(jié)構(gòu)相結(jié)合構(gòu)成一個三通道多尺度特征提取模塊，由此可實現(xiàn)HSI光譜空間信息的充分利用，并通過多次疊加該模塊以提升網(wǎng)絡(luò)的特征提取能力，從而提高分類精度。

1 實驗部分

1.1 三通道多尺度密集連接網(wǎng)絡(luò)

利用3D卷積可以直接提取HSI的光譜空間特征，而多尺度手段的引入則使網(wǎng)絡(luò)可感受不同細節(jié)層次的特征。本文將3D卷積與多尺度手段相結(jié)合構(gòu)成三通道多尺度模塊，以實現(xiàn)光譜空間聯(lián)合特征的提取。通過堆疊該模塊并引入密集連接架構(gòu)組成最終的分類網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 三通道多尺度特征密集連接網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Structure of triple path multi-scale feature dense connection network

首先，將以待分類像素為中心的周圍像素塊作為輸入送入到三通道多尺度模塊中。在該模塊中，像素塊被同時送入并行三通道中進行光譜空間信息的提取。通過改變?nèi)ǖ乐芯矸e核的尺寸，該模塊可捕獲輸入信息的不同細節(jié)層次特征。而三通道所提取的特征將通過加法進行特征融合，以得到最終的綜合特征。

其次，通過在網(wǎng)絡(luò)各層引入密集連接以緩解多次堆疊模塊加深網(wǎng)絡(luò)可能出現(xiàn)的梯度消失問題，不同于其他方法使用級聯(lián)的方法連接各層，本文將不同層次特征直接相加以降低網(wǎng)絡(luò)計算量。

最終，在通過多個三通道多尺度模塊的特征提取后，深層次綜合特征圖被送入到最大池化層、平坦層和Softmax分類器得到最終分類結(jié)果，其分類器可表示為：

其中，表示所需分類數(shù)量；e 表示輸入數(shù)組值；y表示各樣本向量，而向量值表示樣本對應(yīng)類別的可能性，并將最大可能性標(biāo)簽作為樣本最終分類標(biāo)簽。

該網(wǎng)絡(luò)通過構(gòu)建三通道多尺度模塊提取HSI的光譜空間綜合特征，模塊內(nèi)使用多尺度策略使得網(wǎng)絡(luò)可感知不同細節(jié)層次上的特征，而密集連接的引入則緩解了多次堆疊該模塊可能導(dǎo)致的梯度消失問題。

1.2 三通道多尺度模塊

圖1給出的結(jié)構(gòu)中，三通道多尺度模塊是網(wǎng)絡(luò)提取光譜空間綜合特征的關(guān)鍵，該模塊主要由3D卷積層、并行三通道架構(gòu)和特征融合組成，如圖2所示。

圖2 三通道多尺度模塊結(jié)構(gòu)圖Fig.2 Structure of triple path multi-scale module

設(shè)定輸入圖像尺寸為（11*11*200），在三通道多尺度特征部分，為實現(xiàn)多尺度光譜空間特征的同時提取，將圖像信息并行輸入三通道3D卷積層中。其中，從上到下，各通道的3D卷積核尺寸分別為（1*1*1，24）、（3*3*3，24）和（5*5*5，24），這里的24為卷積核數(shù)量；不僅如此，又使用相同（same）填充方式以保證各通道所提取的特征圖尺寸維持不變。通過并行三通道的特征提取，則可獲取圖像不同感受野下的特征，三者相互補充。

在特征融合部分，研究中將三通道得到的光譜空間綜合特征圖做逐元素相加以實現(xiàn)最終的特征融合。

相比于單獨提取光譜和空間特征，利用3D卷積直接提取綜合信息加強了2種特征間的聯(lián)系，使得網(wǎng)絡(luò)所提取的特征更具魯棒性。多尺度手段的引入還使得網(wǎng)絡(luò)可感知不同細節(jié)層次上的特征。

1.3 多尺度3D卷積

由圖2可知，三通道多尺度模塊中各通道均使用不同尺寸的卷積核，以實現(xiàn)多尺度特征提取。其中，由于可在3個維度上移動進行特征提取，3D卷積就常常應(yīng)用在視頻處理、對象識別和HSI分類等方面。進一步地，通過將其與多尺度策略結(jié)合，有利于多感受野的3D特征提取，其原理圖如圖3所示。

圖3 3D卷積Fig.3 3D Convolution

由圖3可知，當(dāng)輸入三維數(shù)據(jù)時，將其與3D卷積核（Convolution Kernel）進行卷積，得到3D輸出特征圖，研究推得的數(shù)學(xué)公式可寫為：

2 結(jié)果與討論

2.1 實驗數(shù)據(jù)

為驗證網(wǎng)絡(luò)性能，實驗使用IP、UP和SV三種不同地物覆蓋類型的高光譜數(shù)據(jù)集作為測試對象，各數(shù)據(jù)集介紹如下。

（1）IP數(shù)據(jù)集：印第安納松樹林?jǐn)?shù)據(jù)集由AVIRIS光譜儀捕獲，具有145×145個像素，空間分辨率為20 m/像素，其有效頻帶數(shù)為200個，范圍從400 nm到2 500 nm。總共有16個類別，其中包含谷物、燕麥和森林等自然植被。

（2）UP數(shù)據(jù)集：帕維爾大學(xué)數(shù)據(jù)集由光學(xué)成像儀捕獲，具有610×340個像素，空間分辨率為1.3 m/像素，其有效波段數(shù)為103個。總共有9個類別，其中包含柏油路、建筑和草地等城市土地覆蓋類型。

（3）SV數(shù)據(jù)集：薩利納斯山谷由AVIRIS傳感器獲得，具有512×217個像素，空間分辨率為3.7 m/像素，其有效頻帶數(shù)為204個。總共有16個類別，其中包含芹菜、耕地和殘莖等地物覆蓋類型。

各數(shù)據(jù)集偽彩色圖像如圖4所示。

圖4 3種數(shù)據(jù)集影像Fig.4 Pictures of three datasets

實驗所使用硬件配置為酷睿i5-3470處理器、Tesla K40c科學(xué)計算顯卡；網(wǎng)絡(luò)代碼搭建基于Python的Tensorflow深度學(xué)習(xí)框架。其中，IP數(shù)據(jù)集使用20%的樣本進行訓(xùn)練，UP和SV使用10%的樣本進行訓(xùn)練；網(wǎng)絡(luò)學(xué)習(xí)率設(shè)置為0.003；輸入像素塊空間尺寸為（11*11）。量化分類效果，研究使用3種精度指標(biāo)：（Overall Accuracy）、（Average Accuracy）和（Kappa）。其中，表示總體分類精度；表示所有類別的平均分類精度以及表示分類結(jié)果與真實標(biāo)簽間的符合程度。

2.2 分類結(jié)果

為驗證本文提出網(wǎng)絡(luò)架構(gòu)有效性，將本文提出三通道多尺度特征密集網(wǎng)絡(luò)與基于傳統(tǒng)方法的SVM以及基于深度學(xué)習(xí)方法的堆疊自動編碼網(wǎng)絡(luò)（SAE）、3DCNN以及SSRN進行對比。研究中在IP、UP和SV數(shù)據(jù)集獲得的測試結(jié)果見表1～表3以及最終的分類結(jié)果如圖5～圖7所示。

表1 IP數(shù)據(jù)集上各網(wǎng)絡(luò)精確度以及訓(xùn)練時間對比Tab.1 Classification results and training time of different networks on IP dataset

表3 SV數(shù)據(jù)集上各網(wǎng)絡(luò)精確度以及訓(xùn)練時間對比Tab.3 Classification results and training time of different networks on SV dataset

圖5 IP數(shù)據(jù)集上的分類結(jié)果Fig.5 Classification maps for IP datasets

圖6 UP數(shù)據(jù)集上的分類結(jié)果Fig.6 Classification maps for UP datasets

圖7 SV數(shù)據(jù)集上的分類結(jié)果Fig.7 Classification maps for SV datasets

表2 UP數(shù)據(jù)集上各網(wǎng)絡(luò)精確度以及訓(xùn)練時間對比Tab.2 Classification results and training time of different networks on UP dataset

從表1～表3可以看出，本文提出網(wǎng)絡(luò)架構(gòu)無論是在分類自然覆蓋類型、還是城市建筑覆蓋類型均能取得優(yōu)秀的分類結(jié)果。對比其他方法，本文提出網(wǎng)絡(luò)取得了最優(yōu)的分類精度。其中，傳統(tǒng)算法SVM雖然不能取得較高精度的分類結(jié)果，但所需訓(xùn)練時間最短；相比于傳統(tǒng)算法，雖然SAE和3DCNN網(wǎng)絡(luò)的訓(xùn)練時間有所增加，但在各數(shù)據(jù)集上取得的分類精度均有提升；不同于SAE和3DCNN，SSRN是專門針對HSI分類提出的，故該網(wǎng)絡(luò)相比較其他均取得了最優(yōu)的分類精度，在時間上卻呈現(xiàn)大幅上升；而與SSRN相比，本文提出網(wǎng)絡(luò)在實現(xiàn)精度提升的同時，顯著減少了訓(xùn)練時間。

由圖5～圖7的分類結(jié)果分析可知，研究提出的網(wǎng)絡(luò)取得了更優(yōu)的分類結(jié)果。在IP分類圖上分析可知，各分類區(qū)域邊緣更加平滑且噪點更少；對比各分類區(qū)域，UP分類圖上噪點都有所減少；在SV分類圖上，各分類區(qū)域內(nèi)部基本無錯誤分類像素點，與真實標(biāo)簽圖保持一致。

3 結(jié)束語

HSI擁有豐富的光譜、空間信息，將2種信息進行有效結(jié)合是實現(xiàn)網(wǎng)絡(luò)高精度分類的關(guān)鍵。為實現(xiàn)HSI光譜空間綜合信息的充分利用，本文構(gòu)建了三通道多尺度特征模塊用于光譜和空間域信息的特征提取，多尺度手段的引入使得網(wǎng)絡(luò)可感知不同感受野下的特征，從而進一步加強所提取特征的代表性。通過多次堆疊該模塊以及引入密集連接，使得最終網(wǎng)絡(luò)可以提取深層次抽象特征。在此基礎(chǔ)上，仿真分類結(jié)果表明，本文提出網(wǎng)絡(luò)在3個不同地物覆蓋類型數(shù)據(jù)集上取得了99.5%以上的分類準(zhǔn)確率，對比其他分類網(wǎng)絡(luò)，本文提出網(wǎng)絡(luò)在可接受的訓(xùn)練時間范圍內(nèi)取得了最優(yōu)的分類結(jié)果。