基于雙池化注意力機(jī)制的高光譜圖像分類算法

摘要為了提高高光譜圖像在有限訓(xùn)練樣本下的分類性能，提出了一種基于雙池化注意力機(jī)制的高光譜圖像分類網(wǎng)絡(luò)（DPAMN）．首先，采用三維卷積提取高光譜圖像的空間和光譜淺層信息．其次，為了增強(qiáng)網(wǎng)絡(luò)的特征提取能力，在DPAMN中引入了一種雙池化注意力機(jī)制．最后，在網(wǎng)絡(luò)的深層引入三維卷積密集連接模塊，該模塊不僅能夠充分提取高光譜圖像的空間和光譜特征，同時還能提高特征的判別能力．實(shí)驗(yàn)結(jié)果表明，在Indian Pines、University of Pavia、Salinas以及Houston 2013數(shù)據(jù)集上分別取得95.45％、97.11％、95.30％以及93.71％的整體平均精度，與目前主流的已有先進(jìn)方法相比，所提出的方法在4個數(shù)據(jù)集上均有較大提升，表明所提方法具有較強(qiáng)的泛化能力．

關(guān)鍵詞卷積神經(jīng)網(wǎng)絡(luò);高光譜圖像;分類;注意力機(jī)制;空譜特征提取

中圖分類號TP391.41 文獻(xiàn)標(biāo)志碼A

0 引言

高光譜圖像包含豐富的空間和光譜信息．高光譜圖像分類就是確定每個像素所屬類別，且高光譜圖像的分類精度將會影響后續(xù)的圖像處理工作．在高光譜圖像分類研究早期，很多表現(xiàn)出色的機(jī)器學(xué)習(xí)方法獲得了較好的分類性能，包括支持向量機(jī)［1］、極限學(xué)習(xí)機(jī)［2］、基于稀疏表示［3］以及K最近鄰［4］的方法．由于研究早期基于機(jī)器學(xué)習(xí)的分類網(wǎng)絡(luò)均為淺層網(wǎng)絡(luò)，這種網(wǎng)絡(luò)不足以提取高光譜圖像的復(fù)雜特征．

近年來，基于深度學(xué)習(xí)的方法由于其強(qiáng)大的特征處理能力在計算機(jī)視覺包括自然語言處理、圖像處理以及目標(biāo)檢測領(lǐng)域獲得了優(yōu)異的成績［5-8］．Chen等［9］提出一種堆疊式自動編碼器，基于分層思想提取空間和光譜特征．Yu等［10］提出一種基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的高光譜圖像分類方法，通過卷積層合理的卷積濾波器和池化層提取不同層的光譜和空間特征，經(jīng)多層提取的特征獲得了較好的實(shí)驗(yàn)結(jié)果．為了更充分地提取空間和光譜特征，Chen等［11］提出一種基于端到端二維卷積神經(jīng)網(wǎng)絡(luò)（2DCNN）的高光譜圖像分類方法．特別地，高光譜圖像自身具備三維數(shù)據(jù)屬性，在對高光譜圖像進(jìn)行處理的過程中，往往將其看作三維數(shù)據(jù)．因此，Li等［12］提出一種基于三維卷積神經(jīng)網(wǎng)絡(luò)（3DCNN）的高光譜圖像分類方法，并提高了類間可分性．值得注意的是，為了改善高光譜圖像的分類性能，張建偉等［13］對眾多的空間光譜聯(lián)合分類方法進(jìn)行了歸類和分析．

在深度學(xué)習(xí)框架中，基于CNN的網(wǎng)絡(luò)框架得到廣泛的應(yīng)用．雖然基于CNN的深度學(xué)習(xí)方法相比于傳統(tǒng)的機(jī)器學(xué)習(xí)方法能夠較大地改善分類性能，但隨著CNN網(wǎng)絡(luò)的深度逐漸加大，將會出現(xiàn)休斯現(xiàn)象（Hughes）［14］和網(wǎng)絡(luò)退化．為了避免這些現(xiàn)象的發(fā)生，He等［15］提出一種殘差網(wǎng)絡(luò)（ResNet），能夠有效解決由于網(wǎng)絡(luò)加深帶來的退化問題．該網(wǎng)絡(luò)通過跳線連接將淺層的特征恒等映射到深層特征，且這種跳線連接并不會帶來額外的參數(shù)和計算復(fù)雜度．為了改善高光譜圖像的分類性能，Zhong等［16］設(shè)計了空間殘差模塊和光譜殘差模塊來提取圖像的空間特征和光譜特征（SSRN），且獲得了較好的分類精度，這進(jìn)一步表明殘差結(jié)構(gòu)在高光譜圖像分類任務(wù)中的有效性．為了加強(qiáng)層與層之間的信息流動性，Huang等［17］提出一種密集連接網(wǎng)絡(luò)（DenseNet），一定程度上緩解了梯度消失問題．Roy等［18］結(jié)合3DCNN和2DCNN，提出一種混合結(jié)構(gòu)（HybridSN）．雖然以上方法在數(shù)據(jù)樣本充足的情況下能夠獲得較為不錯的分類精度，但在小樣本下得到的分類性能依然較差．

受人類視覺的啟發(fā)，一種注意力機(jī)制模塊被提出，該注意力機(jī)制有利于進(jìn)一步提高分類性能［19-23］．高光譜圖像包含空間和光譜特征，而三維卷積神經(jīng)網(wǎng)絡(luò)是同時對圖像提取空間和光譜特征．為了避免提取的空間特征和光譜特征相互干擾，Ma等［24］提出一種雙分支多注意力機(jī)制網(wǎng)絡(luò)（DBMA），并在小訓(xùn)練樣本下獲得了較好的分類精度．為了進(jìn)一步改善分類性能，Li等［25］提出一種DBMA的改進(jìn)網(wǎng)絡(luò)DBDA，實(shí)驗(yàn)結(jié)果驗(yàn)證了該網(wǎng)絡(luò)在小訓(xùn)練樣本下的有效性．

然而，實(shí)際應(yīng)用中高光譜圖像已知類別的樣本依然是十分有限的，還需更加充分地提取高光譜圖像的空間和光譜特征，進(jìn)而獲得更優(yōu)異的分類性能．有鑒于此，本文提出一種基于雙池化注意力機(jī)制的高光譜圖像分類網(wǎng)絡(luò)（DPAMN）．實(shí)驗(yàn)結(jié)果表明，本文方法在有限訓(xùn)練樣本情況下能夠獲得較好的分類效果．

本文的貢獻(xiàn)主要如下：

1）本文提出一種基于雙池化注意力機(jī)制網(wǎng)絡(luò)，用來強(qiáng)調(diào)通道之間的相互關(guān)系．具體地說，使用全局最大池化和全局平均池化來聚集圖像的重要信息，且使用自適應(yīng)卷積增強(qiáng)通道之間的表示能力．

2）為了緩解梯度消失和梯度退化問題，本文提出一種三維密集連接模塊，通過該模塊能夠提取豐富的特征，且避免了信息的丟失．

3）所提出的雙池化注意力機(jī)制網(wǎng)絡(luò)結(jié)合了注意力機(jī)制模塊和3DCNN密集連接模塊．注意力機(jī)制模塊被用來增強(qiáng)重要的信息，且抑制了無用的信息．使用3DCNN密集連接模塊充分提取圖像的光譜-空間聯(lián)合信息．

1 基于雙池化注意力機(jī)制的分類方法

1.1 三維卷積

由于高光譜圖像自身數(shù)據(jù)屬性，三維卷積神經(jīng)網(wǎng)絡(luò)（3DCNN）比二維卷積神經(jīng)網(wǎng)絡(luò)（2DCNN）在高光譜圖像分類領(lǐng)域應(yīng)用更加廣泛．此外，2DCNN在提取高光譜圖像的空間和光譜過程中會導(dǎo)致像素之間的相關(guān)性被破壞，而3DCNN能夠更好地保護(hù)圖像的空間信息，避免造成信息丟失．

圖1表示三維卷積過程，輸入特征大小為X∈RH×W×L（其中，H表示特征圖的高度，W表示特征圖的寬度，L表示特征圖的波段數(shù)量），卷積核大小為h×w×l．為保證輸出和輸入的大小相同，采用的填充操作屬性值為SAME，則經(jīng)過卷積的輸出為

式中：i表示的是第i層;vxyzij 表示第i層的第j個特征圖在（x，y，z）位置上的輸出;m表示第i層的神經(jīng)元個數(shù);kpqrijm 表示第m個特征圖中（p，q，r）的權(quán)重;bij表示卷積層的偏置項;f（·）表示激活函數(shù);hi，wi，bi分別表示第i層中卷積核高度、寬度以及長度．

1.2 三維密集連接模塊

隨著網(wǎng)絡(luò)層數(shù)的增加，分類性能可以有效改善，但隨著網(wǎng)絡(luò)逐漸變深，會出現(xiàn)梯度消失和模型退化問題．為此，本設(shè)計的分類網(wǎng)絡(luò)中引入了三維密集連接模塊，其結(jié)構(gòu)如圖2所示．可以看出，輸入通過4個Conv+BN+ReLU組合層輸出，且每個組合層之間通過跳線連接，設(shè)置旁路使得深層特征與淺層特征有效流動．引入三維密集連接模塊能夠在一定程度上緩解梯度消失和模型退化問題．

三維密集連接模塊主要包括4個組合層，層與層之間相互連接．其中，每一個組合層包括Conv+BN+ReLU．具體地說，輸入X∈RH×W×L經(jīng)過三維Conv層的輸出為

其中：Y∈RH×W×L為卷積后的輸出;W為三維卷積的權(quán)重;b為三維卷積的偏置項．為了加快收斂速度并避免過擬合現(xiàn)象的發(fā)生，將三維卷積的輸出經(jīng)過歸一化BN層，即：

式中：E［x（i）］表示所有神經(jīng)元值的平均值;D［x（i）］表示所有神經(jīng)元輸入值的標(biāo)準(zhǔn)差;x表示歸一化BN層的輸入．為了使得稀疏后的模型能夠更好地挖掘相關(guān)特征、擬合訓(xùn)練數(shù)據(jù)，在歸一化之后接入ReLU激活函數(shù)層，即：

式中，x表示非線性激活函數(shù)的輸入，g（·）表示非線性激活函數(shù)．

從三維密集連接模塊可以看出，層與層之間通過跳線連接．第i層的輸入等于前面所有i-1的輸出之和．即：

其中，Hl［·］表示第i層的系統(tǒng)函數(shù)，包括三維卷積層、歸一化BN層以及ReLU非線性激活層．假設(shè)輸入特征圖的輸入大小為H×W×L，且有2C個通道，每個卷積層為C個大小為1×1×d的卷積核，則輸入經(jīng)過該卷積層的輸出為C個大小為H×W×L的特征圖．而特征圖的輸出通道數(shù)和輸入通道數(shù)存在密集連接關(guān)系：

式中，Cm表示第m層輸出的通道數(shù)量．

1.3 雙池化注意力機(jī)制模塊

在高光譜圖像中空間像素間相互依賴關(guān)系有利于更準(zhǔn)確地實(shí)現(xiàn)像素分類．近年來，很多注意力機(jī)制被相繼提出，用來探索空間的依賴關(guān)系．為了進(jìn)一步強(qiáng)調(diào)更重要的特征，抑制無用的特征，本文提出一種雙池化注意力機(jī)制，結(jié)構(gòu)如圖3所示．考慮到不同通道的空間信息壓縮和通道相關(guān)性，且所攜帶的信息不同，僅使用平均池化或者最大池化，會使得圖像一部分信息丟失．為了得到更多的信息，本文采用平均池化層和最大池化層同時進(jìn)行池化操作來提取所有通道的最大特征值和平均特征值，最后將得到的特征進(jìn)行融合．具體地說，假設(shè)輸入為C個x∈RH×W×L，經(jīng)過平均池化和最大池化后的輸出大小為C個x′∈R1×1×1．而此時每個通道均為一個元素，并且不同元素的值代表著對應(yīng)通道的信息．

將融合后得到的結(jié)果再經(jīng)過自適應(yīng)卷積層，且自適應(yīng)核大小k與通道C相關(guān)．從卷積的跨通道交互角度來看，C與長期交互作用呈正相關(guān)．即C越大，長期交互關(guān)系越強(qiáng);反之，C越小，短期交互關(guān)系越強(qiáng)．而自適應(yīng)核大小k與通道C關(guān)系：

式中，（·）為自適應(yīng)核函數(shù)．同樣地，為了使得稀疏后的模型能夠更好地挖掘相關(guān)特征，將經(jīng)過自適應(yīng)卷積后的輸出經(jīng)過ReLU非線性激活函數(shù)層得到注意力圖．最后，將所得到的注意力圖與原始輸入進(jìn)行點(diǎn)積操作得到最終的輸出．

1.4 整體網(wǎng)絡(luò)結(jié)構(gòu)

針對高光譜圖像的高維特性以及樣本數(shù)據(jù)量有限的情況，本文設(shè)計了一個雙池化注意力機(jī)制網(wǎng)絡(luò)（DPAMN）．DPAMN的整體結(jié)構(gòu)如圖4所示．網(wǎng)絡(luò)包括淺層特征提取、雙池化注意力機(jī)制模塊（DPAM）以及三維密集連接模塊組成．

原始高光譜圖像經(jīng)過淺層網(wǎng)絡(luò)獲得具體的特征，再經(jīng)過DPAM層將重要的特征進(jìn)行強(qiáng)化，且抑制無用的特征．將所得到的結(jié)果經(jīng)過三維密集連接模塊進(jìn)行深層特征提取，得到更加抽象的語義信息，最后將得到的特征向量經(jīng)過概率分布確定所屬類別．為了更加詳細(xì)地表示DPAMN網(wǎng)絡(luò)，以Indian Pines數(shù)據(jù)為例，該數(shù)據(jù)集的圖像大小為145×145×200，表1給出了DPAMN各層的卷積核大小和該層的輸出尺寸大小．特別地，若3D卷積使用的卷積核較大，則將會使得網(wǎng)絡(luò)的參數(shù)激增．因此，本文在3D密集連接模塊中所采用卷積核大小為3×3×11．

2 對比實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證所提出方法的有效性，選擇Indian Pines、University of Pavia、Salinas以及Houston 2013 4種數(shù)據(jù)集，且進(jìn)行一系列實(shí)驗(yàn)．本節(jié)將給出所有對比實(shí)驗(yàn)的結(jié)果和分析．此外，為了公平比較，所有的實(shí)驗(yàn)均在處于相同的實(shí)驗(yàn)環(huán)境并且配置相同的實(shí)驗(yàn)參數(shù)．實(shí)驗(yàn)所使用的硬件平臺是Intel（R） Core（TM） i7-9750H CPU、NVIDA GeForce GTX1060 TI GPU和8 GB的內(nèi)存．軟件環(huán)境是CUDA 10.0、pytorch 1.2.0和python 3.7.4．實(shí)驗(yàn)采用總體分類精度（Over-all Accuracy，OA）、平均分類精度（Average Accuracy，AA）、Kappa系數(shù)3個衡量指標(biāo)來評價所有的方法．

2.1 數(shù)據(jù)集

本實(shí)驗(yàn)采用的數(shù)據(jù)集包括Indian Pines、University of Pavia、Salinas以及Houston 2013 4種常見數(shù)據(jù)集．在實(shí)驗(yàn)過程中，4種數(shù)據(jù)集分別隨機(jī)選取5％、1％、1％以及2％樣本比例作為訓(xùn)練樣本．

1）Indian Pines數(shù)據(jù)集的空間大小為145×145，擁有220個波段，但除去吸水帶20個，剩下200個波段用于實(shí)驗(yàn)中．同樣地，除去背景像素，用于實(shí)驗(yàn)的空間像素有10 249個．該數(shù)據(jù)集有16個覆蓋地物類別，具體類別信息見表2．

2）University of Pavia數(shù)據(jù)集由反射光學(xué)系統(tǒng)成像光譜儀（ROSIS）捕獲而來，其空間大小為610×340，空間分辨率為1.3 m，但僅有103個波段可用于實(shí)驗(yàn)．該數(shù)據(jù)集有9個地物覆蓋類別，具體類別信息見表3．

3）Salinas數(shù)據(jù)集是1996年通過AVIRIS傳感器獲取的，空間大小為512×614，有176個可用波段．該數(shù)據(jù)集有16個地物覆蓋類別，具體類別信息見表4．

4）Houston 2013數(shù)據(jù)集由緊湊型機(jī)載光譜成像儀（CASI）傳感器獲取，其空間大小為349×1 905，波段數(shù)為114，波長范圍為380～1 050 nm．該數(shù)據(jù)集包含15個地物覆蓋類別，具體類別信息見表5．

2.2 各方法的實(shí)驗(yàn)結(jié)果對比

為了更好體現(xiàn)所提出方法的優(yōu)越性，本節(jié)將DPAMN與多種深度學(xué)習(xí)方法相比較，包括SSRN［16］、DBMA［24］、DBDA［25］、HybridSN［18］．所有參數(shù)設(shè)置均相同．選擇的空間輸入大小為9×9．

SSRN包含空間殘差模塊和光譜殘差模塊，一定程度上緩解了網(wǎng)絡(luò)梯度消失的問題．DBMA與DBDA是一個雙分支結(jié)構(gòu)，并且在空間分支和光譜分支分別引入空間注意力和光譜注意力．HybridSN將3DCNN和2DCNN結(jié)合起來，利用3DCNN來提取高光譜圖像的空間和光譜特征，且利用2DCNN來提取空間特征．表6—9和圖5—8給出了不同方法在Indian Pines、University of Pavia、Salinas以及Houston 2013數(shù)據(jù)集上的所有分類結(jié)果．

由于Indian Pines的類間混合程度較大，且類別較多，現(xiàn)階段很多方法的分類精度都不是很好．從表6可以看出，所有方法的分類精度較低．然而，與其他方法相比，本文方法獲得最高的OA、AA和Kappa．不同方法在Indian Pines數(shù)據(jù)集上的所有分類如圖5所示．通過比較，可以發(fā)現(xiàn)其他方法類間混合程度更高，錯誤分類較多，分類最差的是HybridSN．而本文方法得到結(jié)果更接近土地覆蓋真實(shí)分類．雖然University of Pavia數(shù)據(jù)集的光譜波段比Indian Pines數(shù)據(jù)集少，但是不同方法獲得分類精度卻比Indian Pines數(shù)據(jù)集上得到的精度普遍要高（表7），這主要由于University of Pavia數(shù)據(jù)集的分類類別較少，僅有9類．

圖6給出了不同方法在University of Pavia數(shù)據(jù)集上的分類結(jié)果，可以看到本文方法的分類圖更加平滑，表明具備很好的分類判決能力．Salinas數(shù)據(jù)集土地覆蓋更加規(guī)律，而Houston 2013數(shù)據(jù)集的空間分辨率更高．由表8和表9可知，DPAMN在Salinas和Houston 2013數(shù)據(jù)集上依然獲得了最高的分類精度．圖7與圖8分別給出了所有方法在Salinas和Houston 2013數(shù)據(jù)集上的分類結(jié)果．可以發(fā)現(xiàn)，DPAMN方法在Salinas和Houston 2013數(shù)據(jù)集上的分類圖更接近土地覆蓋真實(shí)分類圖，而DBDA方法雖然能夠獲得次優(yōu)的分類圖，但依然存在較多的錯誤分類．

因此，與其他先進(jìn)方法相比，本文所提出方法獲得最高的分類精度和最好的分類圖，充分驗(yàn)證了本文方法的有效性．

2.3 實(shí)驗(yàn)分析

為了更好地體現(xiàn)本文提出的網(wǎng)絡(luò)結(jié)構(gòu)，下面對DPAMN輸入空間大小、三維卷積密集連接個數(shù)以DPAM中不同池化類型對分類精度OA的影響進(jìn)行定量分析．

2.3.1 輸入數(shù)據(jù)空間尺寸

網(wǎng)絡(luò)通過將原始圖像切割成多個H×W×B的輸入小圖像塊作為圖像的輸入．輸入空間大小以5×5、7×7、9×9以及11×11為例．圖9給出了DPAMN在Indian Pines、University of Pavia、Salinas以及Houston 2013 4個常見數(shù)據(jù)集上不同輸入尺寸獲得的OA值．可以看出，Indian Pines、University of Pavia和Salinas數(shù)據(jù)集中9×9獲得的OA最高，11×11的輸入空間大小獲得的結(jié)果次之．在Indian Pines、University of Pavia以及Salinas數(shù)據(jù)集上OA值隨著空間輸入增大先增大后減小，而Houston 2013數(shù)據(jù)集上OA值隨著空間輸入增大逐漸增大，最優(yōu)的輸入空間大小為11×11．因此，對比實(shí)驗(yàn)采用9×9的空間輸入大小輸入到網(wǎng)絡(luò)中．

2.3.2 三維卷積密集連接數(shù)

本文采用三維卷積密連接模塊來增強(qiáng)網(wǎng)絡(luò)的空間和光譜特征提取能力，三維卷積密連接模塊中密集連接個數(shù)越多提取的特征越抽象．因此，本節(jié)將對三維卷積密集連接個數(shù)對網(wǎng)絡(luò)分類精度的影響進(jìn)行討論．本文設(shè)置一個密集連接個數(shù)為1的對比實(shí)驗(yàn)，且以3、4、5、6個三維卷積密集連接個數(shù)作為實(shí)驗(yàn)組．圖10給出了不同密集連接個數(shù)在不同數(shù)據(jù)集上的分類精度OA值．可以看出，采用密集連接模塊能夠有效地提高網(wǎng)絡(luò)的分類精度．5個和6個卷積密集連接個數(shù)獲得結(jié)果相似，但在Salinas數(shù)據(jù)集上，5個卷積密集連接個數(shù)的OA值遠(yuǎn)遠(yuǎn)超過6個卷積密集連接個數(shù)模塊的OA值．此外，6個卷積組成的模塊參數(shù)量也超過5個卷積組成的密集連接模塊．因此，本文設(shè)計的DPAMN中的三維密集連接模塊采用的三維卷積個數(shù)為5個．

2.3.3 DPAM中不同池化類型對分類精度OA的影響

在所提出的DPAMN中，設(shè)計的DPAM采用最大池化層和平均池化層共同計算信息映射．最大池化操作生成了在局部區(qū)域中值最大的顯著圖，平均池化層計算局部區(qū)域的平均值來表示特征圖的關(guān)鍵信息．從表10中可以看出：單獨(dú)采用最大池化層或者單獨(dú)采用平均池化層，均會導(dǎo)致圖像的信息丟失，獲得的結(jié)果在4個數(shù)據(jù)集上表現(xiàn)相近;當(dāng)最大池化層和平均池化層同時使用時（雙池化）聚合性能最好，獲得的OA值在4個數(shù)據(jù)集上均為最高．此外，本文在雙池化之后引入了自適應(yīng)卷積，充分挖掘了通道之間的相關(guān)性．因此，通過消融實(shí)驗(yàn)，充分驗(yàn)證了本文提出的雙池化注意力機(jī)制的有效性．

3 結(jié)論

1）本文設(shè)計的基于雙池化注意力機(jī)制分類網(wǎng)絡(luò)，提出一種雙池化注意力機(jī)制來強(qiáng)調(diào)通道之間的相互關(guān)系，并在深層網(wǎng)絡(luò)中引入三維連接模塊，不僅充分提取了深層空間和光譜的特征，還在一定程度上緩解了梯度消失問題和網(wǎng)絡(luò)退化問題，在小訓(xùn)練樣本情況下提高了分類精度．

2）本文通過實(shí)驗(yàn)分析不同的網(wǎng)絡(luò)參數(shù)對分類性能的影響，找到了最優(yōu)的網(wǎng)絡(luò)參數(shù)設(shè)置，并與現(xiàn)階段高光譜圖像分類最先進(jìn)的方法相比．實(shí)驗(yàn)結(jié)果表明，本文所提方法在小樣本下具有更好的分類性能．

未來的研究工作當(dāng)中，將繼續(xù)在極小樣本的情況下探究更強(qiáng)大的特征提取網(wǎng)絡(luò)，且利用殘差模塊構(gòu)建更優(yōu)的網(wǎng)絡(luò)．

參考文獻(xiàn)

References

［1］ Melgani F，Bruzzone L.Classification of hyperspectral remote sensing images with support vector machines［J］.IEEE Transactions on Geoscience and Remote Sensing，2004，42（8）：1778-1790

［2] Su H J，Cai Y，Du Q.Firefly-algorithm-inspired framework with band selection and extreme learning machine for hyperspectral image classification［J］.IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2017，10（1）：309-320

［3] Chen Y，Nasrabadi N M，Tran T D.Hyperspectral image classification using dictionary-based sparse representation［J］.IEEE Transactions on Geoscience and Remote Sensing，2011，49（10）：3973-3985

［4] Tu B，Wang J P，Kang X D，et al.KNN-based representation of superpixels for hyperspectral image classification［J］.IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2018，11（11）：4032-4047

［5] 郭文慧，曹飛龍.基于3D多尺度特征融合殘差網(wǎng)絡(luò)的高光譜圖像分類［J］.模式識別與人工智能，2019，32（10）：882-891

GUO Wenhui，CAO Feilong.Hyperspectral image classification based on 3D multi-scale feature fusion residual network［J］.Pattern Recognition and Artificial Intelligence，2019，32（10）：882-891

［6] 譚潞聃.面向自然語言處理的深度學(xué)習(xí)模型優(yōu)化研究［D］.長沙：國防科技大學(xué)，2017

TAN Ludan.Research on optimization of deep learning model for natural language processing［D］.Changsha：National University of Defense Technology，2017

［7] 王慧玲，綦小龍，武港山.基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測技術(shù)的研究進(jìn)展［J］.計算機(jī)科學(xué)，2018，45（9）：11-19

WANG Huiling，QI Xiaolong，WU Gangshan.Research progress of object detection technology based on convolutional neural network in deep learning［J］.Computer Science，2018，45（9）：11-19

［8] Pan B，Shi Z W，Zhang N，et al.Hyperspectral image classification based on nonlinear spectral-spatial network［J］.IEEE Geoscience and Remote Sensing Letters，2016，13（12）：1782-1786

［9] Chen Y S，Lin Z H，Zhao X，et al.Deep learning-based classification of hyperspectral data［J］.IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2014，7（6）：2094-2107

［10] Yu S Q，Jia S，Xu C Y.Convolutional neural networks for hyperspectral image classification［J］.Neurocomputing，2017，219：88-98

［11] Chen Y S，Jiang H L，Li C Y，et al.Deep feature extraction and classification of hyperspectral images based on convolutional neural networks［J］.IEEE Transactions on Geoscience and Remote Sensing，2016，54（10）：6232-6251

［12] Li Y，Zhang H K，Shen Q.Spectral-spatial classification of hyperspectral imagery with 3D convolutional neural network［J］.Remote Sensing，2017，9（1）：67

［13] 張建偉，陳允杰.高光譜圖像分類方法綜述［J］.南京信息工程大學(xué)學(xué)報（自然科學(xué)版），2020，12（1）：89-100

ZHANG Jianwei，CHEN Yunjie.Overview of hyperspectral image classification methods［J］.Journal of Nanjing University of Information Science ＆ Technology（Natural Science Edition），2020，12（1）：89-100

［14] Abend K，Harley T，Chandrasekaran B，et al.Comments on ‘On the mean accuracy of statistical pattern recognizers’ by Hughes，G.F.［J］.IEEE Transactions on Information Theory，1969，15（3）：420-423

［15] He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition［C］／／2016 IEEE Conference on Computer Vision and Pattern Recognition.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：770-778

［16] Zhong Z L，Li J，Luo Z M，et al.Spectral：spatial residual network for hyperspectral image classification：a 3-D deep learning framework［J］.IEEE Transactions on Geoscience and Remote Sensing，2018，56（2）：847-858

［17] Huang G，Liu Z，van der Maaten L，et al.Densely connected convolutional networks［C］／／2017 IEEE Conference on Computer Vision and Pattern Recognition.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：2261-2269

［18] Roy S K，Krishna G，Dubey S R，et al.HybridSN：exploring 3-D-2-D CNN feature hierarchy for hyperspectral image classification［J］.IEEE Geoscience and Remote Sensing Letters，2020，17（2）：277-281

［19] Huang Z L，Wang X G，Huang L C，et al.CCNet：criss-cross attention for semantic segmentation［C］／／2019 IEEE／CVF International Conference on Computer Vision （ICCV）.October 27-November 2，2019，Seoul，Korea （South）.IEEE，2019：603-612

［20] Fu J，Liu J，Tian H J，et al.Dual attention network for scene segmentation［C］／／2019 IEEE／CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 15-20，2019，Long Beach，CA，USA.IEEE，2019：3141-3149

［21] Song W W，Li S T，F(xiàn)ang L Y，et al.Hyperspectral image classification with deep feature fusion network［J］.IEEE Transactions on Geoscience and Remote Sensing，2018，56（6）：3173-3184

［22] Alipour-Fard T，Paoletti M E，Haut J M，et al.Multibranch selective kernel networks for hyperspectral image classification［J］.IEEE Geoscience and Remote Sensing Letters，2021，18（6）：1089-1093

［23] Hu J，Shen L，Sun G.Squeeze-and-excitation networks［C］／／2018 IEEE／CVF Conference on Computer Vision and Pattern Recognition.June 18-23，2018，Salt Lake City，UT，USA.IEEE，2018：7132-7141

［24] Ma W P，Yang Q F，Wu Y，et al.Double-branch multi-attention mechanism network for hyperspectral image classification［J］.Remote Sensing，2019，11（11）：1307

［25] Li R，Zheng S Y，Duan C X，et al.Classification of hyperspectral image based on double-branch dual-attention mechanism network［J］.Remote Sensing，2020，12（3）：582

Hyperspectral image classification based on double pool attention mechanism

CHEN Dong1 LI Ming1 LI Li2 CHEN Shuwen3

1College of Computer and Information Science，Chongqing Normal University，Chongqing 401331

2College of Computer and Information Science，Southwest University，Chongqing 400715

3School of Mathematical Sciences，Chongqing Normal University，Chongqing 401331

Abstract In order to improve the classification performance of hyperspectral images with limited training samples，a hyperspectral image classification Network based on Double Pooling Attention Mechanism （DPAMN） is proposed in this paper.First，the DPAMN uses three-dimensional convolution to extract the spatial and spectral shallow information of hyperspectral images.Second，the double pooling attention mechanism is introduced into DPAMN to enhance the feature extraction ability of the network.Finally，the three-dimensional convolution dense connection module is introduced into the deep layer of the network，which can not only fully extract the spatial and spectral features of hyperspectral images，but also improve the ability of feature discrimination.Experiments show that the overall average accuracy of 95.45％，97.11％，95.30％ and 93.71％ can be achieved on datasets of Indian Pines，University of Pavia，Salinas and Houston 2013，respectively.Compared with the current mainstream advanced methods，the proposed method greatly improves classification performance on four datasets，indicating its strong generalization capacity.

Key words convolutional neural network （CNN）;hyperspectral images;classification;attention mechanism;spatial-spectral feature extraction

收稿日期2022-05-05

資助項目國家自然科學(xué)基金（61877051，61170192）;重慶市科委重點(diǎn)項目（cstc2017zdcy-zdyf0366）;重慶市教委項目（113143）;重慶市研究生教改重點(diǎn)項目（yjg182022）

作者簡介陳棟，男，碩士生，研究方向?yàn)樯疃葘W(xué)習(xí)、計算機(jī)視覺.1593056183@qq.com

李明（通信作者），男，博士，教授，研究方向?yàn)闄C(jī)器學(xué)習(xí)、計算機(jī)視覺.20131052@cqnu.edu.cn