基于CBAM-Res-HybridSN的高光譜圖像分類研究

楊志文 張合兵 都偉冰 潘怡莎

基于CBAM-Res-HybridSN的高光譜圖像分類研究

楊志文 張合兵*都偉冰 潘怡莎

（河南理工大學(xué)測繪與國土信息工程學(xué)院，焦作 454003）

為了充分利用高光譜圖像的“空間-光譜”信息，提高小樣本訓(xùn)練數(shù)據(jù)下的分類精度，文章提出了一種新型卷積注意力（Convolutional Block Attention Module，CBAM）殘差單元的混合卷積神經(jīng)網(wǎng)絡(luò)（CBAM-Res-HybridSN），以解決高光譜圖像小樣本分類問題。該模型通過深度可分離卷積層和殘差結(jié)構(gòu)來構(gòu)建深層混合卷積神經(jīng)網(wǎng)絡(luò)，在不增加計(jì)算機(jī)開銷的同時(shí)，增強(qiáng)對“空間-光譜”鑒別性特征的提取能力；模型還引入了卷積注意力模塊，既實(shí)現(xiàn)了突出重要特征，同時(shí)對冗余和噪聲信息也進(jìn)行了抑制，在小樣本數(shù)據(jù)下提高了分類精度。為了驗(yàn)證方法的有效性，選擇雄安新區(qū)（馬蹄灣村）和DFC2018 Houston兩組公開高光譜數(shù)據(jù)集進(jìn)行了對比試驗(yàn)，當(dāng)選擇標(biāo)記樣本的5%作為訓(xùn)練樣本時(shí)，分類總體精度分別為99.34%和96.14%。結(jié)果表明，所提方法在小樣本數(shù)據(jù)下保證了更高的分類精度。

高光譜圖像 注意力機(jī)制 卷積神經(jīng)網(wǎng)絡(luò) 殘差結(jié)構(gòu) 小樣本學(xué)習(xí) 遙感應(yīng)用

0 引言

高光譜圖像（即同時(shí)承載光譜特征和空間特征的連續(xù)遙感影像）蘊(yùn)藏著地物大量的空間和光譜信息，被廣泛的應(yīng)用于農(nóng)業(yè)遙感、環(huán)境監(jiān)測、城市規(guī)劃和軍事探測等領(lǐng)域[1]。因高光譜圖像擁有大量的光譜波段，可以利用其圖像特點(diǎn)對空-譜特征[2]進(jìn)行聯(lián)合提取，實(shí)現(xiàn)此類圖像的高精度分類。但是，高光譜圖像具有豐富信息量的同時(shí)，也伴隨著數(shù)據(jù)冗余和噪聲干擾等問題[3]，甚至在訓(xùn)練樣本數(shù)不足的情況下容易出現(xiàn)休斯（Hughes）現(xiàn)象[4]，導(dǎo)致分類精度降低。因此，減少光譜數(shù)據(jù)間的冗余特征[5]和噪聲干擾[6-7]，增強(qiáng)小樣本情況下的特征提取能力，成為利用高光譜圖像進(jìn)行高精度遙感分類的首要任務(wù)。

目前，基于機(jī)器學(xué)習(xí)的傳統(tǒng)分類算法，如支持向量機(jī)（Support Vector Machine，SVM）[8]、隨機(jī)森林(Random Forest，RF)[9]、K最鄰近算法(K-Nearest Neighbor，KNN)[10]等，在缺少深層特征信息提取的情況下，分類效果往往難以滿足實(shí)際需求。近年來，以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)算法的提出，為高光譜圖像的分類工作提供了新的思路[11-13]，并取得了顯著的研究成果，例如：文獻(xiàn)[14]在深度神經(jīng)網(wǎng)絡(luò)（DNN）基礎(chǔ)上，利用不同尺寸的卷積核構(gòu)成多尺度三維深度卷積神經(jīng)網(wǎng)絡(luò)（M3D-DCNN），通過端對端的方式聯(lián)合學(xué)習(xí)空-譜特征，在大規(guī)模數(shù)據(jù)集上取得了較好的結(jié)果；文獻(xiàn)[15]提出一種深度金字塔殘差網(wǎng)絡(luò)（pRes-Net），通過逐漸增加特征圖維度的方式不斷提取特征信息，驗(yàn)證了深層殘差網(wǎng)絡(luò)能夠有效提升模型的泛化能力，但其大大的增加了計(jì)算機(jī)的開銷；文獻(xiàn)[16]提出端到端的光譜-空間殘差網(wǎng)絡(luò)（SSRN），從光譜和空間特征兩種角度出發(fā)，設(shè)計(jì)了一種光譜和空間殘差塊對網(wǎng)絡(luò)上下文學(xué)習(xí)區(qū)別特征，驗(yàn)證了從空間和光譜兩個(gè)維度分別進(jìn)行特征學(xué)習(xí)能夠有效提高分類精度；文獻(xiàn)[17]提出2D-3D混合卷積網(wǎng)絡(luò)（HybridSN），首先通過三維卷積層融合特征信息，之后再使用多層二維卷積層對獲取的空-譜特征進(jìn)行處理，驗(yàn)證了混合卷積網(wǎng)絡(luò)在遙感影像上特征信息提取的潛力；文獻(xiàn)[18]通過構(gòu)建一種卷積注意力模塊（CBAM），使網(wǎng)絡(luò)可在兩個(gè)獨(dú)立維度上對有效特征信息進(jìn)行處理，實(shí)現(xiàn)特征信息的自適應(yīng)優(yōu)化，同時(shí)驗(yàn)證了CBAM結(jié)構(gòu)對神經(jīng)網(wǎng)絡(luò)分類精度提高的普適性；文獻(xiàn)[19]通過構(gòu)建3D卷積神經(jīng)網(wǎng)絡(luò)來提取高光譜圖像特征信息，并在微調(diào)策略支持下融合特征信息完成分類任務(wù)。上述研究中的傳統(tǒng)機(jī)器學(xué)習(xí)分類方法往往無法深度提取特征信息，導(dǎo)致分類精度不足，難以滿足遙感分類任務(wù)的實(shí)際需求。同時(shí)卷積神經(jīng)網(wǎng)絡(luò)雖可以提高分類精度，但為了保證其高精度，需要大量的訓(xùn)練樣本，忽略了小樣本學(xué)習(xí)分類問題的實(shí)際需求。因此，增強(qiáng)特征信息提取能力，提高小樣本數(shù)據(jù)分類精度，成為深度學(xué)習(xí)網(wǎng)絡(luò)亟待解決的問題[20]。

針對小樣本數(shù)據(jù)分類精度不高的問題，本文在混合卷積網(wǎng)絡(luò)（HybridSN）模型啟發(fā)下，提出了一種引入新型卷積注意力殘差單元的混合卷積神經(jīng)網(wǎng)絡(luò)（CBAM-Res-HybridSN），在殘差結(jié)構(gòu)的思想上引入CBAM注意力模塊，可增強(qiáng)地物鑒別性特征的提取能力；并使用深度可分離卷積層代替2D卷積層，減少網(wǎng)絡(luò)參數(shù)量和計(jì)算量。該新型網(wǎng)絡(luò)模型能夠在小樣本訓(xùn)練數(shù)據(jù)下，不增加計(jì)算機(jī)運(yùn)算開銷的同時(shí)，對上下文特征進(jìn)行自適應(yīng)連續(xù)學(xué)習(xí)，提高了對地物的區(qū)別能力，達(dá)到了更佳的分類效果。

1 研究方法與原理

1.1 深度可分離卷積

傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)由輸入層、卷積層、池化層、激活函數(shù)和全連接層構(gòu)成[21]，其卷積核尺寸過大和卷積層數(shù)加深都會導(dǎo)致模型參數(shù)量增多，增加計(jì)算量。Howard等[22]在移動端設(shè)備上驗(yàn)證了深度可分離卷積神經(jīng)網(wǎng)絡(luò)的輕量化，深度可分離卷積[23]由深度卷積（Depthwise convolution）和1×1的逐點(diǎn)卷積（Pointwise convolution）兩部分的組成（見圖1）。

圖1 深度可分離卷積網(wǎng)絡(luò)結(jié)構(gòu)

由圖1所示，當(dāng)處理維度為f×f的特征圖（其中f為輸入特征圖的高度和寬度，為數(shù)據(jù)輸入通道數(shù)），數(shù)據(jù)的輸出通道數(shù)為時(shí)，設(shè)定卷積核尺寸為k×k（k為卷積核的寬度和高度），得到一個(gè)維度為f×f的特征圖，若按照普通卷積模式進(jìn)行運(yùn)算，卷積網(wǎng)絡(luò)的參數(shù)量1為

圖1中，深度可分離卷積將普通卷積操作分解為個(gè)卷積核尺寸為k×k的深度卷積和個(gè)1×1的逐點(diǎn)卷積。假設(shè)輸入特征圖的維度為f×f經(jīng)過深度卷積操作后得到k×k的特征圖，再經(jīng)過逐點(diǎn)卷積操作得到f×f的特征圖，深度卷積的參數(shù)量3和逐點(diǎn)卷積參數(shù)量4之和為深度可分離卷積的參數(shù)量2，計(jì)算公式為

由式（1）～（2），可以推出普通卷積操作和深度可分離卷積之間的參數(shù)量比值為

1.2 CBAM殘差單元的混合卷積神經(jīng)網(wǎng)絡(luò)模型

本文提出的模型主要用于小樣本數(shù)據(jù)下的高光譜圖像分類，克服機(jī)器學(xué)習(xí)分類方法對特征信息挖掘深度不夠和深層卷積神經(jīng)網(wǎng)絡(luò)在小樣本數(shù)據(jù)下網(wǎng)絡(luò)退化與過擬合等問題。

該模型首先通過三層不同尺寸卷積核的3D卷積層對影像特征信息進(jìn)行多尺度融合提取，以不同尺寸感受野角度深層篩選特征信息，將獲得的特征圖進(jìn)行尺寸變化，輸入至CBAM注意力殘差單元。殘差結(jié)構(gòu)以跳躍鏈接的形式將單元輸入端與輸出端進(jìn)行疊加，然后進(jìn)行激活，通過構(gòu)造出特征信息之間恒等映射的方式來降低信息損失，解決網(wǎng)絡(luò)退化問題，提高模型分類精度；CBAM注意力殘差單元作用于每個(gè)卷積層上，在卷積層進(jìn)行特征提取時(shí)，注意力殘差單元通過明確特征信息在通道和空間上的權(quán)重關(guān)系來自適應(yīng)地校準(zhǔn)各特征信息的重要性；最后，將得到的特征圖輸入至由深度可分離和平均池化層構(gòu)建的殘差結(jié)構(gòu)中進(jìn)一步處理特征信息，再通過全連接層和激活函數(shù)處理，實(shí)現(xiàn)對高光譜圖像的分類。其構(gòu)成及工作流程如圖2所示。

圖2 本文卷積神經(jīng)網(wǎng)絡(luò)模型

1.2.1 CBAM注意力機(jī)制的殘差單元

本文將CBAM注意力模塊與深度可分離卷積在殘差結(jié)構(gòu)的思想上進(jìn)行組合，構(gòu)成基于CBAM注意力的新型殘差單元，其主卷積網(wǎng)絡(luò)由兩層深度可分離卷積層和兩個(gè)CBAM注意力模塊構(gòu)成，由一層深度可分離卷積和一個(gè)CBAM注意力模塊構(gòu)成支網(wǎng)絡(luò)，通過一條殘差鏈接與主網(wǎng)絡(luò)首尾相連對特征進(jìn)一步提取。具體結(jié)構(gòu)如圖3所示。

圖3 CBAM注意力殘差單元結(jié)構(gòu)

1.2.2 殘差結(jié)構(gòu)

為解決深層網(wǎng)絡(luò)中梯度消失、網(wǎng)絡(luò)退化等問題，加入殘差結(jié)構(gòu)，實(shí)現(xiàn)跳躍連接，完成對特征信息的合并再處理，緩解網(wǎng)絡(luò)的退化現(xiàn)象并加速網(wǎng)絡(luò)收斂[24]。

（a）普通卷積網(wǎng)絡(luò)結(jié)構(gòu) （b）殘差網(wǎng)絡(luò)結(jié)構(gòu)

圖4為普通卷積網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)的結(jié)構(gòu)示意圖，相較于普通卷積結(jié)構(gòu)，殘差結(jié)構(gòu)加入殘差函數(shù)構(gòu)成擬合函數(shù)，即

1.2.3 CBAM注意力機(jī)制

注意力機(jī)制被廣泛應(yīng)用于圖像分類，以增強(qiáng)神經(jīng)網(wǎng)絡(luò)對輸入特征某些局部信息的專注程度，運(yùn)用機(jī)器學(xué)習(xí)的方式實(shí)現(xiàn)自適應(yīng)校正特征信息權(quán)重值，以提取重要特征并抑制次要特征。為了充分利用空-譜特征，將空間和通道注意力相結(jié)合構(gòu)成混合域注意力，其模塊劃分如圖5所示。

圖5 CBAM注意力模塊

首先將特征圖輸入通道注意力模塊，分別進(jìn)入極大池化層和平均池化層得到每個(gè)通道的信息，將特征信息疊加處理得到通道注意力特征圖c，計(jì)算公式為

將通道注意力模塊輸出的特征圖c與最初特征圖拼接得到特定特征圖X，并輸入到空間注意力模塊，依次通過平均池化層和極大池化層，生成空間特征圖avg和max，再通過1×1卷積層和激活函數(shù)，得到空間注意力特征s；接著與特定特征圖X逐元素相乘，得到最終的特征圖s，計(jì)算公式為

2 試驗(yàn)結(jié)果與分析

2.1 試驗(yàn)數(shù)據(jù)

為了評估所提方法的有效性，截取雄安新區(qū)（馬蹄灣村）航空高光譜遙感影像和DFC2018 Houston高光譜影像的部分區(qū)域進(jìn)行試驗(yàn)。馬蹄灣村數(shù)據(jù)集于2017年由張立福團(tuán)隊(duì)制作，使用高分專項(xiàng)航空系統(tǒng)全譜段多模態(tài)成像光譜儀對雄安新區(qū)（馬蹄灣村）進(jìn)行拍攝成像；DFC2018 Houston數(shù)據(jù)集2018年由華盛頓Dr. Saurabh Prasad實(shí)驗(yàn)室制作公開，被用于IEEE GRSS數(shù)據(jù)融合競賽。本文截取的數(shù)據(jù)集信息如表1所示，試驗(yàn)區(qū)位置如圖6所示。

表1 截取數(shù)據(jù)集信息

Tab.1 Information table of intercepted dataset

圖6 試驗(yàn)區(qū)位置示意

2.2 試驗(yàn)設(shè)計(jì)與評價(jià)指標(biāo)

2.3 試驗(yàn)參數(shù)設(shè)置

2.3.1 空間鄰域大小

對于高光譜圖像，鄰域像素之間往往具有相似的特征，它們屬于同一物體的概率非常高。圖像空間鄰域大小即高光譜圖像每次輸送至卷積神經(jīng)網(wǎng)絡(luò)的圖像尺寸。選擇一個(gè)合適的空間鄰域大小能夠使模型充分學(xué)習(xí)圖像的空間特征，同時(shí)避免地物目標(biāo)識別錯(cuò)誤，從而提高分類精度。

為探究空間鄰域大小對分類結(jié)果的影響，將空間鄰域大小分別設(shè)置為9×9、11×11、13×13、15×15和17×17，根據(jù)各自的分類結(jié)果（見表2和圖7）來選取最優(yōu)空間鄰域大小。如圖7所示，對于馬蹄灣村和DFC2018 Houston數(shù)據(jù)集，當(dāng)空間鄰域大小為13×13時(shí)，精度達(dá)到最高，隨后，精度開始下降。由表2可知，隨著空間鄰域大小的增加，訓(xùn)練時(shí)間和測試時(shí)間增加的幅度并不大，這得益于深度可分離卷積的參與，降低了模型的復(fù)雜度，所以在兩組數(shù)據(jù)集上，將空間鄰域大小13×13作為最優(yōu)參數(shù)。

表2 不同空間鄰域大小對分類結(jié)果的影響

Tab.2 Effect of different spatial sizes on classification results

圖7 不同空間鄰域大小對分類精度的影響

2.3.2 殘差單元數(shù)量

殘差單元的數(shù)量直接影響整個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型的特征信息提取能力。若網(wǎng)絡(luò)深度是淺層的，將不能有效地提取特征信息，而過于深層的網(wǎng)絡(luò)則易出現(xiàn)梯度消失和過擬合現(xiàn)象，都將影響分類精度。

為探究殘差單元數(shù)量對分類結(jié)果的影響，在空間鄰域大小試驗(yàn)的基礎(chǔ)上，將殘差單元數(shù)量分別設(shè)置為1、2、3、4、5進(jìn)行試驗(yàn)，根據(jù)分類結(jié)果來選取最佳殘差單元數(shù)量。殘差單元數(shù)量對于數(shù)據(jù)集分類的影響如表3所示，在兩組數(shù)據(jù)集上，訓(xùn)練和測試時(shí)間并沒有隨著殘差單元數(shù)量的增加而發(fā)生顯著變化，這得益于殘差結(jié)構(gòu)端對端連接形成的恒等映射關(guān)系，因未引入冗余參數(shù)，節(jié)省了計(jì)算機(jī)訓(xùn)練開銷。注意力殘差單元的引入對于分類精度的提高是顯著的。如圖8所示，在馬蹄灣村數(shù)據(jù)集上，當(dāng)殘差單元數(shù)為2時(shí)，獲得了最佳精度；對于DFC2018 Houston數(shù)據(jù)集，當(dāng)殘差單元數(shù)為3時(shí)，獲得了最佳的分類精度。但是，分類精度并不會隨著殘差單元數(shù)量的增加而一直升高，當(dāng)參殘單元數(shù)量超過最佳個(gè)數(shù)時(shí)，分類精度開始下降，表明設(shè)置合適的殘差單元數(shù)量，是實(shí)現(xiàn)高精度分類的重要前提。

表3 殘差單元數(shù)量對分類結(jié)果的影響

Tab.3 Effect of the number of residual units on the classification results

圖8 殘差單元數(shù)量對分類精度的影響

2.4 試驗(yàn)結(jié)果對比與分析

為了測試本文提出的CBAM-Res-HybridSN方法與其他幾種卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)算法對不同數(shù)量訓(xùn)練樣本的分類效果，選擇標(biāo)記樣本的5%、10%、15%和20%作為馬蹄灣村和DFC2018 Houston數(shù)據(jù)集的訓(xùn)練樣本進(jìn)行試驗(yàn)，總體分類精度結(jié)果如表4所示。對于少量的訓(xùn)練樣本，SVM方法相較于深度學(xué)習(xí)方法表現(xiàn)最差；M3D-DCNN方法并沒有出現(xiàn)因網(wǎng)絡(luò)深度高于HybridSN法而分類結(jié)果更優(yōu)的情況，說明多尺度的三維卷積深層網(wǎng)絡(luò)在小樣本訓(xùn)練數(shù)據(jù)中，易發(fā)生特征信息丟失；與pResNet和SSRN網(wǎng)絡(luò)相比，CBAM-Res-HybridSN網(wǎng)絡(luò)將注意力機(jī)制引入殘差單元中，使模型能夠提取更多的鑒別性特征，產(chǎn)生較高的分類精度。當(dāng)訓(xùn)練樣本量增加時(shí)，CBAM-Res-HybridSN方法在兩組數(shù)據(jù)集中的分類效果仍為最好，分類效果較pResNet和SSRN方法略微提升。

表4 兩個(gè)數(shù)據(jù)集不同樣本量對各分類模型總體分類精度的影響

Tab.4 Effect of different sample sizes on two datas on the results of each classification model 單位：%

圖9～10顯示了訓(xùn)練樣本量為標(biāo)記樣本的5%時(shí)，不同網(wǎng)絡(luò)模型在馬蹄灣村和DFC2018 Houston數(shù)據(jù)集上的分類結(jié)果，以及原始高光譜圖像的真彩色圖像及其相應(yīng)的地面真實(shí)樣本分布圖。從分類圖中可以清楚地看到，采用小樣本訓(xùn)練數(shù)據(jù)時(shí)，SVM分類結(jié)果中會產(chǎn)生許多噪聲點(diǎn)，導(dǎo)致錯(cuò)分，這是由于SVM法僅使用光譜特征進(jìn)行分類，對空-譜特征的利用不足；M3D-DCNN結(jié)構(gòu)在深層三維卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上改變了卷積核的尺寸和網(wǎng)絡(luò)深度，從多尺度上提取特征信息，其噪聲點(diǎn)相對SVM方法明顯減少，分類精度顯著提升；HybridSN結(jié)構(gòu)相較于M3D-DCNN引入了2D-CNN網(wǎng)絡(luò)，能夠?qū)μ卣餍畔⑦M(jìn)行尺寸變換，增加了從不同維度提取特征信息的能力，因此分類結(jié)果略微優(yōu)于M3D-DCNN；增加殘差結(jié)構(gòu)的pResNet、SSRN和本文的CBAM-Res-HybridSN模型更好的克服了特征信息損失的缺點(diǎn)，尤其是本研究提出的網(wǎng)絡(luò)模型，其在增加注意力機(jī)制后顯示出了更好的分類結(jié)果。

圖9 不同網(wǎng)絡(luò)模型在馬蹄灣村數(shù)據(jù)集上的分類結(jié)果

表5～6顯示了訓(xùn)練樣本量為標(biāo)記樣本的5%時(shí)，兩組數(shù)據(jù)集在不同網(wǎng)絡(luò)模型上各種地物類型的分類精度。從結(jié)果可以觀察到，本文模型相較于傳統(tǒng)機(jī)器學(xué)習(xí)分類算法支持向量機(jī)（SVM）和深層多尺度網(wǎng)絡(luò)模型M3D-DCNN和HybridSN，分類精度大幅提升，相較于殘差結(jié)構(gòu)下的深層網(wǎng)絡(luò)模型pResNet和SSRN，分類精度也有小幅度提升。其中在馬蹄灣村和DFC2018 Houston數(shù)據(jù)集上相較于其他模型在Kappa系數(shù)、總體精度和平均精度上都有一定程度的提高。同時(shí)，深度學(xué)習(xí)分類模型的分類精度往往在95%以上，都高于機(jī)器學(xué)習(xí)分類算法的分類精度，且深度學(xué)習(xí)分類模型的分類精度并不會隨著網(wǎng)絡(luò)深度的增加而一直增加。在本研究所提殘差結(jié)構(gòu)中，引入注意力機(jī)制后，對于兩組數(shù)據(jù)集，增加了對其特征信息的自適應(yīng)優(yōu)化，其分類結(jié)果的Kappa系數(shù)、平均分類精度和總體分類精度都較其他網(wǎng)絡(luò)模型有所提高。說明CBAM注意力殘差單元的加入能夠在小樣本訓(xùn)練數(shù)據(jù)下有效提高高光譜圖像分類精度。

表5 馬蹄灣村數(shù)據(jù)集在6種模型上的分類精度

Tab.5 Classification accuracy for the Matiwan Village dataset on the six models 單位：%

表6 DFC2018 Houston數(shù)據(jù)集在6種模型上的分類結(jié)果

Tab.6 Classification results for the DFC2018 Houston dataset on the six models 單位：%

3 結(jié)束語

與其他分類方法相比，本文提出的CBAM-Res-HybridSN網(wǎng)絡(luò)模型在小樣本學(xué)習(xí)上更有優(yōu)勢，顯著提高了分類器性能和分類精度，但也有不足，后續(xù)的研究中將繼續(xù)改進(jìn)網(wǎng)絡(luò)的結(jié)構(gòu)，使模型具有更加強(qiáng)大的特征提取能力，能夠在小樣本數(shù)據(jù)上表現(xiàn)出更高的分類精度。

[1] 張淳民, 穆廷魁, 顏廷昱, 等. 高光譜遙感技術(shù)發(fā)展與展望[J]. 航天返回與遙感, 2018, 39(3): 104-114. ZHANG Chunmin, MU Tingkui, YAN Tingyu, et al. Overview of Hyperspectral Remote Sensing Technology[J]. Spacecraft Recovery & Remote Sensing, 2018, 39(3): 104-114. (in Chinese)

[2] 任智偉, 吳玲達(dá). 基于本征圖像分解的高光譜圖像空譜聯(lián)合分類[J]. 航天返回與遙感, 2019, 40(3): 111-120. REN Zhiwei, WU Lingda. Spectral-spatial Classification for Hyperspectral Imagery Based on Intrinsic Image Decomposition[J]. Spacecraft Recovery & Remote Sensing, 2019, 40(3): 111-120. (in Chinese)

[3] PEYGHAMBARI S, ZHANG Y. Hyperspectral Remote Sensing in Lithological Mapping, Mineral Exploration, and Environmental Geology: An Updated Review[J]. Journal of Applied Remote Sensing, 2021, 15(3): 31501.

[4] FRAT H, ASKER M E, BAYNDR M L, et al. Hybrid 3D/2D Complete Inception Module and Convolutional Neural Network for Hyperspectral Remote Sensing Image Classification[J/OL]. Neural Processing Letters (2022-07-02) [2022-08-09]. https:doi.org/10.1007/S11063-002-10929-2.

[5] LIU R, CAI W W, LI G J, et al. Hybrid Dilated Convolution Guided Feature Filtering and Enhancement Strategy for Hyperspectral Image Classification[J]. IEEE Geoscience and Remote Sensing Letters, 2022, 19: 1-5.

[6] CHANG CI. Hyperspectral Target Detection: Hypothesis Testing, Signal-to-Noise Ratio, and Spectral Angle Theories[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-23.

[7] WANG L, PENG J T, SUN W W. Spatial-Spectral Squeeze-and-Excitation Residual Network for Hyperspectral Image Classification[J]. Remote Sensing, 2019, 11(7): 884.

[8] CHEN G Y. Multiscale Filter-Based Hyperspectral Image Classification with PCA and SVM[J]. Journal of Electrical Engineering, 2021, 72(1): 40-45.

[9] 于新洋, 趙庚星, 常春艷, 等. 隨機(jī)森林遙感信息提取研究進(jìn)展及應(yīng)用展望[J]. 遙感信息, 2019, 34(2): 8-14. YU Xinyang, ZHAO Gengxing, CHANG Chunyan, et al. Random Forest Classifier in Remote Sensing Information Extraction: A Review of Applications and Future Development[J]. Remote Sensing Information, 2019, 34(2): 8-14. (in Chinese)

[10] GE Haimiao, PAN Haizhu, WANG Liguo, et al. Self-Training Algorithm for Hyperspectral Imagery Classification Based on Mixed Measurement k-Nearest Neighbor and Support Vector Machine[J]. Journal of Applied Remote Sensing, 2021, 15(4): 42604.

[11] 陳玲玲, 施政, 廖凱濤, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的高分遙感影像耕地提取研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2022, 53(9): 1-12. CHEN Lingling, SHI Zheng, LIAO Kaitao, et al. Cultivated Land Extraction from High Resolution Remote Sensing Image Based on Convolutional Neural Network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(9): 1-12. (in Chinese)

[12] 國強(qiáng), 彭龍. 基于三維卷積神經(jīng)網(wǎng)絡(luò)與超像素分割的高光譜分類[J]. 光學(xué)學(xué)報(bào), 2021, 41(22): 64-71. GUO Qiang, PENG Long. Hyperspectral Classification Based on 3D Convolutional Neural Network and Super Pixel Segmentation[J]. Acta Optica Sinica, 2021, 41(22): 64-71. (in Chinese)

[13] 劉冰, 余旭初, 張鵬強(qiáng), 等. 聯(lián)合空-譜信息的高光譜影像深度三維卷積網(wǎng)絡(luò)分類[J]. 測繪學(xué)報(bào), 2019, 48(1): 53-63. LIU Bing, YU Xuchu, ZHANG Pengqiang, et al. Deep 3D Convolutional Network Combined withs Patial-Spectral Features for Hyperspectral Image Classification[J]. Acta Geodaetica et Cartographica Sinic, 2019, 48(1): 53-63. (in Chinese)

[14] YE Bei, TIAN Shufang, CHENG Qiuming, et al. Application of Lithological Mapping Based on Advanced Hyperspectral Imager (AHSI) Imagery Onboard Gaofen-5 (GF-5) Satellite[J]. Remote Sensing, 2020, 12(23): 3990.

[15] PAOLETTI M E, HAUT J M, FERNANDEZ-BELTRAN R, et al. Deep Pyramidal Residual Networks for Spectral-Spatial Hyperspectral Image Classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 57(2): 740-754.

[16] ZHONG Zilong, LI Jonathan, LUO Zhiming, et al. Spectral-Spatial Residual Network for Hyperspectral Image Classification: A 3-D Deep Learning Framework[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 56(2): 847-858.

[17] ROY S K, KRISHNA G, DUBEY S R, et al. HybridSN: Exploring 3D-2D CNN Feature Hierarchy for Hyperspectral Image Classification[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 17(2): 277-281.

[18] WOO S, PARK J, LEE J Y, et al. Cbam: Convolutional Block Attention Module[C]//Proceedings of the 15th European Conference on Computer Vision (ECCV). [S.l.:s.n.], 2018: 3-19.

[19] 劉帥, 張旭含, 李笑迎, 等. 基于雙分支卷積網(wǎng)絡(luò)的高光譜與多光譜圖像協(xié)同土地利用分類[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2020, 36(14): 252-262. LIU Shuai, ZHANG Xuhan, LI Xiaoying, et al. Cooperative Land Use Classification of Hyperspectral and Multispectral Imagery Based on Dual Branch Convolutional Neural Network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(14): 252-262. (in Chinese)

[20] DANG Lanxue, PANG Peidong, LEE J. Depth-Wise Separable Convolution Neural Network with Residual Connection for Hyperspectral Image Classification[J]. Remote Sensing, 2020, 12(20): 3408.

[21] 郭正勝, 李參海, 王智敏. U型卷積神經(jīng)網(wǎng)絡(luò)的ZY-3影像道路提取方法[J]. 測繪科學(xué), 2020, 45(4): 51-57. GUO Zhengsheng, LI Canhai, WANG Zhimin. Road Extraction from ZY-3 Remote Sensing Image Based on U-Net Like Convolution Architecture[J]. Science of Surveying and Mapping, 2020, 45(4): 51-57. (in Chinese)

[22] HOWARD A G, ZHU M, CHEN B, et al. Mobilenets: Efficient Convolutional Neural Networks for Mobile Vision Applications[EB/OL]. (2017-04-17) [2022-08-09]. https:doi.org/10.48550/arxiv.1704.04861.

[23] 孫俊, 譚文軍, 武小紅, 等. 多通道深度可分離卷積模型實(shí)時(shí)識別復(fù)雜背景下甜菜與雜草[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2019, 35(12): 184-190. SUN Jun, TAN Wenjun, WU Xiaohong, et al. Real-Time Recognition of Sugar Beet and Weeds in Complex Backgrounds Using Multi-Channel Depth-Wise Separable Convolution Model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(12): 184-190. (in Chinese)

[24] 陳明, 席祥雲(yún), 王洋. 利用殘差生成對抗網(wǎng)絡(luò)的高光譜圖像分類[J]. 激光與光電子學(xué)進(jìn)展, 2022, 59(22): 2210008. CHEN Ming, XI Xiangyun, WANG Yang. Hyperspectral Image Classification Based on Residual Ggenerative Adversarial Network[J]. Laser & Optoelectronics Progress, 2022, 59(22): 2210008. (in Chinese)

A Study of Small Sample Hyperspectral Image Classification Based on CBAM-Res-HybridSN

YANG Zhiwen ZHANG Hebing DU Weibing PAN Yisha

(School of Survey and Mapping Land Information Engineering, Henan Polytechnic University, Jiaozuo 454003, China)

In order to make full use of the "spatial-spectral" information of hyperspectral images and improve the classification accuracy under small-sample training data. In this paper, a new hybrid convolutional neural network (CBAM-Res-HybridSN) with residual units of Convolutional Block Attention Module (CBAM) is proposed to solve the problem of classifying small samples of hyperspectral images. The model constructs a deep hybrid convolutional neural network with deeply separable convolutional layers and residual structures to enhance the "spatial-spectral" discriminative feature extraction without increasing the computer overhead. The convolutional attention module is also introduced to highlight important features while suppressing redundant and noisy information, thus improving the classification accuracy under small sample data. To verify the effectiveness of the method, two public hyperspectral datasets, Xiong'an New Area (Matiwan Village) and DFC2018 Houston, were selected for comparison experiments, and the overall classification accuracy was 99.34% and 96.14%, respectively, when 5% of the labeled samples were selected as training samples. The results show that the proposed method ensures higher classification accuracy with small sample data.

hyperspectral images; attention mechanism; convolutional neural network; residual structure; few-shot learning; application of remote sensing

TP79

A

1009-8518(2023)03-0085-12

10.3969/j.issn.1009-8518.2023.03.010

楊志文，男，1998年生，2016年獲河南理工大學(xué)測繪工程工學(xué)學(xué)士學(xué)位，現(xiàn)于河南理工大學(xué)測繪與科學(xué)技術(shù)專業(yè)攻讀碩士學(xué)位。主要研究方向?yàn)閿z影測量與遙感。E-mail：doctor_y1998@163.com。

張合兵，男，1975年生，2016年獲河南理工大學(xué)大地測量學(xué)與測量工程專業(yè)博士學(xué)位，教授，博士生導(dǎo)師。主要研究方向?yàn)閿z影測量與遙感。E-mail：jzitzhb@hpu.edu.cn。

2022-08-09

國家自然科學(xué)基金（U21A20108）；河南省科技攻關(guān)項(xiàng)目（222102320306）；河南理工大學(xué)基本科研業(yè)務(wù)費(fèi)專項(xiàng)項(xiàng)目(自然科學(xué)類)（NSFRF220424）；智慧中原地理信息技術(shù)河南省協(xié)同創(chuàng)新中心時(shí)空感知與智能處理自然資源部重點(diǎn)實(shí)驗(yàn)室聯(lián)合基金（No.211102）；智慧中原地理信息技術(shù)系統(tǒng)創(chuàng)新中心PI項(xiàng)目（2020C002）

楊志文, 張合兵, 都偉冰, 等. 基于CBAM-Res-HybridSN的高光譜圖像分類研究[J]. 航天返回與遙感, 2023, 44(3): 85-96.

YANG Zhiwen, ZHANG Hebing, DU Weibing, et al. A Study of Small Sample Hyperspectral Image Classification Based on CBAM-Res-HybridSN[J]. Spacecraft Recovery & Remote Sensing, 2023, 44(3): 85-96. (in Chinese)

（編輯：夏淑密）