注意力機(jī)制結(jié)合殘差收縮網(wǎng)絡(luò)對遙感圖像分類

摘要：針對遙感場景圖像中背景復(fù)雜、類內(nèi)差異大以及類間相似度高問題所導(dǎo)致的分類效果欠佳情況，提出一種基于有監(jiān)督對比學(xué)習(xí)的注意力機(jī)制和殘差收縮單元算法。首先對有效通道注意力機(jī)制（ECA）進(jìn)行改進(jìn)，優(yōu)化對待識別圖像特征的提取；然后提出一種協(xié)同殘差收縮單元算法，利用算法對圖像進(jìn)行冗余信息的篩選消除；再用有監(jiān)督對比學(xué)習(xí)算法，增強(qiáng)算法的泛化能力。最后在遙感圖像數(shù)據(jù)集進(jìn)行實驗，并與最新算法如增強(qiáng)注意算法、尺度注意力機(jī)制算法進(jìn)行對比。實驗表明，該算法在20%訓(xùn)練比例的AID數(shù)據(jù)集中分類精度提高了1.75%和2.5%。

關(guān)鍵詞：深度學(xué)習(xí)；遙感圖像分類；注意力機(jī)制；深度殘差收縮網(wǎng)絡(luò)；有監(jiān)督對比學(xué)習(xí)

中圖分類號：TP391.41文獻(xiàn)標(biāo)志碼：A

文章編號：1001-3695（2022）08-051-2532-06

doi：10.19734/j.issn.1001-3695.2021.12.0665

Attention mechanism combined with residual shrinkage network to classify remote sensing images

Che Sitao，Guo Rongzuo，Li Zhuoyang，Yang Jun

（College of Computer Science，Sichuan Normal University，Chengdu 610101，China）

Abstract：Aiming at the poor classification effect caused by complex background，large intra-class difference and high inter-class similarity in remote sensing scene images，this paper proposed an attention mechanism and residual contraction unit algorithm based on supervised contrast learning.Firstly，the algorithm improved the effective channel attention mechanism（ECA），and optimized the extraction of image features to be recognized.Then，this paper proposed a cooperative residual shrinkage unit algorithm，which was used to filter and eliminate redundant information of images.In addition，it used supervised contrast lear-ning algorithm to enhance the generalization ability of the algorithm.Finally，this paper carried out experiments with remote sensing image dataset and compared with the latest algorithms such as enhanced attention algorithm and scale attention mechanism algorithm.Experimental results show that the proposed algorithm improves the classification accuracy by 1.75% and 2.5% in AID dataset with 20% training ratio.

Key words：deep learning；remote sensing image classification；attention mechanism；deep residual shrinkage network；supervised contrastive learning

遙感圖像具有價格低廉、拍攝范圍廣、拍攝數(shù)量多等特點，深受遙感圖像的眾多研究領(lǐng)域關(guān)注，在各領(lǐng)域有越加廣泛的應(yīng)用。由于遙感圖像有其特殊性[1，2]：a）尺度多樣背景復(fù)雜，遙感圖像拍攝高度可存在數(shù)倍的差距，使得同類別的地面目標(biāo)大小差異大，且由于遙感圖像視野比較大，包含復(fù)雜的背景，會對目標(biāo)辨別產(chǎn)生較強(qiáng)干擾；b）存在目標(biāo)尺寸小的問題，遙感圖像中分類目標(biāo)存在尺寸很小甚至只有幾十個像素，這會導(dǎo)致目標(biāo)信息量少，很難分類判斷。伴隨著高分辨率遙感圖像數(shù)據(jù)集的產(chǎn)生，遙感圖像場景分類已成為研究熱點，已有較多遙感圖像分類方法。但在復(fù)雜場景、類內(nèi)多樣性和類間相似性等情景下，已有分類方法的精度需要進(jìn)一步提升。

1相關(guān)工作

深度神經(jīng)網(wǎng)絡(luò)在硬件計算能力飛速提升的情況下取得了巨大的進(jìn)展和突破，He等人提出具有殘差模塊的ResNet[3]、Huang等人[4]提出殘差網(wǎng)絡(luò)（DenseNet）。深度殘差網(wǎng)絡(luò)在圖像分類領(lǐng)域與深度神經(jīng)網(wǎng)絡(luò)相比，能更有效地對場景分類圖像中不同維度的特征進(jìn)行提取。已有眾多研究將深度殘差網(wǎng)絡(luò)運(yùn)用于遙感圖像場景分類任務(wù)[5～7]中，但深度殘差網(wǎng)絡(luò)中交叉熵?fù)p失函數(shù)有泛化性能欠缺和魯棒性差等問題[8]。Khosla等人[9]提出用有監(jiān)督對比學(xué)習(xí)算法來解決上述問題，該算法改進(jìn)于自監(jiān)督對比學(xué)習(xí)算法，允許多圖像特征進(jìn)行對比相互學(xué)習(xí)，使模型算法泛化能力更強(qiáng)。本文引入有監(jiān)督對比學(xué)習(xí)算法來解決類內(nèi)多樣性和類間相似性場景識別問題，并使用多種數(shù)據(jù)增強(qiáng)方法增加正負(fù)樣本數(shù)量，提升算法分類性能。

深度學(xué)習(xí)注意力機(jī)制借鑒于人類注意力機(jī)制，本質(zhì)上為一種傾向性的資源分配機(jī)制，被應(yīng)用于圖像處理、語音識別和自然語言處理等領(lǐng)域的不同類型任務(wù)中。Hu等人[10]提出使用squeeze-and-excitation（SE）模塊在圖像分類任務(wù)中對圖像重要特征進(jìn)行數(shù)據(jù)增強(qiáng)操作，使算法提取的特征指向性更強(qiáng)。但該方法存在較為復(fù)雜的降維操作和未進(jìn)行跨通道信息交互問題，Wang等人[11]針對SE模塊的上述問題進(jìn)行優(yōu)化，提出efficient channel attention（ECA）結(jié)構(gòu)，相較于SE模塊結(jié)構(gòu)，ECA結(jié)構(gòu)增加模型參數(shù)量更少的同時提升精確度更高。Cao等人[12]對SE模塊和非局部（non-local）模塊[13]的優(yōu)勢點進(jìn)行提煉結(jié)合，提出了global context net（GCNet）模塊。受到上述方法的啟發(fā)以及對多種模型的優(yōu)缺點進(jìn)行分析后，本文基于ECA注意力機(jī)制進(jìn)行優(yōu)化，為了解決該模塊所存在的不能充分利用全局上下文和僅關(guān)注通道注意力問題，對ECA模塊中部分結(jié)構(gòu)進(jìn)行修改，設(shè)計出一種基于全局感受野的空間與通道結(jié)合注意力機(jī)制（non-local spatial and efficient channel attention，NSECA）模塊。

深度殘差收縮網(wǎng)絡(luò)[14]（deep residual shrinkage networks，DRSN）是一種基于殘差收縮結(jié)構(gòu)改進(jìn)的深度神經(jīng)網(wǎng)絡(luò)，常應(yīng)用于信號去噪領(lǐng)域，也適用于二維圖像特征處理來消除圖像冗余信息。由于遙感圖像背景復(fù)雜等問題導(dǎo)致已有殘差收縮網(wǎng)絡(luò)消除冗余性能欠佳，本文對深度殘差收縮網(wǎng)絡(luò)進(jìn)行優(yōu)化，設(shè)計出一種協(xié)同殘差收縮單元（coordinate residual shrinkage unit，CRSU）。該結(jié)構(gòu)相較于原本的深度殘差收縮網(wǎng)絡(luò)而言，將背景的位置關(guān)聯(lián)信息嵌入圖像背景權(quán)重分配，能更好地辨別圖像背景冗余信息進(jìn)行消除，有效改善圖像復(fù)雜背景影響分類性能的問題。

綜上所述，本文設(shè)計了一種非局部空間特征融合的注意力協(xié)同過濾網(wǎng)絡(luò)（collaborative filtering network based on non-local spatial feature fusion channel attention，CFN-NSFCA），主要工作如下：a）提出一種NSECA機(jī)制模塊來對圖像重要特征進(jìn)行增強(qiáng)處理；b）提出一種協(xié)同殘差收縮單元（CRSU）對遙感圖像背景的冗余信息進(jìn)行有效剔除；c）運(yùn)用自監(jiān)督學(xué)習(xí)中的學(xué)習(xí)損失算法，引入有監(jiān)督對比損失函數(shù)，使同類別圖像的樣例特征的范式距離拉近，增強(qiáng)模型泛化能力；d）利用ImageNet預(yù)訓(xùn)練模型來對ResNet50進(jìn)行初始化權(quán)重信息，加強(qiáng)遙感圖像特征識別能力。結(jié)合上述工作，在AID dataset[15]和NWPU-RESISC45[16]數(shù)據(jù)集的兩種不同訓(xùn)練比例上進(jìn)行多次實驗，驗證了所提算法的有效性。

2CFN-NSFCA描述及實現(xiàn)

基于非局部空間特征融合的注意力協(xié)同過濾網(wǎng)絡(luò)（CFN-NSFCA）采用ResNet50為基本框架，將ResNet中的瓶頸塊（bottleneck block）進(jìn)行結(jié)構(gòu)上的改進(jìn)優(yōu)化。本文實驗的ResNet50網(wǎng)絡(luò)中除對輸入特征預(yù)處理的部分外，包括四個階段（stage），每個階段（stage1、stage2、stage3、stage4）分別由3、4、6、3個瓶頸塊組成。由于模型高層信息難以找到遠(yuǎn)距離關(guān)聯(lián)信息，按照文獻(xiàn)[17]對注意力模塊嵌入建議，本文將NSECA模塊嵌入全部階段的每個瓶頸塊中，而CRSU模塊僅嵌入到stage1的所有瓶頸塊中。如圖1所示，除ResNet50原有的結(jié)構(gòu)外，在stage1的每個瓶頸塊的第三個batch normalization（BN）層后加入NSECA模塊和CRSU模塊。將CRSU模塊放置于NSECA模塊后能通過自適應(yīng)學(xué)習(xí)確定閾值，并將圖像非重要特征進(jìn)行篩選刪除，對重要特征保留。

2.1NSECA機(jī)制

注意力機(jī)制使得網(wǎng)絡(luò)在分類過程中聚焦到信息最豐富的區(qū)域而非整個圖像，ECA注意力機(jī)制如圖2（a）所示，是一種通道注意力機(jī)制，但僅利用每張?zhí)卣鲌D（通道）的重要性來聚焦關(guān)注區(qū)域時，由于遙感圖像有背景復(fù)雜、目標(biāo)尺度差異大等特殊性，模型容易將注意力聚焦到?jīng)]有辨別性的區(qū)域，導(dǎo)致推理退化等問題，因此判斷單個特征圖重要性之前引入特征圖之間關(guān)聯(lián)信息來獲取更多整體特征信息并聚焦到最有辨別性區(qū)域是必要的。NSECA模塊將ECA結(jié)構(gòu)中全局平均池化層（global AVG pooling，GAP）改進(jìn)為簡易非局部結(jié)構(gòu)塊（simplified non-local block），這樣既未大幅增加模型計算量，也通過該算子將空間特征信息有效嵌入通道信息提取中，如圖2（b）所示。

GAP層如圖3（a）所示，其計算每張?zhí)卣鲌D中所有像素點的均值并將其求得的權(quán)重信息相互獨(dú)立輸出，如式（1）所示。g（χ）中卷積塊的輸入為χ∈Euclid Math TwoRApW×H×C，W、H和C為寬度、高度和通道尺寸（濾波器數(shù)量）。

g（χ）=1W×H∑W，Hi=1，j=1χij（1）

NSECA模塊采用的SNL block如圖3（b）所示，其上分支在空間維度對所有特征圖進(jìn)行融合操作，將其壓縮為單張同尺寸特征圖，該特征圖包含所有特征圖對應(yīng)位置的相關(guān)性信息，實現(xiàn)全局上下文信息響應(yīng)；與下分支實現(xiàn)相乘操作，輸出值為每個特征圖上全部像素的權(quán)值之和，如式（2）所示。

δ（χ）=∑W，Hi=1，j=1exp（Lχij）∑W，Hk=1，l=1exp（Lχkl）χij（2）

其中：L代表線性變換矩陣（即圖3（b）中的卷積操作）。

相較于g（χ）由特征圖獨(dú)立提取信息，未充分利用不同特征圖之間的相關(guān)性信息，δ（χ）通過聚焦不同特征圖的關(guān)聯(lián)信息來表示圖片中某位置對全局位置的響應(yīng)權(quán)重，有效結(jié)合空間維度實現(xiàn)全局特征的提取，可將空間信息嵌入后續(xù)的通道交互。

NSECA模塊后續(xù)使用卷積核大小為k的一維卷積來完成通道相互之間的信息交流：

ω=σ（C1Dk（δ（χ）））（3）

其中：1Dk指的是一維卷積，k為1D卷積核的大小；C為通道維數(shù)；σ是一個sigmoid函數(shù)，輸出ω為先后經(jīng)過空間和通道維度提取的權(quán)重。通道維數(shù)為2的指數(shù)，因此k和C之間存在非線性映射關(guān)系，其中γ和b為線性映射參數(shù)，參考文獻(xiàn)[11]分別設(shè)為2和1，odd是指取值最近的奇數(shù)。

k=ψ（C）=log2（C）γ+bγodd（4）

根據(jù)式（4）可以在網(wǎng)絡(luò)中加入NSECA模塊時自適應(yīng)1D卷積核大小k值而非人為操作。改進(jìn)特征信息提取方式，使NSECA較于ECA模塊具有更大范圍獲取全局上下文信息和長距離捕捉相關(guān)性依賴的能力，進(jìn)一步提升遙感分類性能。

2.2協(xié)同殘差收縮單元

遙感圖像中影響判別分類性能的復(fù)雜背景信息可稱為噪聲信息，深度殘差收縮網(wǎng)絡(luò)模塊可將噪聲信息置為零而丟棄掉，并保留當(dāng)前重要的特征信息。其結(jié)構(gòu)如圖4（a）所示，具有近似SE模塊[10]的通道維度權(quán)重分配功能，具體說明如下：左分支（紫色線，見電子版）保留每張?zhí)卣鲌D的權(quán)重均值，其絕對值標(biāo)記為Ac，C為特征圖位置；右分支使得特征圖經(jīng)過通道維度信息提取權(quán)重，記為系數(shù)權(quán)值ac。兩分支輸出相乘，獲得所有特征圖的自學(xué)習(xí)閾值τc=ac×Ac。該閾值使特征圖具有不同的閾值（后續(xù)通過軟閾值函數(shù)進(jìn)行去噪），但該閾值提取方法有所不足。

在遙感圖像去噪領(lǐng)域，關(guān)鍵點在于如何確定信息為噪聲，并避免將有效信息當(dāng)做噪聲信息進(jìn)行消除，影響遙感圖像分類性能。在遙感圖像中僅憑圖像中最關(guān)鍵的地物特征難以實現(xiàn)精確分類，如圖5（a）所示，三個建筑物分別為工廠、火車站、教堂三種地物類別的核心建筑，但僅憑此難以分辨圖像類別。

殘差收縮單元的閾值權(quán)重分配功能是通過特征圖通道維度權(quán)重進(jìn)行分配，但容易導(dǎo)致將圖像中強(qiáng)相關(guān)信息進(jìn)行消除，如圖5（b）所示，圖中黃色區(qū)域理論上應(yīng)與關(guān)鍵性建筑有強(qiáng)關(guān)聯(lián)性的特征信息，影響著圖像分類準(zhǔn)確率（見電子版）。因此，應(yīng)在閾值權(quán)重分配時引入位置關(guān)聯(lián)信息提取能力，避免將強(qiáng)關(guān)聯(lián)信息當(dāng)做噪聲而被消除。為此本文對閾值權(quán)重分配部分進(jìn)行改進(jìn)，提出了協(xié)同殘差收縮單元，如圖4（b）所示。為了促使權(quán)重提取功能中引入空間上捕獲位置信息能力，本文采用兩個空間范圍的池化核（H，1）和（1，W）分別沿水平坐標(biāo)方向和垂直坐標(biāo)方向?qū)γ總€特征圖進(jìn)行編碼，模塊如圖2（b）中CRSU結(jié)構(gòu)所示。

首先，任意特征張量X=[x1，x2，…，xC]∈Euclid Math TwoRApC×H×W作為輸入和輸出的一個特征圖變換張量，在w處的第c個特征圖的輸出可表示為

zhc（h）=1W∑0≤i≤Wxc（h，i）（5）

同樣，在w處的第c個特征圖的輸出可表示為

|zwc（w）=1H∑0≤j＜Hxc（j，w）|（6）

由式（5）（6）對位置信息進(jìn)行編碼后，給定式（7）生成聚合特征映射，并共享到1×1卷積變換函數(shù)L1，即

f=δ（L1（[zh，zw]））（7）

其中：δ為非線性激活函數(shù)，[·，·]表示按空間維度串聯(lián)操作；f∈Euclid Math TwoRApC/r×（H+W）為不同方向的中間空間信息特征圖，其中r為SE[10]模塊的擠壓率來減少f通道數(shù)，然后將f按空間維度分為兩個獨(dú)立張量fh∈Euclid Math TwoRApC/r×H和fw∈Euclid Math TwoRApC/r×W，并采用兩個1×1卷積變換Lh和Lw將fh和fw變換為相同通道數(shù)的張量：

gh=σ（Lh（fh））（8）

gw=σ（Lw（fw））（9）

其中：σ為sigmoid函數(shù)。然后將gh和gw展開相乘記為權(quán)重系數(shù)ac。

ac（i，j）=ghc（i）×gwc（j）（10）

后續(xù)操作與DRSN結(jié)構(gòu)類似，左分支（紫色線，見電子版）為每張?zhí)卣鲌D權(quán)重平均值的絕對值，記為Ac=averagei，j|xc（i，j）|，并求得自學(xué)習(xí)閾值τc=ac×Ac。

最后采用軟閾值函數(shù)進(jìn)行降噪處理步驟，其將絕對值小于某個閾值τ的特征去除掉（置為0），將絕對值大于該閾值的特征朝向零進(jìn)行收縮操作。軟閾值函數(shù)如式（11）和圖6（a）所示，依據(jù)每個特征圖權(quán)重分布來刪除某個取值范圍外的特征。根據(jù)其偏導(dǎo)數(shù)可以看出，如式（12）和圖6（b）所示，偏導(dǎo)值為0或1，有利于梯度的方向傳播，避免高計算復(fù)雜度。

y=x-τxgt;τ

0-τ≤x≤τ

x+τxlt;-τ（11）

yx= 1xgt;τ

0-τ≤x≤τ

1xlt;-τ （12）

本文對DRSN模塊的權(quán)重分配功能進(jìn)行優(yōu)化改進(jìn)，提出了CRSU模塊，該模塊有效避免了DRSN模塊可能將強(qiáng)關(guān)聯(lián)信息當(dāng)做噪聲而刪除，進(jìn)一步優(yōu)化殘差收縮網(wǎng)絡(luò)對遙感圖像復(fù)雜背景冗余信息消除的性能。

2.3有監(jiān)督對比學(xué)習(xí)損失

深度學(xué)習(xí)廣泛采用的交叉熵?fù)p失函數(shù)存在部分問題，例如對噪聲的魯棒性差以及存在差裕度使得模型泛化性能不足。為緩解在復(fù)雜背景下?lián)p失函數(shù)的上述問題，借鑒文獻(xiàn)[9]的思想，引入有監(jiān)督對比學(xué)習(xí)算法（supervised contrastive learning，SCL），采用有監(jiān)督對比損失函數(shù)來緩解傳統(tǒng)損失函數(shù)的上述問題。

有監(jiān)督對比學(xué)習(xí)可使每個錨點存在多個正樣例，從而有效地采用類標(biāo)簽實現(xiàn)同類別的樣例距離拉近，且使不同類別的樣例相互拉遠(yuǎn)，這樣可解決自監(jiān)督對比學(xué)習(xí)中同類特征相關(guān)性問題，提高類間可分性和類內(nèi)多樣性的性能，實現(xiàn)遙感場景分類精度的提升。采用的有監(jiān)督對比損失函數(shù)，即

L=∑2NiLi（13）

Li=-12Ny～i-1∑2Nj=11i≠j·1y～i=y～i·logexp（zi·zj（i）/τ）∑2Nk=11i≠k·exp（zi·zj（i）/τ）（14）

其中：τ為正數(shù)的調(diào)節(jié)參數(shù)；i表示錨點，同時j（i）表示錨點i的正樣例；Nyi表示同批次中與錨點i為同類別yi的數(shù)量，分子中 exp（zi·zj（i）/τ）在i≠j，yi=yj時表示為同批次中與i相同的圖像，此處為單個的錨點i，分母為除i以外的所有圖像，即負(fù)樣例含有2N-1項，相當(dāng)于每個樣本視為單獨(dú)的類別進(jìn)行計算，通過每個錨點累加來獲取該批次的總損失和，如式（13）所示。

對比學(xué)習(xí)實驗需要采用的視圖增廣方式會影響實驗結(jié)果，因此本文根據(jù)文獻(xiàn)[17]中的參數(shù)設(shè)置對數(shù)據(jù)進(jìn)行視圖增強(qiáng)來保證增廣視圖有效且實現(xiàn)監(jiān)督對比學(xué)習(xí)預(yù)想結(jié)果。

3實驗結(jié)果與分析

3.1數(shù)據(jù)集描述

本文實驗使用的遙感圖像數(shù)據(jù)集為航空遙感的AID[15]和NWPU-RESISC45[16]兩種遙感圖像數(shù)據(jù)集。AID共10 000張圖像，總計30個地物類別和標(biāo)簽，每個類別220～420張圖像不等，圖像來自不同的遙感成像傳感器多源采集的，傳感器采集時不同高度拍攝會使得地面像素分辨率均不相同，因此像素分辨率對應(yīng)的地物尺寸大小在0.5～8 m不等（每個像素展示的地物尺寸不同），且每張圖像固定為600×600像素。NWPU-RESISC45數(shù)據(jù)集有31 500張圖像，總計45個地物類別和標(biāo)簽，每個類別700張圖像，每張圖片均為256×256像素。圖7、8分別給出了兩個數(shù)據(jù)集的部分樣本展示。

為了與不同文獻(xiàn)的方法進(jìn)行公平性能對比，根據(jù)文獻(xiàn)[18]為兩種數(shù)據(jù)集設(shè)置相同的訓(xùn)練集與測試集比例，即本文實驗對AID數(shù)據(jù)集的每種類別圖像中采用隨機(jī)抽取的方式，取20%數(shù)量的圖像作為訓(xùn)練集，其余80%圖像作為測試集。此外，增加訓(xùn)練比例為50%的數(shù)據(jù)集進(jìn)行額外實驗對比。NWPU-RESISC45數(shù)據(jù)集也采用隨機(jī)抽取比例為10%和20%作為訓(xùn)練集和測試集，具體說明如表1所示。

3.2參數(shù)設(shè)定

實驗訓(xùn)練均使用隨機(jī)梯度下降（SGD）優(yōu)化器，數(shù)據(jù)的批大小為64，動量設(shè)置為0.9，權(quán)重衰減率設(shè)置為0.000 1，均200個訓(xùn)練輪次（epoch）完成。實驗中將輸入圖片尺寸縮小到224×224像素大小。為增強(qiáng)監(jiān)督學(xué)習(xí)效果，監(jiān)督對比損失函數(shù)τ設(shè)置為文獻(xiàn)[17]的默認(rèn)值0.07，對視圖按照文獻(xiàn)[17]進(jìn)行增廣設(shè)置，對數(shù)據(jù)集進(jìn)行尺度參數(shù)為0.2的隨機(jī)剪裁，隨機(jī)模糊參數(shù)設(shè)置為0.5，水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)幾率設(shè)置為50%。

3.3實驗設(shè)備

為驗證算法的有效性，在數(shù)據(jù)集上的兩種比例下進(jìn)行綜合實驗。在PyTorch框架下使用Python 3.8進(jìn)行編譯。硬件平臺為Ubuntu 16.04.7系統(tǒng)的Linux服務(wù)器，其配置為Intel Xeon CPU E5-2660 v4 @ 2.00 GHz的CPU和兩塊NVIDIA Tesla 40 GB顯存的 A100的GPU。

3.4評價指標(biāo)

分類算法評價指標(biāo)主要采用以下三種：總體分類精度（overall accurracy，OA）、分類精度標(biāo)準(zhǔn)差和混淆矩陣（confusion matrix，CM）。OA的定義為在不考慮樣本具體所屬類別情況下，分類正確的樣本個數(shù)占所有樣本個數(shù)的百分比，標(biāo)準(zhǔn)差是用來度量OA變化程度的指標(biāo)。為獲得可靠的實驗結(jié)果，實驗在隨機(jī)采樣的訓(xùn)練集上執(zhí)行5次取平均值（其中每次結(jié)果均為測試集上最佳準(zhǔn)確率）和標(biāo)準(zhǔn)差作為最終的實驗結(jié)果，并做出混淆矩陣。

3.5不同文獻(xiàn)方法性能比較

表2中列出不同文獻(xiàn)方法在AID和NWPU-RESISC45數(shù)據(jù)集上訓(xùn)練的性能與本文CFN-NSFCA網(wǎng)絡(luò)的比較結(jié)果。從表2可以看出，訓(xùn)練樣本比例為20%和50%的AID數(shù)據(jù)集測試中，CFN-NSFCA在ResNet50的總體精度分別為95.39%和97.42%。在20%的訓(xùn)練比例下，比表中的次優(yōu)方法ECA-ResNeXt-8[23]高出了1.27%；在50%的訓(xùn)練比例下，比次優(yōu)方法ResNet50EAM[21]高出了0.80%，充分體現(xiàn)了本文方法的先進(jìn)性。在NWPU-RESISC45數(shù)據(jù)集中，測試精度相較于次優(yōu)方法FAC-CNN[22]分別高出0.27%、0.36%。從圖9可以看出，在20%訓(xùn)練比例的AID數(shù)據(jù)集實驗結(jié)果中，30個類別僅有四種類別精度低于90%，有五種類別精度達(dá)到100%。為了更直觀顯示每類場景的分類精度，進(jìn)一步驗證所提方法的性能，本文CFN-NSFCA網(wǎng)絡(luò)在20%訓(xùn)練比例的AID數(shù)據(jù)集下生成混淆矩陣，如圖10所示（由于代碼生成混淆矩陣時，求比例時存在四舍五入的情況，導(dǎo)致部分行比例值之和不等于1）。圖中表格邊緣的序號表示場景分類編號（按照場景類別名稱字母升序編號，圖左邊緣的垂直列編號表示真實標(biāo)簽，圖底邊緣水平列編號表示預(yù)測標(biāo)簽，其余表格中的比例數(shù)值指預(yù)測概率）。

從圖10可以看出，在圖7（a）中展示的場景13（meadow）、29（viaduct）、26（square）、20（port）、24（school）、23（river）的精度分別達(dá)到100%、99%、86%、99%、84%、97%。在眾多不同類別的相似場景比較中，如圖7（b）中展示的部分場景1（bareland）和9（desert）、16（park）和22（resort）、24（school）和12（industrial），精度分別達(dá)到了95%和98%、92%和79%、84%和92%。以上數(shù)據(jù)均充分說明本文方法可有效處理遙感圖像中復(fù)雜的分類場景，證明本文方法的有效性。

3.6消融實驗

本文方法主要包含NSECA注意力模塊、CRSU模塊和SCL模塊分支。為進(jìn)一步證明每個實驗分支的有效性，本節(jié)對上述三個分支進(jìn)行消融實驗，并分為四種情況，即僅采用NSECA模塊、僅采用CRSU模塊、僅采用SCL模塊、所有模塊均不采用。上述四種變體實驗均在AID和NWPU-RESISC45數(shù)據(jù)集不同比例下進(jìn)行，結(jié)果如表3所示。從表3可以看出，在AID和NWPU-RESISC45數(shù)據(jù)集上與ResNet50準(zhǔn)確率相比，在僅采用NSECA模塊的情況下，分別提升了2.32%和1.9%、3.12%和2.99%；在僅采用CRSU模塊的情況下，準(zhǔn)確率分別提升了2.26%和1.54%、2.95%和2.87%；在僅采用SCL模塊的情況下，準(zhǔn)確率分別提升了0.96%和0.85%、0.6%和0.62%。

綜上可知，對比ResNet50準(zhǔn)確率，三種實驗分支均有所提升，說明每個實驗分支均有效。此外，根據(jù)提升程度可以看出，僅采用NSECA模塊提升的性能比僅采用CRSU模塊效果較好，僅采用SCL模塊提升相對前兩者較小。

3.7參數(shù)對比實驗

在參數(shù)設(shè)定時，會依據(jù)視圖按照文獻(xiàn)[17]進(jìn)行多種增廣設(shè)置來增強(qiáng)對比學(xué)習(xí)效果，如隨機(jī)剪裁（RandomCrop）、隨機(jī)模糊（RandomBlur）、水平和垂直翻轉(zhuǎn)（VerticalFlip/Horizontal Flip，VF/HF）等。本節(jié)對以上三個關(guān)鍵參數(shù)在20%訓(xùn)練比例下AID數(shù)據(jù)集進(jìn)行不同參數(shù)值的對比實驗，結(jié)果如圖11所示。

文獻(xiàn)[17]中指出，在有監(jiān)督對比函數(shù)訓(xùn)練設(shè)置合適增廣參數(shù)能增強(qiáng)訓(xùn)練效果。通過隨機(jī)模糊、水平和垂直翻轉(zhuǎn)（VF/HF）的實驗結(jié)果可看出：RandomBlur較于VF/HF而言對模型精度影響略大，這兩個參數(shù)設(shè)置為0.5時分類精度均獲得四個參數(shù)值中最大提升，而參數(shù)達(dá)到0.75時精度卻有下降情況；此外可以看出，隨機(jī)剪裁對實驗結(jié)果影響最大，其參數(shù)值參考文獻(xiàn)[17]中對比實驗設(shè)置的，當(dāng)參數(shù)為0.2時獲取最佳分類效果，但僅變?yōu)?.25時精度有較大下滑，0.4時網(wǎng)絡(luò)模型精度退化嚴(yán)重。

經(jīng)過關(guān)鍵參數(shù)的不同取值實驗對比，證明了依據(jù)文獻(xiàn)[17]的參數(shù)設(shè)置能夠獲取對數(shù)據(jù)進(jìn)行較好的預(yù)處理操作結(jié)果。

3.8有效性驗證實驗

為進(jìn)一步證明所提方法的有效性，本節(jié)進(jìn)行兩組有效性驗證實驗，第一組實驗采用ECA模塊、CBAM注意力模塊、GCNet模塊與NSECA模塊進(jìn)行對比實驗，驗證NSECA模塊對分類準(zhǔn)確率的提升優(yōu)于ECA模塊，且與同為結(jié)合空間與通道注意力機(jī)制的CBAM、GCNet模塊相比性能更佳。

第二組實驗采用DRSN和CRSU模塊進(jìn)行對比，驗證CRSU模塊的有效性。上述實驗均基于ResNet50模型，并用訓(xùn)練比例分別為20%和50%的AID數(shù)據(jù)集。

實驗結(jié)果如表4所示，在第一組實驗中，NSECA模塊的分類精度高于ECA模塊，分別高出0.86%和1.15%，與CBAM和GCNet模塊相比，NSECA模塊仍有更優(yōu)的性能表現(xiàn)。第二組實驗中，CRSU模塊通過對背景冗余信息剔除功能的優(yōu)化，促使模型性能較DRSN模塊有更好的提升。

最后對兩組有效性驗證實驗?zāi)Ｐ瓦M(jìn)行特征圖可視化，采用Grad-CAM作為可視化工具生成熱力圖（圖中顏色越暖色代表關(guān)注程度越高，見電子版），如圖12所示。

從圖12（a）可以看出，NSECA較ECA模塊，不僅對感興趣的區(qū)域定位同樣準(zhǔn)確，且由于引入了空間注意力機(jī)制使得關(guān)注區(qū)域更廣；NSECA模塊與同樣結(jié)合空間與通道注意力機(jī)制的GCNet模塊相比能夠更精確地定位感興趣的對象區(qū)域。DRSN和CRSU模塊是對圖像的冗余信息進(jìn)行消除，在熱力圖中，其關(guān)注的區(qū)域應(yīng)是將被軟閾值函數(shù)消除的冗余信息。圖12（b）中，最后一行的熱力圖為本文方法所生成，從中可看出，DRSN模塊由于缺乏對位置關(guān)聯(lián)信息的權(quán)重分配能力，其確定為噪聲信息的區(qū)域明顯多于CRSU模塊，而CRSU模塊保留了更多的關(guān)聯(lián)性區(qū)域；本文CFN-NSFCA模型生成的熱力圖與CRSU模塊感興趣區(qū)域趨于互補(bǔ)（取并集接近整個圖像），也充分證明了CRSU模塊的有效性。

4結(jié)束語

針對遙感圖像復(fù)雜場景分類效果欠佳的問題，本文提出一種基于有監(jiān)督對比學(xué)習(xí)的NSECA注意力機(jī)制結(jié)合CRSU殘差收縮單元算法。將NSECA與ECA相比較，其優(yōu)勢在于前者不僅能從通道維度提取不同特征圖各自的權(quán)重特征，且能從空間維度提取不同特征圖融合后的特征信息；CRSU模塊能有效避免DRSN模塊在消除圖像背景噪聲時將位置關(guān)聯(lián)特征信息消除，優(yōu)化冗余信息剔除性能。而有監(jiān)督對比學(xué)習(xí)的引入，能優(yōu)化同類別圖像的特征提取，增強(qiáng)本文算法的泛化能力。本文方法在AID和NUPW-RESISC45數(shù)據(jù)集上取得比文獻(xiàn)[20～24]更好的分類性能。

參考文獻(xiàn)：

［1］Li Jun，Benediktsson J A，Zhang Bing，et al.Spatial technology and social media in remote sensing：a survey[J].Proceedings of the IEEE，2017，105（10）：1855-1864.

[2]Huang Hong，Shi Guangyao，He Haibo，et al.Dimensionality reduction of hyperspectral imagery based on spatial-spectral manifold learning[J].IEEE Trans on Cybernetics，2020 ，50（6）：2604-2616.

[3]Simonyan K，Zisserman A.Very deep convolutional networks for large-scale image recognition[EB/OL].（2015-04-15）.https：//arxiv.org/abs/1409.1556.

[4]Huang Gao，Liu Zhuang，Van der Maaten L，et al.Densely connected convolutional networks[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2017：2261-2269.

[5]Guo Donggen，Xia Ying，Luo Xiaobo.Scene classification of remote sensing images based on saliency dual attention residual network[J].IEEE Access，2020，8：6344-6357.

[6]Woo S，Park J，Lee J Y，et al.CBAM：convolutional block attention module[C]//Proc of the 15th European Conference on Computer Vision.Cham：Springer，2018：3-19.

[7]石彩霞，趙傳鋼，龐蕾.基于超像素統(tǒng)計量的隨機(jī)森林遙感圖像分類[J].計算機(jī)應(yīng)用研究，2018，35（12）：3798-3802.（Shi Caixia，Zhao Chuangang，Pang Lei.Research on random forest remote sensing image classification based on superpixel statistics[J].Application Research of Computers，2018，35（12）：3798-3802.）

[8]Elsayed G F，Krishnan D，Mobahi H，et al.Large margin deep networks for classification[C]//Proc of the 32nd International Confe-rence on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2018：850-860.

[9]Khosla P，Teterwak P，Wang Chen，et al.Supervised contrastive lear-ning[EB/OL].（2021-03-10）.https：//arxiv.org/pdf/2004.11362.pdf.

[10]Hu Jie，Li Shen，Sun Gang，et al.Squeeze-and-excitation networks[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：7132-7141.

[11]Wang Qilong，Wu Banggu，Zhu Pengfei，et al.ECA-Net：efficient channel attention for deep convolutional neural networks[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：11531-11539.

[12]Yue Cao，Xu Jiarui，Stephen L，et al.GCNet：non-local networks meet squeeze-excitation networks and beyond[C]//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2019.

[13]Wang Xiaolong，Girshick R，Gupta A，et al.Non-local neural networks[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：7794-7803.

[14]Zhao Minghang，Zhong Shisheng，F(xiàn)u Xuyun，et al.Deep residual shrinkage networks for fault diagnosis[J].IEEE Trans on Industrial Informatics，2019，16（7）：4681-4690.

[15]Xia Guisong，Hu Jingwen，Hu Fan，et al.AID：a benchmark data set for performance evaluation of aerial scene classification[J].IEEE Trans on Geoscience and Remote Sensing，2017，55（7）：3965-3981.

[16]Cheng Gong，Han Junwei，Lu Xiaoqiang.Remote sensing image scene classification：benchmark and state of the art[J].Proceedings of the IEEE，2017，105（10）：1865-1883.

[17]Tian Yonglong，Sun Chen，Poole B，et al.What makes for good views for contrastive learning？[EB/OL].（2020-12-18）.https：//arxiv.org/pdf/2005.10243.pdf.

[18]Zhang Zhilu，Sabuncu M.Generalized cross entropy loss for training deep neural networks with noisy labels[C]//Proc of the 32nd Confe-rence on Neural Information Processing Systems.2018.

[19]Li Jun，Lin Daoyu，Wang Yang，et al.Deep discriminative representation learning with attention map for scene classification[J].Remote Sensing，2020，12（9）：1366.

[20]Bian Xiaoyong，F(xiàn)ei Xiongjun，Mu Nan.Remote sensing image scene classification based on scale-attention network[J].Journal of Computer Applications，2020，40（3）：872-877.

[21]Zhao Zhicheng，Li Jiaqi，Ze Luo，et al.Remote sensing image scene classification based on an enhanced attention module[J].IEEE Geoscience and Remote Sensing Letters，2020，18（11）.

[22]宋中山，梁家銳，鄭祿，等.基于雙向門控尺度特征融合的遙感場景分類[J].計算機(jī)應(yīng)用，2021，41（9）：2726-2735.（Song Zhong-shan，Liang Jiarui，Zheng Lu，et al.Remote sensing scene classification based on bidirectional gated scale feature fusion[J].Journal of Computer Applications，2021，41（9）：2726-2735.）

[23]屈震，李堃婷，馮志璽.基于有效通道注意力的遙感圖像場景分類[J].計算機(jī)應(yīng)用，2022，42（5）：1431-1439.（Qu Zhen，Li Kun-ting，F(xiàn)eng Zhixi.Remote sensing image scene classification based on effective channel attention[J].Journal of Computer Applications，2022，42（5）：1431-1439.）

[24]朱淑鑫，周子俊，顧興健，等.基于RCF網(wǎng)絡(luò)的遙感圖像場景分類研究[J].激光與光電子學(xué)進(jìn)展，2021，58（14）：76-86.（Zhu Shuxin，Zhou Zijun，Gu Xingjian，et al.Scene classification of remote sensing images based on RCF network[J].Laser amp; Optoelectronics Progress，2021，58（14）：76-86.

收稿日期：2021-12-29；修回日期：2022-02-24基金項目：國家自然科學(xué)基金資助項目（11905153，61701331）

作者簡介：車思韜（1995-），男（通信作者），四川樂山人，碩士研究生，主要研究方向為視覺圖像、模型壓縮（codecst@163.com）；郭榮佐（1973-），男，四川達(dá)州人，教授，碩導(dǎo)，博士，主要研究方向為嵌入式系統(tǒng)、物聯(lián)網(wǎng)感知；李卓陽（1996-），男，四川南充人，碩士研究生，主要研究方向為視覺圖像、模型壓縮；楊軍（1977-），男，四川岳池人，副教授，博士，主要研究方向為機(jī)器學(xué)習(xí)、計算機(jī)視覺.