全局關系注意力引導場景約束的高分辨率遙感影像目標檢測

張 菁 吳鑫嘉 趙曉蕾 卓 力② 張 潔

①(北京工業大學信息學部 北京 100124)

②(北京工業大學計算智能與智能系統北京市重點實驗室 北京 100124)

③(中國地質大學(武漢)資源信息工程系 武漢 430074)

1 引言

高分辨率遙感影像目標檢測技術對人們提煉地表有用信息，充分發揮遙感數據效用具有重要的研究意義和實際應用價值[1]。近年來，以卷積神經網絡(Convolutional Neural Network， CNN)為代表的深度學習方法，在高分辨率遙感影像目標檢測中表現出優良的性能[2]。

基于深度學習的目標檢測方法大致分為兩類[3]，一是以R-CNN， Fast R-CNN， Faster R-CNN為代表基于區域生成的二階段方法，二是以YOLO， SSD為代表基于回歸的一階段方法。遙感影像具有背景復雜，目標分布密集、方向多變且尺度差異的特點，需要根據這些特點改進深度網絡以完成遙感影像目標檢測任務。Wang等人[4]提出了一種端到端多尺度視覺注意網絡，通過關注目標區域的細節信息，改善了遙感影像背景復雜、目標分布密集的問題。Cheng等人[1]基于R-CNN提出了旋轉不變的CNN模型，訓練網絡學習到具有旋轉魯棒性的特征。在我們已有的研究工作中[5]提出了一種多尺度特征融合檢測網絡(Feature fusion and Scalingbased Single Shot Detector， FS-SSD)用于無人機影像的小目標檢測，通過加入反卷積層和平均池化層組成特征金字塔，經過特征融合完成多尺度特征預測。此外，我們還提出一種聯合通道注意力和旋轉不變深度特征的高分辨率遙感影像多尺度目標檢測方法[6]，在FS-SSD基礎上加入通道注意力和方向響應卷積，獲得旋轉不變性的深度特征。

高分辨率遙感影像中地物目標和所處場景類別息息相關[7]，而現有的檢測方法較少考慮場景-目標的關聯關系和總體認知關系，因而檢測性能仍有提升空間。已有一些學者利用場景和目標的上下文關系改善目標檢測性能，如Liu等人[8]通過融合場景和物體之間關系信息提出了結構推理網絡，在提升目標檢測任務的性能上發揮了很大作用。Zhang等人[9]提出全局關系注意力模塊(RGA)，通過充分利用圖像中的全局結構信息，來獲得特征的注意力權重，在行人再識別中取得了優異性能。這些研究結果表明，借助場景信息可以有效提高目標檢測性能。

為此，本文提出全局關系引導場景約束的高分辨率遙感影像目標檢測方法。主要貢獻如下：

(1) 與現有的高分辨率遙感影像目標檢測方法不同，提出利用全局關系注意力學習全局場景特征作為約束，通過建立場景信息和地物目標的關聯關系指導目標檢測任務。

(2) 在場景約束條件下，利用方向響應卷積模塊和多尺度特征模塊，生成兼具旋轉不變和多尺度的目標特性信息，實現更準確的目標定位和分類。

(3) 通過交叉熵分類損失和定位損失的加權和聯合優化目標檢測網絡，達到更優的預測性能。

2 提出的方法

本文提出的全局關系引導場景約束的高分辨率遙感影像目標檢測方法(OR-FS-SSD+RGA)總體架構如圖1所示。以FS-SSD為基礎網絡，首先將遙感影像圖片輸入VGG16網絡，在其之后加入全局關系注意力模塊RGA，捕獲全局的結構化關系信息；然后將全局場景特征作為約束輸入方向響應卷積模塊和多尺度特征模塊，獲得旋轉不變的深度特征和多尺度預測特征圖；最后利用損失函數優化網絡實現高分辨率遙感影像目標檢測。

圖1 全局關系引導場景約束的高分辨率遙感影像目標檢測方法(OR-FS-SSD+RGA)

2.1 全局關系引導的注意力

注意力機制旨在加強有區分度的特征和弱化無關的特征，但現有研究更多關注圖片局部信息。如前所述，Zhang等人[9]提出全局關系注意力對行人再識別性能的提升具有很好的推動作用。而高分辨率遙感影像的目標檢測方法也較少考慮場景信息和地物目標之間的關聯關系，忽略了圖像中有價值的全局上下文信息。此外，遙感影像目標往往具有多個尺度，文獻[5]提出的FS-SSD目標檢測網絡對多尺度目標預測效果尤為突出。為此，本文在FSSSD目標檢測網絡中加入全局關系注意力模塊，包括全局空間關系注意力/全局通道關系注意力，通過提取全局場景特征作為約束獲得全局場景上下文信息。

全局關系注意力結構如圖2所示，輸入圖像由前端網絡處理后得到特征圖，特征圖中的特征向量作為原始特征表示為特征節點xi∈RL，其中i=1，2，···，N，N為特征數量，當前特征節點與其他所有特征節點之間的成對關系用r表示，將原始特征與成對關系拼接組合得到全局關系特征y。以特征節點x1舉例來說，圖中x1與其他特征節點之間的成對關系表示為r1=(r1，1，r1，2，···，r1，N)，將x1與成對關系r1拼接組合得到全局關系特征y1=[x1，r1]。同理，全部特征節點可以產生所有全局關系特征y(y1，y2，···，yN)，y作為全局注意力的特征向量用于計算全局關系注意力權重值(a1，a2，···，aN)。

圖2 全局關系注意力結構

這種成對特征關系的學習由于結合了所有特征位置的關系，可以很好地表示整張圖片的全局場景特征，為此本文將依此建立全局關系來引導場景注意力的實施。下面將重點介紹全局空間關系注意力和全局通道關系注意力。

2.1.1 全局空間關系注意力

全局空間關系注意力是在特征圖的空間維度上學習各個特征節點，對所有特征節點之間的成對關系進行緊湊的表示，得到在空間上具有全局化的結構信息。本文方法就是在目標檢測網絡中加入全局空間關系注意力(RGA-S)，以獲得整張遙感影像在空間上的全局場景信息作為場景約束。全局空間關系注意力的結構如圖3所示，具體實現過程為：

圖3 全局空間關系注意力

步驟1 輸入特征圖S∈RL×H×W，將特征圖中每個空間位置的L維特征向量作為特征節點si∈RL(i=1，2， ···，N， N=H×W)，形成一個節點圖GS。

圖4 全局通道關系注意力

步驟4 連接原始特征和通道關系矩陣，使通道關系注意力同時獲得全局結構信息和局部原始信息：

2.2 場景約束的高分辨率遙感影像目標檢測

將全局場景特征送入方向響應卷積和多尺度特征模塊，生成兼具旋轉不變和多尺度的目標特性信息，實現更準確定位和分類。最后通過交叉熵分類損失和定位損失的加權和聯合優化目標檢測網絡。

2.2.1 方向響應卷積模塊和多尺度特征模塊

方向響應卷積模塊包括4層大小為3×3的方向響應卷積(ORConv6_1， ORConv6_2， ORConv7_1，ORConv7_2)和Alignment特征編碼(ORAlign)。方向響應卷積由主動旋轉濾波器ARF構成，產生具有方向通道的特征圖，使用ORAlign編碼方式將具有方向性的特征圖編碼，使獲得的特征具有旋轉不變性。將遙感影像全局關系結構特征輸入方向響應卷積后，得到在場景約束條件下旋轉不變的深度特征。

多尺度特征模塊包括反卷積層、平均池化層和特征融合3個部分。反卷積層包括3個卷積核大小為2×2的反卷積層和1個3×3的卷積層，用于提高特征圖的空間分辨率，使得經過多層卷積的遙感影像特征圖信息得到有效保留，之后加入平均池化層可以得到更加緊湊的特征信息。特征融合中將Conv4_3，FC7和ORConv6_2融合在一起，這樣獲得的遙感影像目標特征同時具備低層視覺信息和高層語義信息。在獲得場景約束下的遙感影像目標特征之后，使用平均池化層和多尺度特征融合中最后的6個卷積層，共7個特征圖作為預測特征圖，特征圖尺寸大小如表1所示。

表1 OR-FS-SSD+RGA最終預測特征圖尺寸

2.2.2 網絡目標損失函數

由目標檢測網絡得到目標的深度特征后，比較網絡輸出和實際標注框的目標類別、位置信息，計算分類損失和定位損失的加權和來聯合優化網絡。本文分別使用交叉熵損失Lconf和Smooth L1損失Lloc作為分類損失函數和定位損失函數，對于任意目標u，交叉熵損失函數Lconf可以表示為其中，N為匹配的候選框的數量，α用于調整分類損失和定位損失之間的比例，默認設為1。

3 實驗結果與分析

3.1 實驗步驟

3.1.1 數據集

本文實驗采用西北工業大學標注的NWPU VHR-10[10]數據集。數據集包含10類目標，2934個實例，共800張圖片(650張包含目標，150張為不包含目標的背景圖片)，其中715張通過Google地圖獲得，空間分辨率在0.5～2 m，其余85張圖像是銳化的彩色紅外圖像，空間分辨率為0.08 m。輸入網絡圖片大小為512×512，由于原始數據集數據量較小，容易產生過擬合現象，考慮到高分辨率數據特點，本文采用水平和垂直的鏡像以及亮度調節的數據擴充策略，擴充為原來的6倍，60%作為訓練集，20%驗證集，20%測試集。

3.1.2 實驗設置

實驗使用Ubuntu16.04操作系統，NVIDIATITAN XP加速處理器進行加速，Pytorch作為深度框架，SGD優化算法進行優化，VOC07+12預訓練模型作為初始化，超參數設置如表2所示。

表2 網絡超參數設置

性能評價指標使用平均檢測準確率(mean Average Precision， mAP)和檢測速度(frames per second， fps)。

3.2 實驗1：不同注意力模塊對目標檢測性能影響

本實驗以OR-FS-SSD網絡為基礎，測試了分別加入不同注意力模塊對目標檢測準確率和速度的影響。為了簡化表示，加入不同模塊的網絡記為“+模塊名”，結果如圖5所示。OR-FS-SSD是在FS-SSD中加入方向響應卷積的檢測網絡，獲得93.86%mAP和29.50fps；+SE采用SENet[11]中的SE模塊，使用經過空間全局平均池和兩個非線性的全連接層的特征計算通道注意力，獲得92.93%mAP和26.93fps；+CA采用DANet[12]中的通道注意力模塊CAM，在局部特征建立豐富的上下文依賴關系，獲得94.74%的mAP和29.57fps；CBAM[13]是從通道和空間兩個維度獲取注意力的模塊，該模塊和+ CBAM-C(僅通道)，+CBAM-S(僅空間) 的mAP分別為92.78%， 93.53%和93.77%，檢測速度分別為25.81fps， 27.77fps和27.88fps；本文方法通過關注全局場景信息檢測目標，+RGA， +RGA-C(僅通道)和+RGA-S(僅空間)的mAP分別達到93.90%， 94.74%和95.59%，檢測速度則為28.80fps，28.18fps和30.07fps。

圖5 不同注意力模塊的檢測結果

分析上述結果，在OR-FS-SSD網絡基礎上，各模塊檢測效果表現為RGA-S優于RGA-C優于RGA， CBAM-S優于CBAM-C優于CBAM，即CBAM和RGA均在僅使用空間注意力模塊時效果最好。一般來說，遙感影像場景往往比較復雜，具有較強的空間分布規律，空間信息會顯得更為重要，而空間注意力表達的是同一通道上不同位置的結構信息，可以使場景特征不受通道維度的影響。若同時使用空間和通道注意力，會使得空間特征和通道特征相互影響反而降低了檢測效果。

3.3 實驗2：每類目標檢測準確率對比

本實驗選取實驗1中檢測準確率較高的+SE，+CA， +CBAM-S和本文的+RGA-S共4個網絡進行比較，每類目標準確率對比結果如圖6所示。可以看出，本文方法+RGA-S在飛機檢測上和其他方法相比有明顯的提升，達到99.32%的檢測準確率，這是因為在檢測過程中加入場景信息作為約束，有效捕獲了圖像中的全局結構信息，而其他3種方法僅在局部范圍內獲取特征圖的注意力權重值。對于棒球場、網球場、籃球場和田徑場這些類目標，4個網絡的檢測準確率均達到99%以上，因為這些目標所在的場景類似，場景約束對其檢測性能的提升并不明顯。由于海港所在的場景較明顯，+RGA-S很好地學習到了海港的場景特征，獲得99.45%AP，相比+SE和+CBAM-S的網絡準確率提高了8.57%和8.84%。4種方法在船舶、儲油罐、橋和車輛的檢測中準確率普遍較低，只有90%左右，尤其是車輛檢測，這是由于其形態多變且所處的場景較復雜。綜合來看，本文方法在目標檢測中加入場景信息作為約束，對一些典型場景的目標檢測性能是有作用的。

圖6 4個網絡中每類目標檢測準確率

3.4 實驗3：目標檢測的主觀檢測結果

為更直觀展示所提方法的檢測性能，圖7示出了FSSD， FS-SSD， Faster-RCNN， +CA和+RGA-S的主觀結果。由于FSSD， FS-SSD， Faster-RCNN是用于常規圖片的目標檢測方法，對飛機、儲油罐、橋和車輛等遙感影像目標存在漏檢現象，檢測準確率不高，Faster-RCNN對儲油罐和車輛等分布密集的目標存在大量檢測重疊框。+CA可以學習遙感影像目標方向不變性和尺度不變性的特征，在檢測飛機上取得了較好的性能。本文+RGA-S方法利用場景信息作為約束對飛機實現了更精確的檢測，檢測出了所有的飛機目標，獲得比其他方法更高的分類置信度。

圖7 FSSD， FS-SSD， Faster-RCNN， OR-FS-SSD+CA和OR-FS-SSD+RGA-S的主觀結果對比

3.5 實驗4：和其他主流網絡的檢測性能對比

本實驗選取表現最好的+RGA-S方法與其他主流網絡的目標檢測方法進行了性能比較，如表3所示，本文方法達到最高的95.59%mAP和30.07fps，Faster-RCNN檢測精度高但速度較低，YOLOv3相對較好地權衡了檢測速度與精度，兩種方法分別獲得mAP為93.10%和91.04%，檢測速度為0.09FPS和14.68FPS。+CA[6]通過挖掘各個通道之間的相互依賴關系獲得更具區分度的目標特征，獲得mAP為94.74%和29.57%fps，已經取得了很好的性能，但沒有利用場景類別和地物目標的關聯關系。相比YOLOv3， Faster-RCNN和+CA，本文方法的mAP分別提高了4.55%， 2.49%和0.85%，檢測速度提高了15.39fps， 29.98fps和0.5fps。LCFFN[14]， GBD[15]，CBD-E[16]和ORSIm[17]是專門用于遙感影像目標檢測的網絡，盡管mAP均在90+%，但是算法復雜度都比較高，fps僅為0.35， 2.2， 2和4.72。本文網絡相比這4種方法檢測準確率分別提高了1.92%， 1.64%，0.61%和0.2%，檢測速度大幅超過了這4種方法。

表3 和主流網絡的檢測準確率對比

經過綜合比較，本文方法利用方向響應卷積和多尺度融合策略，獲得了目標旋轉不變和多尺度特征，采用RGA-S在空間上提取遙感影像的全局場景信息，獲得更好的目標檢測性能。

4 結束語

本文提出了一種全局關系注意力引導場景約束的高分辨率遙感影像目標檢測方法。以FS-SSD目標檢測網絡為基礎，加入全局關系注意力模塊，獲得遙感影像的全局結構化信息；然后以全局關系引導場景約束，結合方向響應卷積模塊和多尺度特征模塊進行目標預測；最后利用兩個損失函數聯合優化網絡實現目標檢測，提升了目標檢測性能。在NWPU VHR-10數據集上，和現有的深度學習方法相比取得了更好的檢測性能，mAP達到95.59%，檢測速度30.07fps，說明在場景約束下可以有效提升目標檢測的整體性能。然而在一些所處場景復雜且變化較大的目標，檢測性能提升并不明顯，說明利用全局注意力來學習場景上下文信息仍有改進空間，之后將考慮在目標檢測網絡中加入門控機制來強化捕獲全局上下文信息的能力，產生更魯棒的場景特征表達，進一步提高目標檢測性能。