注意力特征融合的快速遙感圖像目標檢測算法

吳建成，郭榮佐，成嘉偉，張 浩

四川師范大學 計算機科學學院，成都 610101

遙感技術在軍用、民用等領域發揮著重要作用，但如何從遙感圖像中提取大量有價值的信息并充分應用于科學技術研究，對遙感圖像的相關任務提出了新的挑戰。其中，遙感圖像的目標檢測任務是對遙感圖像中的特定目標類別進行檢測并識別其位置。如何提高檢測性能以獲取更準確的定位和細致的分類結果，是該領域的重點研究內容。

近年來，出現了許多優秀的目標檢測方法，如基于錨框（anchor-based）兩階段的Faster R-CNN、Mask R-CNN、FSOD[1]算法，以及單階段檢測器SSD和YOLO系列等。最近興起的無錨框（anchor-free）檢測器FCOS[2]等和基于Transformer 的Deformable DETR[3]、Swin Transformer[4]等，也在通用圖像識別數據集上取得了不錯的效果。同時，針對遙感圖像中小目標檢測問題，已經有許多研究者提出了各種改進方案和專門設計的模型，如：Jeune等人[5]基于FSOD 算法，提出了一種基于對比性建議編碼的遙感圖像少樣本目標檢測方法TiNet，使用對比性學習來提高建議特征的判別性；李超等人[6]基于Faster R-CNN 提出了一種基于注意力機制的特征融合網絡ABFN，通過尺度注意力模塊和邊緣細化模塊改善了遙感圖像中小且密集排布目標檢測困難的問題；Xu等人[7]通過結合Transformer 和CNN 的優勢，提出了一個基于注意力機制的少樣本目標檢測的框架，并應用一種新的多尺度對齊方法來改善小目標的檢測效果。不過它們都受制于算法的特性，無法在保持精度的情況下有效提升檢測速度。

近年來，YOLO 系列以其快速、準確和成熟的工程能力成為目標檢測領域的代表性算法。YOLO 系列算法經過多次改進和優化，從YOLOv1 到YOLOv6[8-12]，不斷提升了網絡結構、損失函數、數據增強等方面的設計細節，并且引入了更多先進的模塊和技巧。已有不少算法基于YOLO 進行了大量改進以實現遙感圖像的快速目標檢測，如：Gong等人[13]針對衛星圖像中小目標和方向變化的問題，引入Swin Transformer作為骨干網絡來提取多尺度特征，并利用注意力機制來增強小目標和方向敏感性；Wu 等人[14]提出了一種基于YOLOv5 和全卷積神經網絡（FCN）的快速小目標檢測系統，利用FCN作為輔助網絡來獲取每個目標在圖像中的分布特征，并利用YOLOv5作為主要網絡來進行分類和回歸，在自建數據集上取得了良好的效果；李坤亞等人[15]通過在YOLOv5中引入通道-全局注意力機制（CGAM）和密集上采樣卷積（DUC）模塊的方式，增強對不同尺度目標的特征提取能力并加強了低分辨率特征的提取效果。這些算法在遙感圖像的檢測方面都取得了顯著進步，但仍在檢測速度和精度的平衡之間存在一些局限性和不足之處。YOLOv7[16]是YOLO 系列的新版本算法，它通過特征精煉、重參數化和動態標簽分配等技術，減少了參數量和運算量，提高了檢測速度和準確度。

YOLOv7 的特性使得它適用于快速目標檢測任務，但目前以其為基礎并針對遙感圖像特點做出的改進較少，仍需特別設計以適用于這類圖像。本文基于YOLOv7架構進行了深度優化，重構了其特征提取網絡和特征融合網絡結構，提出了一種注意力特征融合的快速遙感圖像目標檢測算法——YOLO-Aff。具體來說，針對遙感圖像中常見的背景信息復雜、多目標且目標尺度變化大、目標小且密集等問題進行了大量優化，包括：（1）設計了一種帶通道注意力的高效層聚合網絡（ECALAN），用于調整特征提取網絡對于不同通道特征圖的重要程度，增強特征提取能力；（2）引入空間深度卷積模塊（SPD-Conv）與模糊池（Blur Pool）的方案替換原網絡中的最大池和步長為2的卷積，盡可能減少網絡下采樣帶來的特征損失，保留更多的全局特征；（3）以BiFPN 結構為基礎結合SimAM 注意力特征融合模塊（CBSA）和SPD 設計一種新型的特征融合網絡結構，以加強多尺度的特征融合能力和小目標的檢測能力；（4）使用Wise-IoU作為邊界框回歸的損失函數進一步提高檢測的準確性。在NWPU VHR-10 公開數據集上的數據表明，本文算法對背景復雜、小目標較多的遙感圖像具有良好的檢測效果。

1 YOLOv7網絡模型結構

本文采用YOLOv7作為基線網絡，它是目前為止速度和精度兼具優勢的一種單階段檢測算法，主要由輸入模塊（Input）、主干網絡（Backbone）、特征融合網絡（Neck）和預測網絡（Head）四部分組成，如圖1所示。

圖1 YOLOv7網絡結構Fig.1 Network structure of YOLOv7

輸入模塊：該模塊通過對輸入圖像進行尺寸統一和多種數據增強手段（如Mixup、Mosaic、Affine 等）的應用，豐富數據集，然后采用自適應錨框技術計算得到初始錨框大小。

主干網絡：該網絡由基礎卷積模塊（CBS）、高效層聚合網絡（efficient layer aggregation net，ELAN）模塊和最大池模塊（MP）組成，負責對輸入圖像進行不同尺度的空間降采樣和特征提取。具體而言，對輸入圖像進行連續的3次下采樣（4倍、8倍、16倍），然后將不同尺度的特征圖進行通道調整后輸入到特征融合網絡。

特征融合網絡：該網絡由特征金字塔（FPN）、路徑聚合模塊（PAN）和空間金字塔池化（SPPCSPC）構成，負責對來自主干網絡不同特征層和檢測層各尺度的特征進行融合，以生成攜帶更豐富信息的特征，用于輸入到預測網絡中。特征融合網絡會將來自主干網絡的三種不同尺度的特征圖與本網絡上采樣后的特征圖分別進行融合，以同時保留深層網絡的抽象特征和淺層網絡的語義信息。

預測網絡：該網絡使用可重參數化的卷積模塊（RepConv）調整通道，采用CIoU Loss 作為坐標損失函數，BCE Loss 作為分類損失和目標置信度損失函數。預測網絡通過預測模塊對特征融合模塊所產生的三種不同尺度的特征圖進行目標定位，生成相應的預測框，并通過非極大值抑制（NMS）對預測框進行處理，最終得到目標所在的位置結果。

YOLOv7 算法已經在自然圖像的目標檢測領域取得了較好的表現，但目前尚未出現許多基于此算法設計的針對遙感圖像特點的目標檢測算法，未能充分發揮其速度快、精度高的優勢。

2 YOLO-Aff遙感圖像目標檢測算法

由于遙感圖像普遍具有背景復雜、小目標多、特征提取難等問題，原始的YOLOv7網絡模型在此任務上不能取得很好的效果，依然存在大量的誤檢、漏檢問題，影響準確率。針對以上問題，設計了一款注意力特征融合的快速遙感圖像目標檢測算法——YOLO-Aff，整體框架如圖2所示。

圖2 YOLO-Aff網絡結構Fig.2 Network structure of YOLO-Aff

輸入遙感圖像的圖片經過輸入模塊的數據增強后調整為640×640×3的統一形狀，經過多次帶SPD的卷積（SPD-Conv）運算后進入由帶通道注意力的高效層聚合網絡（ECALAN）和模糊池化下采樣模塊（BP）組成的主干網絡，隨即進入特征融合網絡。特征融合網絡以雙向特征金字塔網絡結構為基礎，設計了一款無池化的FPN結構。具體而言，由池化金字塔網絡（SPPCSPC）、ELAN 模塊、SimAM 注意力特征融合模塊（CBSA）、無跨步卷積模塊（SPD-Conv）構成，它們所組成的網絡能夠在減少網絡參數量的同時，融合更強的低層語義信息，提升不同尺度下的特征融合能力。隨后進入預測網絡，使用無參卷積模塊調整通道后輸出80×80×255、40×40×255和20×20×255三種不同尺寸的特征圖，最后使用Wise-IoU作為坐標損失函數進一步提升檢測目標精度。下面給出本網絡的偽代碼算法表示。

（1）輸入模塊（Input）

對輸入圖片img 進行一系列數據增強，并resize 成統一的形狀，得到輸入特征input。

（2）主干網絡（Backbone）

對輸入input 分別利用SPD-stem、ECALAN、BP 模塊提取特征信息，得到不同尺度的特征信息。

（3）特征融合網絡（Neck）

對主干網絡得到的特征x使用upsample 上采樣、SPD-Conv 下采樣進行尺度變換，利用CBSA、Concat 進行特征融合。

（4）預測網絡（Head）

使用BCE Loss作為分類損失和目標置信度損失函數，使用LWIoU作為邊界框回歸損失函數，得到預測融合。

2.1 無跨步卷積（SPD-Conv）

在YOLOv7 的原始網絡中，存在大量的跨步卷積（strided convolution），這是一種常見但有缺陷的設計，它可能會導致遙感圖像中關鍵的細粒度信息的丟失和特征表示學習的效率降低。為了有效檢測遙感圖像中的較小目標，本網絡中引入了一種無跨步卷積（SPD-Conv）[17]來取代跨步卷積。無跨步卷積由一個空間深度轉換層（space-to-depth）和一個非跨步卷積層（non-strided convolution）組成，它可以將圖像像素從二維空間壓縮到一維空間。

比例因子（scale）設置為2 時，即scale∈{1,2}，對于任何寬為S、高為S、通道數為C1的中間特征圖X(S×S×C1)可產生下列一系列子圖：

根據式（1）可得到4 個子特征圖f0,0、f0,1、f1,0、f1,1，將得到的特征圖按照通道方向拼接得到輸出特征圖X′(S/sacle,S/sacle,scale2C1)，其通道數是輸入張量通道數的4倍，即4×C1，完成空間深度的轉化。最后為了盡可能地保留所有的判別特征信息，將X′再進行一次無跨步卷積，得到最后的特征圖X″(S/sacle,S/sacle,C2)，示意如圖3。

圖3 SPD-Conv無跨步卷積Fig.3 Space to depth and non-strided convolution

2.2 注意力機制模塊嵌入

近年來，注意力機制在目標檢測領域受到了廣泛關注。有效地添加注意力模塊到檢測網絡中，可以降低圖像背景復雜性對檢測網絡的干擾，使網絡更加關注需要檢測的目標信息，從而提高檢測性能。YOLOv7作為一款通用目標檢測模型，主要應用于自然圖像的檢測，未關注到遙感圖像背景復雜、目標小的特殊性，導致模型在特征提取的過程中無法充分關注小目標區域，常常出現漏檢和誤檢的情況。為了使模型更加關注需要檢測的目標位置和類別，而不是在冗余的背景信息上浪費計算資源，YOLO-Aff 嘗試根據注意力模塊的特點將其嵌入到YOLOv7的網絡模塊中，分別在主干網絡模塊中和特征融合網絡模塊中引入了高效通道注意力（efficient channel attention，ECA）[18]和簡單無參注意力（SimAM）[19]，形成了全新的帶通道注意力的高效層聚合網絡（ECALAN）和SimAM注意力特征融合模塊（CBSA）。

2.2.1 帶通道注意力的高效層聚合網絡（ECALAN）

ECA 注意力機制是一種基于卷積神經網絡的注意力機制，通過將特征圖與它們自己的卷積結果進行自注意力計算來獲取重要特征。這種注意力機制利用了特征圖本身的信息來學習如何選擇最相關的特征，從而提高網絡的性能和魯棒性。與傳統的注意力機制不同，ECA 注意力機制不需要任何外部信息，而且計算效率高，能夠適應目標檢測任務的實時性。為了在遙感圖像目標檢測任務中更好地聚焦于需要檢測的目標位置和類別，而非被冗余的背景信息所干擾，嘗試將YOLOv7的高效聚合層網絡（ELAN）模塊按照ACMix[20]中注意力特征融合的設計思想，設置多條卷積和自注意力模塊的混合路徑，嵌入ECA注意力模塊，結構如圖4所示。

圖4 ECALAN網絡結構和ECA注意力機制模塊Fig.4 ECALAN network structure and ECA attention mechanism module

在ECA 模塊中，首先通過對輸入特征圖進行一次全局平均池化（GAP），將特征圖X從H×W×C的矩陣轉換為1×1×C的通道特征向量，計算得到自適應的一維卷積核大小k，接著將其送入此卷積中，通過sigmoid函數來學習通道注意力并得到特征圖每個通道的權重，最后將變換后的結果與原始特征圖進行逐通道加相乘輸出加權后的特征圖。

ECA 與ELAN 結構的組合能夠同時享有卷積結構在局部更強的關注度和自注意力結構自適應對不同區域信息特征的關注和捕獲，即其既能夠捕捉不同尺度和通道的信息，又能夠充分利用自注意力和卷積的優勢，同時保持低計算開銷，從而在不顯著增加網絡負擔的情況下，提升復雜背景下的遙感圖像目標特征的提取能力。

2.2.2 SimAM注意力特征融合模塊（CBSA）

原YOLOv7 結構對于主干網絡所提取的不同尺度的特征，只是簡單地調整通道后便輸入特征融合網絡中，這種做法顯然對網絡的速度有著一定的幫助，但這卻造成了特征信息不同程度的丟失。同時通過多次實驗發現，此路徑的計算和參數對網絡整體性能，特別是模型的推理速度有著較大影響。基于對不同尺度特征融合效率和性能的綜合考慮，在網絡中設計了一個SimAM 注意力特征融合模塊，用于在保證網絡性能的前提下，盡可能地增強有效特征信息的利用。此模塊由卷積層、批歸一化層、SimAM注意力層和ACON-C激活函數構成，如圖5所示。

圖5 SimAM注意力特征融合模塊結構Fig.5 SimAM attention feature fusion module structure

SimAM模塊基于能量函數評估每個神經元的重要性（即能量越低，神經元與周圍神經元的區別越大，重要性越高），相比于其他自注意力模塊，SimAM可在不向原始網絡添加額外參數的情況下推斷特征圖中的三維注意力權重，避免了大量參數的引入。ACON-C是ACON[21]函數族中的一種簡單情況，是一種被用于改善卷積神經網絡中激活函數非線性特性的激活函數，它通過引入開關因子去學習非線性（激活）和線性（非激活）之間的參數切換，自適應地學習是否激活神經元，公式如下：

式中，p1和p2是兩個可學習的參數，它們函數控制著上下界的值，在網絡中可自適應地調整；σ表示sigmoid激活函數；β是一個平滑因子，用于控制是否激活神經元（β為0則不激活）。

SimAM注意力機制和ACON激活函數都出于對神經元的激活、抑制情況進行設計，在特征信息通過此注意力特征融合模塊后，能夠依據神經元重要性提取關注信息，抑制背景噪聲等無關信息，將它們有機結合起來可以進一步提高卷積神經網絡的性能和魯棒性。具體而言，SimAM 注意力機制可以幫助網絡更好地學習輸入特征圖的相關性，提取更加有用的特征信息；而ACON激活函數則可以提高網絡的非線性表征能力，增強網絡對于復雜數據的建模能力。同時，由于兩者都具有輕量級、計算效率高的特點，可以方便地嵌入到YOLO-Aff網絡中，從而提高網絡的性能和精度。

2.3 模糊池下采樣模塊（BP）

在YOLOv7的原始主干網絡中，作者使用最大池下采樣模塊（MP）來對輸入圖片進行連續的三次下采樣。盡管最大池化是一種常用的下采樣手段但卻無法帶來很好的平移不變性，即當輸入的圖像有較小的平移時（或許只是一個像素）會很大程度上影響網絡的輸出，這對網絡的魯棒性有很大影響，并一定程度上影響了網絡的高效特征提取。為保持平移不變性，一種常見的方法是在下采樣之前進行低通濾波（如先進行一次卷積），但是其插入位置至關重要，位置的不正確反而會導致網絡的效果下降。

模糊池[22]（Blurpool）將最大池化分解為步長為1 的Max 操作和步長為2 的BlurPool 操作，將最大池化和高斯模糊結合在一起，用于卷積神經網絡中的下采樣操作。相較于傳統的最大池化，BlurPool可以在減小空間分辨率的同時保留更多的信息，有利于網絡的學習和泛化能力的提升，并可以很大程度上緩解平移不變形的丟失。同時，由于模糊池只考慮了局部小區域的模糊信息，而卷積可以考慮小區域的所有值的信息，因此與原網絡結構相似地，結合卷積和模糊池的優勢，設計了模糊池下采樣模塊（BP），如圖6所示。

圖6 MP和BP模塊結構對比圖Fig.6 Comparison diagram of MP and BP module structure

具體而言，BP 模塊分別使用模糊池和CBS、SPDConv 拼接組成。在YOLO-Aff 主干網絡的三次下采樣階段分別使用通道數為256、512和1 024的模糊池下采樣模塊（BP）完成，并為它們配置過濾器為6的模糊半徑和步長為2池化大小來調整下采樣程度，以達到最好的結果。

2.4 邊界框回歸損失函數改進

邊界框回歸（BBR）的損失函數對于目標檢測至關重要，其良好的定義將為模型帶來顯著的性能提升。當下大多數工作都假設訓練數據中的示例是高質量的，并側重于加強BBR 損失的擬合能力，如GIoU[23]使用了由最小封閉框構造的懲罰項，DIoU[24]使用了由距離度量構造的懲罰項。YOLOv7 原始模型采用CIoU[24]作為BBR損失函數，它是基于DIoU 引入了長寬比度量得到的。CIoU盡管相較于常用的IoU具有更好的表現，但在遙感圖像中，可能會由于天氣情況、拍攝角度、圖像尺度、背景復雜等因素，不可避免包含低質量的樣例，如果盲目地在低質量樣例上加強BBR，可能會危害網絡魯棒性。

為解決此問題，YOLO-Aff 引入Tong 等人[25]通過構造距離注意，提出的Wise-IoU 損失函數LWIoUv3，定義如下：

式中，RWIoU用于顯著放大普通質量錨框的LIoU，LIoU用于顯著降低高質量錨框的RWIoU，當錨框與目標框完全重合時，它會將焦點放在中心點之間的距離上。Wg和Hg為最小外接框的寬和高，為了防止RWIoU阻礙梯度的收斂，Wg和Hg被從計算圖中分離出來（上標*表示這一操作）。表示帶動量m的運行均值，錨框的異常程度β表示為和LIoU的比值。

3 實驗與分析

3.1 實驗數據集

本文所使用的數據集是西北工業大學發布的NWPU VHR-10數據集[26]。該數據集是一個用于空間物體檢測的10類地理遙感數據集，其中包括建筑物、森林、公園、水體等多種不同的背景類別。該數據集包含650 張帶有目標的圖像和150張背景圖像，共計800張圖像，包含3 896 枚目標實例。此數據集已經過標注和驗證，可以方便地用于遙感圖像目標檢測算法的訓練和測試。如圖7所示，在包含目標的650張圖像中的標注顯示，該數據集中包含大量的小尺寸目標（尺寸小于32 px×32 px的目標），如飛機、儲油罐和汽車等，占比高達44.3%。這些目標受到圖像拍攝角度、遮擋和光照等因素的影響，在遙感圖像中大小和形狀各異，對于遙感圖像檢測算法的測試具有參考價值。

圖7 NWPU VHR-10數據集實例類別和大小分布統計Fig.7 NWPU VHR-10 dateset instance category and size distribution statistics

本文將數據集中帶有目標的650張圖像中按照4∶1的比例分配訓練集和測試集并調試YOLOv7 原始數據增強算法進行實驗，旨在驗證所提出算法的性能，對遙感圖像研究具有一定的參考意義。

3.2 實驗環境和訓練參數

本實驗在裝載Ubuntu 系統的Linux 服務器下基于Pytorch框架進行訓練開發，具體實驗環境如表1所示。

表1 實驗環境配置Table 1 Experimental environment configuration

相同超參數的情況下進行訓練、驗證和測試，均從頭開始訓練，設定訓練輪次（Epochs）為300，批量大小（Batchsize）為16，圖片輸入尺寸（Img-size）為640×640。實驗采用隨機梯度下降（SGD）優化器，動量（Momentum）和權重衰減（Weight Decay）均使用網絡默認配置，分別為0.937、0.000 5；前3輪使用0.8的動量進行預熱（Warmup），其余超參數均采用YOLOv7 默認值。使用merge-NMS作為極大值抑制，IoU 閾值為0.5，預測框置信度（Confidence）設置為0.001。

3.3 評價指標

遙感圖像目標檢測精度由預測結果的定位精度和分類精度共同計算得出，為有效驗證模型的性能，本研究選用平均精確度（mAP）、準確率（Precision，P）、召回率（Recall，R）、每秒傳輸幀數（FPS）和浮點計算量（FLOPs）、模型體積（Volume）幾項指標進行評估。其中，P反映的是預測為正例的樣本中有多少是真正例，R反映的是實際為正例的樣本中有多少被預測為正例。即：

其中，TP（true positive）表示真正例，即預測為正例且實際也是正例的樣本數；FP（false positive）表示假正例，即預測為正例但實際為負例的樣本數；FN（false negative）表示假負例，即預測為負例但實際為正例的樣本數。P和R是評估分類模型性能的兩個指標。通常情況下，二者是相互矛盾的，提高P 可能會導致R 下降，反之亦然。為了全面評估模型的性能，一般使用所有類別精確度（AP）的平均值mAP來計算。AP的計算公式如下：

其中，m表示正樣本的數量，P(r)表示當檢索到前r個結果時的P，Δr表示第r個結果與第r-1 個結果之間的R差值。通常情況下，P(r)和Δr會被組成為一個關于R 的函數P(r)，然后使用數值積分的方式來計算AP并取平均值得到mAP，即：

其中，n為實際類別數量。

3.4 實驗結果與分析

3.4.1 消融實驗

為探究各個改進方法對基線目標檢測網絡產生的影響，本文對YOLO-Aff 做了一系列消融實驗，如表2。具體而言，表中以原始YOLOv7 算法為基線網絡，按照YOLO-Aff算法具體改進的部分分為7組實驗呈現。本文將改進部分分為：改進主干網絡（BP+ECALAN）、改進特征融合網絡（BiFPN+CBSA）、消除跨步卷積（SPD）、改進邊界框回歸的損失函數（Wise-IoU）四部分。

表2 YOLO-Aff消融實驗結果Table 2 Ablation experiment results of YOLO-Aff

由表2 可知，組別2 相比組別1 改進了主干網絡結構，分別在P 和R 上提升了0.9 和5.1 個百分點，mAP 提升1.3個百分點；組別3相比組別1改進了特征融合網絡結構，在P 和R 上均有提升，分別是3.1 和2 個百分點，mAP提升1.4個百分點；組別4和組別5分別在組別2和組別3 的基礎上消除了跨步卷積，mAP 分別提升了0.6和0.3 個百分點；組別6 結合組別4、5，相比原模型分別在P、R、mAP 上有3.6、5.6、2.6 個百分點的提升；組別7加入改進邊界框回歸改進，在組別6的基礎上分別在P、R、mAP 上有0.8、0.2、0.3 個百分點的小幅提升，此時mAP值為96%。

通過上述分析可知，本文改進算法在提高P、R、mAP方面均有一定優勢，對比基線網絡分別有4.4、5.8、2.9 個百分點的提升。總體而言，在主干網絡中引入ECALAN 和BP 對R 有著大幅的改善作用，而改進特征融合網絡對P和R均有著可觀的提升，SPD在不同位置的引入有著不同效果，在全局引入能夠對算法mAP 帶來小幅提升，Wise-IoU的引入能夠在不增加網絡計算量和參數的情況下提升三個指標，是一種性價比較高的改進方案。

3.4.2 對比實驗

由于模型復雜度的增加，勢必會帶來FPS 的降低和浮點計算量（GFLOPs）、參數量（Parameters）和體積（Volume）的增加。為驗證本文所提出算法的仍然在目標檢測領域具有有效性和競爭力，在相同的環境配置下選用SSD、Faster RCNN、CenterNet、YOLOv5l、YOLOv7等主流目標檢測算法進行對比實驗，實驗結果如表3所示。

表3 YOLO-Aff對比實驗結果Table 3 Comparison experiment results of YOLO-Aff

YOLO-Aff 在遙感影像數據集NWPU VHR-10 上的實驗數據表明，其檢測精度全面優于主流的目標檢測算法。具體而言，相較于兩階段的Faster-RCNN 算法，YOLO-Aff 在GFLOPs 和Volume 僅為其0.57 倍和0.85倍的情況下，分別在mAP、FPS上獲得了1.25倍、3.11倍的提升。與經典單階段檢測算法SSD 相比，本算法在Volume相當的情況下，付出51.2 GFLOPs的額外浮點計算量代價獲得了接近22個百分點的mAP提升和2.27倍的FPS 提升。同時，本文算法在mAP 和FPS 指標上均優于浮點計算相似的CenterNet、YOLOv5l 算法。由于YOLO-Aff使用了更復雜的網絡結構，所以其在GFLOPs和Volume 上均較基線算法YOLOv7 有少量提升，并在FPS上有少量下降（仍能滿足高速目標檢測），但在mAP上明顯優于基線YOLOv7算法，并且在對比實驗中達到領先的速度和精度的平衡。

由表4可知不同算法的多類別檢測結果，本文算法在遙感影像數據集NWPU VHR-10 上的7 類目標檢測效果優于其他目標檢測算法。相比于其他算法而言，YOLO-Aff 對于數據集中尺度變化較大的棒球場、籃球場、網球場、運動場等也有著更好的檢測效果，對于小目標密集的船只、儲油罐有著更好的檢測效果，對于難以和背景分離的橋梁也有著較好的檢測效果。

3.4.3 其他數據集上的實驗

為了驗證本文提出的YOLO-Aff算法在遙感圖像目標檢測任務中具有通用性，選用公開的大規模遙感圖像數據集DOTA v1.0 和遙感圖像艦船數據集HRSC-2016從零開始訓練并進行評估試驗，結果如表5、表6。由兩表可知，改進的YOLO-Aff算法在準確率、召回率和mAP指標上均優于YOLOv7基線算法。

表5 在DOTA v1.0數據集上的實驗結果Table 5 Experimental results on DOTA v1.0 dataset 單位：%

表6 在HRSC 2016數據集上的實驗結果Table 6 Experimental results on HRSC 2016 dataset 單位：%

3.4.4 檢測結果與分析

為了能夠更加直觀地展示YOLO-Aff的檢測效果，對本文算法與基線算法在不同背景下的遙感圖像進行檢測，并對其進行標注和可視化。圖8展示的是密集小目標的檢測場景，結果表明本文算法能夠捕捉更多小目標的特征信息，從而有效提升小目標的檢測正確率；圖9 展示的是圖像中出現誤檢的情況，對比YOLOv7和YOLO-Aff 算法的熱力圖可知，本文算法極大降低了因樣例不均衡導致的誤檢幾率，對目標定位和識別分類有較強的優勢。圖10 展示的是圖像中出現漏檢的情況，對比可知本文算法大大降低了在遙感圖像復雜背景下目標識別漏檢的幾率，相比原始網絡更有優勢。

圖8 密集小目標場景下可視化對比結果Fig.8 Visual comparison results in dense small target scene

圖10 復雜背景下漏檢情況可視化對比結果Fig.10 Visual comparison results of missed detection in complex background

4 結束語

針對遙感圖像背景復雜、小目標多、特征提取難等問題，提出了一種注意力特征融合的快速遙感圖像目標檢測算法——YOLO-Aff。該算法以YOLOv7算法框架為基礎，通過引入包括ECA注意力機制、模糊池技術來減少主干網絡下采樣帶來的信息損失，并以BiFPN為基礎基于SPD模塊設計了無池化的特征提取網絡，結合注意力模塊CBSA 保留更多來自主干網絡不同尺度的特征。最后，優化邊界框回歸損失函數為Wise-IoU進一步提升網絡的性能。經在遙感數據集NWPU VHR-10 上實驗驗證，該算法在FPS 指標不顯著下降的情況下，比原有的網絡模型P、R、mAP值分別提高了4.4、5.8、2.9個百分點，并優于目前主流的單階段和雙階段目標檢測模型，有效解決了遙感圖像的快速檢測難的問題。同時，由于本文算法網絡結構較原模型更復雜，所以帶來浮點運算和參數量的增長，后期將嘗試對輕量化改進方向開展進一步的研究。