基于改進YOLOv5 的遙感小目標檢測網絡

李嘉新，侯 進，盛博瑩，周宇航

（1.西南交通大學 計算機與人工智能學院，成都 611756；2.西南交通大學 信息科學與技術學院智能感知智慧運維實驗室，成都 611756；3.西南交通大學 綜合交通大數據應用技術國家工程實驗室，成都 611756）

0 概述

近年來，遙感圖像目標檢測在無人機巡檢［1］、農業監測［2］、城市規劃［3］、生態保護［4］等領域得到了廣泛應用，因此，對遙感圖像檢測的進一步優化具有重要意義。遙感圖像采用空中設備對地采集信息，可以解決地面采集覆蓋范圍有限、減少目標被遮擋等問題。但是，從遠距離和俯瞰視角拍攝的目標在高分辨率下呈現多鄰域聚集、小目標占比高等特性，導致檢測精度大幅下降，給航拍遙感場景下小目標檢測帶來巨大挑戰。根據國際光學工程學會定義，尺寸小于原圖的0.12%可認為是小目標［5］。

現階段遙感領域的小目標檢測性能的提升主要從多尺度融合和感受野角度出發。文獻［6］對特征金字塔模塊進行重構，添加跨層級橫向連接以融合更多的通道特征，并在檢測頭前引入位置注意力（Coordinate Attention，CA）機制［7］以確保遙感小目標精確定位，雖然其對小目標具有較優的檢測性能，但是采用直接去除頂層特征提取層的方式會對語義信息造成一定程度的損失，不利于應對復雜場景下的檢測任務。文獻［8］提出用于特征增強的特征圖融合機制，利用卷積操作對不同深度、不同尺度的特征圖深度以及尺度進行統一，融合得到檢測能力更強的特征圖，從而構建特征金字塔（Feature Pyramid Network，FPN）以增強小目標特征。盡管在遙感飛機和不同空中飛機數據集上的檢測精度均有所提升，但是其檢測速度無法滿足實時性需求。文獻［9］基 于Faster R-CNN［10］上的特 征金字塔［11］結構設計了特征門控模塊和動態融合模塊，依據不同尺度分配不同權重來區分目標尺度對特征融合的影響，解決在特征融合中共享同一權重的問題。但是，基于雙階段的目標檢測算法本身在速度方面存在一定的局限性。

此外，研究人員從感受野角度來提升小目標檢測性能。文獻［12］在8 倍下采樣后的特征映射中添加可變形卷積，對卷積中采樣點的位置增加1 個偏移，擴張實際感受野進而提升對小目標的識別精度，但是當目標存在背景遮擋時虛警率和漏檢率較高。文獻［13］參考RFB（Receptive Field Block）［14］結構，采用多分支處理和空洞卷積設計特征增強模塊以加強特征語義信息，減少小目標的檢測精度損失，但是在遙感圖像檢測精度上仍有進一步提升的空間。文獻［15］利用混合空洞卷積的方式提取特征，有效增大感受野，并直接引入空洞空間金字塔池化（ASPP）［16］進行多尺度特征融合，以捕獲更完整的衛星道路圖像信息。但是以上方法使用場景單一，不能很好地應用在多場景任務中。因此，現有算法在小目標檢測任務上取得了一定成效，但是無法有效權衡檢測精度和速度，且未考慮卷積特征提取和下采樣操作過程中的小目標信息傳遞丟失問題。

本文提出基于YOLOv5 的遙感小目標檢測算法YOLOv5-RS。通過構建輕量的并行混合注意力模塊抑制圖像中復雜背景和負樣本的干擾，同時通過調整下采樣倍數，保證傳遞更多的細節信息，并進一步設計卷積神經網絡（Convolutional Neural Network，CNN）與Transformer［17］相結合 的特征 提取模 塊C3BT，將從特征圖中獲取到的局部與全局信息輸出作為融合的底層特征。將原網絡中的CIoU［18］損失函數替換為EIoU［19］損失函數，有效減少目標檢測框的重疊，精準定位小目標的位置，從而提升模型對遙感小目標的檢測性能。

1 YOLOv5-RS 方法

近年來，目標檢測領域越來越注重算法的工程化應用，對實時性要求大幅提高。考慮到一階段網絡YOLOv5s［20］能兼顧檢測精度與速度的特性，本文將其作為基礎框架，從注意力模塊、特征金字塔融合、損失函數3 個角度進行優化。在特征提取階段，為減少小目標信息的丟失，本文使用16 倍下采樣操作代替32 倍下采樣，并添加淺層分支。上述操作雖然能夠傳遞更多的淺層信息，但是縮小了感受野。基于此，本文構建具有更大感受野和更強表征能力的C3BT 模塊替換SPPF 模塊前的原C3 特征提取模塊，C3BT 由CNN 和多頭自注意力（Multi-Head Self-Attention，MHSA）組合而成，同時，將并行混合注意力模塊CBAM-P 嵌入到FPN 結構中進行Concat 融合淺層特征之前。從模型預測中發現，在小目標的定位任務中會存在大量重復的檢測框，采用EIoU 損失函數具化預測框與真實框之間的長寬關系。YOLOv5-RS 網絡整體結構如圖1 所示。

圖1 YOLOv5-RS 網絡整體架構Fig.1 Overall architecture of YOLOv5-RS network

1.1 并行混合注意力模塊

注意力機制的本質是仿照人類視覺處理圖像的過程，對特征圖的不同位置予以各自的權重來表示不同的關注度。遙感圖像往往包含復雜的背景，經過卷積層特征提取后存在待檢測小目標信息占比少、背景以及背景中非檢測物體信息占比多的情況，這些非感興趣區域信息會對小目標檢測產生干擾。

為關注圖像中待檢測的小目標以及忽略無關的物體信息，本文借鑒了CBAM（Convolutional Block Attention Module）［21］的通道 注意力模塊（Channel Attention Module，CAM）和空間注意力模塊（Spatial Attention Module，SAM）結構，提出通道注意力模塊CAM-P 和空間注意力模塊SAM-P，最終通過并行連接構成CBAM-P 模塊，使其分別沿通道和空間維度對特征圖信息進行編碼。與CBAM 模塊相比，CBAM-P 在減少計算量的同時提高檢測精度。CBAM-P 模塊結構如圖2 所示。

圖2 CBAM-P 模塊結構Fig.2 Structure of CBAM-P module

首先對通道注意力模塊進行改進，CAM-P 是基于SENet［22］模塊進行改進，將SENet 模塊中全局平均池化（Global Average Pooling，GAP）后的全連接層替換為3×3 卷積層，并獲取局部信息。因為小目標本身的感受野較小，所以全連接層對整張圖片進行降維，導致待檢測的小目標被淹沒在與其他背景的平均特征之中。CAM-P 特征圖計算過程如式（1）所示：

其中：σ表示Sigmoid 激活函數；f1×1表示大小為1×1的卷積；f3×3表示大小為3×3 的卷積。輸入特征X∈?H×W×C通過GAP 后輸出1×1×C的一維通道注意力圖，再通過激活函數重建得到權重特征圖WC。

然后對空間注意力模塊進行改進，SAM-P 在原SAM 模塊的基礎上移除所有池化層，僅由1×1 卷積層生成。該操作是考慮到池化會丟失小目標的關鍵特征而不利于檢測。SAM-P 特征圖的計算過程是將輸入特征X經1×1×1 卷積的結果輸入Sigmoid 激活函數，得到空間注意力特征圖WS，如式（2）所示：

最終，將通道特征圖WC與空間特征圖WS分別與輸入特征X逐元素相乘，采用逐元素相加方式將相乘后所得的特征圖并行連接，輸出特征XCS。上述過程的計算式如式（3）所示：

其中：?表示逐元素相乘；⊕表示逐元素相加。

1.2 特征金字塔改進

特征金字塔網絡結構如圖3 所示。YOLOv5 特征圖的融合部分采用路徑聚合網絡（Path Aggregation Network，PANet）［23］，其結構如圖3（a）所示。將主干網絡經8 倍、16 倍、32 倍下采樣后輸出｛P3，P4，P5｝特征，分別與FPN 自底向上的特征圖進行融合。這種將淺層豐富細節信息和深層高語義信息融合的操作有利于多尺度目標檢測，但是對于小目標，經過多次下采樣后特征圖所含小目標的有效特征信息較少，導致小目標檢測精度降低。因此，本文對特征金字塔進行改進，保證傳遞更多的小目標細節信息并輸出對小目標表征能力更強的特征圖。改進后的特征金字塔PANet_RS 結構如圖3（b）所示。

圖3 特征金字塔網絡結構Fig.3 Structure of feature pyramid network

原始輸入圖像在經卷積下采樣逐步映射為不同尺度特征圖的過程中，所包含的有效像素信息逐漸減少。表1所示為將原始圖像映射到不同特征層后所占像素的情況，P2、P3、P4、P5 分別進行4、8、16、32 倍下采樣。結合實際數據目標尺度分布情況，將小目標進一步劃分為檢測尺度小于16×16像素的微小目標。

表1 原始圖像映射到不同特征層后的分辨率 Table 1 Resolution of original image mapping to different feature layers 單位：像素

從表1 可以看出，小目標特征映射到P5 特征層后所包含的小目標分辨率為1×1 像素，微小目標的分辨率甚至不到1×1 像素，對遙感小目標的檢測效果甚微。考慮到直接裁剪P5 檢測層和其對應的分支，會造成深層網絡間的語義信息缺失、感受野減小，進而影響分類任務的準確率。為緩解語義信息與位置信息之間的矛盾，本文在主干網絡中去除32 倍的下采樣層，使用16 倍的卷積層進行替換，有效緩解連續下采樣存在信息損失的問題。

與｛P3，P4，P5｝相比，在P2 大尺寸檢測層中含有豐富的紋理和輪廓信息，有利于圖像中小目標的檢測，因此添加P2 檢測頭并使用CBAM-P 注意力模塊來抑制P2 特征層的噪聲信息。為進一步平衡速度與精度，本文仍然保持3 個尺度的檢測頭預測結構，但調整檢測頭為｛P2，P3，P4｝所對應的檢測分支。

雖然上述通過1×1 卷積替代用于下采樣的3×3 卷積操作可以保證傳遞更多信息，但是1×1 卷積操作與YOLOv5 網絡相比感受野減少，導致圖像中大尺寸目標的檢測精度下降，整體精度提高不明顯。基于此，本文構建基于CNN 與Transformer 相結合的模塊C3BT，提取表征能力更強的特征圖作為FPN 的底層特征。具體操作是將YOLOv5 特征提取基礎單元Bottleneck中的3×3 卷積替換為BottleTransformer［24］中的MHSA。BottleTransformer結構如圖4所示。

圖4 BottleTransformer 模塊結構Fig.4 Structure of BottleTransformer module

MHSA 層由多個Self-Attention 模塊組成，每個Self-Attention 模塊在不同空間中捕獲全局特征信息，最終將每個Self-Attention 模塊輸出的信息進行拼接形成帶注意力權重的新特征圖Z。每個Self-Attention 模塊的具體操作過程如式（4）所示，q（query）、k（key）、v（value）如式（5）所示：

1.3 EIoU 損失函數

原始YOLOv5 采用CIoU 計算定位損失，其在IoU（Intersection over Union）損失的基礎上，添加邊界框回歸的重疊面積、中心點距離及邊長縱橫比作為懲罰項因子。CIoU 及其懲罰項計算式如式（6）和式（7）所示：

其中：b、bgt分別表示預測框和真實框的中心點；ρ表示2 個中心點間的歐氏距離；c表示包含預測框和真實框的最小閉包區域形成的對角線距離；v用來測量寬高比差異。

本文采用EIoU 損失函數計算定位損失，將寬高縱橫比的損失項拆分，分別計算寬和高的差異值，計算式如下：

其中：w、wgt、h、hgt分別表示預測框和真實框的寬度及高度。

在同一目標區域內采用CIoU 和EIoU 損失函數的預測結果如圖5 所示。CIoU 損失增加了寬高比的一致性，使得檢測框回歸過程更加穩定，收斂的精度更高。但是參數v只反映了寬高比間的相對差異，而不 是w與wgt、h與hgt之間的真實關系。CIoU定位損失如圖5（a）所示。CIoU 損失函數生成的預測框與真實框相比，其寬邊差異很大且無法精確定位。利用預測框與標注框寬高之間的真實差監督反向傳播過程，得到損失函數最優解。該過程提高回歸精度進而提升小目標檢測性能。EIoU 定位損失如圖5（b）所示，EIoU 定位損失函數生成的預測框高度和寬度與真實框相似。

圖5 同一目標區域預測結果Fig.5 Prediction results for the same target area

2 實驗結果與分析

2.1 實驗配置

實驗環境：Ubuntu20.04 操作系統，顯卡GeForce RTX 3090，訓練平臺Python3.8，深度學習框架PyTorch。模型訓練參數設置：迭代次數為200，批大小batch_size 為16，其余參數均為默認值。

2.2 數據預處理

本文采用武漢大學發布的航空遙感影像DOTAv1.5 數據集［25］對所提小目標檢測算法進行評估，選取小型車輛（Small Vehicle，SV）、大型車輛（Large Vehicle，LV）和輪船（SH）3 種小目標數據集作為原始圖像，圖像大小一般為800～3 000 像素不等。若將小目標數據集圖像直接送入檢測網絡訓練，其分辨率過大，易造成顯存溢出。若等比例縮放會直接導致圖像過度壓縮而丟失大量小目標細節信息。因此，本文使用圖像裁剪方式對數據集進行預處理，將樣本統一裁剪為1 024×1 024 像素的圖片，在切割圖像時保留一定重疊區域（gap）來防止切割邊緣目標信息丟失，本文將gap 設置為200。

將處理后得到的9 240 張圖像構成DOTA-v 數據集，共計標注457 528 個實例，平均單幅圖像包含49.5 個待測實例，按照6∶2∶2 比例劃分為訓練集、驗證集和測試集。圖6 所示為3 類目標的標注框占原圖像尺寸的比例分布。從分布情況可以看出，SV類目標幾乎全部為占比小于0.1 的小目標，LV 和SH類目標也大多集中在0.1 范圍內。在COCO 數據集［26］中大、中、小目標占比約為4∶3∶2，而DOTA-v數據集為7∶2∶1，顯然DOTA-v 數據集的小目標占比更高，可用于驗證本文算法的合理性。

圖6 在DOTA-v 數據集中各類目標尺寸分布情況Fig.6 Distribution of various objects size on DOTA-v dataset

2.3 評價指標

本文選取目標檢測領域3 種常用的評價指標對算法進行定量評價。

1）精確度（P）和召回率（R）的計算式如式（9）和式（10）所示［27］：

其中：TTP（True Positive）表示圖像中待檢測目標被正確識別且IoU 大于閾值；FFP（False Positive）表示檢測目標未被正確識別且IoU 小于閾值；FFN（False Negative）表示沒有被檢測到的目標。

2）平均精度（mAP）計算式如式（11）所示：

其中：N代表數據集中檢測目標的類別個數；Pn表示某一類別的AP 值。mAP@0.5 和mAP@0.5∶0.95 常用來評估模型性能，mAP@0.5 關注模型精確率隨召回率變化趨勢，mAP@0.5∶0.95 更關注模型在不同IoU 閾值下的綜合表現，反映檢測框與真實框的擬合程度。本文若無特殊說明，mAP 默認為mAP@0.5。

3）幀速（Frames Per Second，FPS）［28］表示模型每秒能處理圖片的數量，單位為幀/s，通常用于衡量模型的實時性，輔以參數量和計算量（GFLOPs）綜合判別模型性能。

2.4 結果分析

2.4.1 注意力機制改進實驗

為驗證本文所提CBAM-P 模塊的有效性，本文進行注意力機制對比實驗，比較參數量和mAP 這2 個指標，其中，CBAM-S表示CAM-P 與SAM-P 的串行模塊，CBAM-P 表示CAM-P 與SAM-P 的并行模塊。CBAM-P 模塊對模型性能影響如表2 所示。

表2 CBAM-P 模塊對模型性能影響 Table 2 Influence of CBAM-P module on model performance

CBAM 首先使用CAM 給不同通道分配不同的權重，然后使用SAM 進行空間信息校準。從表2 可以看出，在YOLOv5s 中直接嵌入CBAM 模塊后相比YOLOv5s mAP 指標僅提升0.1 個百分點，然而在YOLOv5s 中直接嵌入CBAM-P 模塊后與YOLOv5s+CBAM 相比不僅參數量減少，而且mAP 提高了0.3 個百分點。分析認為有2 個方面的原因：1）在小目標信息本身不足的情況下，池化操作和全連接操作帶來的負面影響大于正面影響，替換全連接層和移除池化層后的模塊后所得的特征圖更有利于小目標檢測；2）得益于并行的連接結構，在串行結構中，空間注意力機制的輸入是經過通道注意力模塊后所得，使得目標淺層信息再次減少，即使具有更多的語義信息也無法對小目標進行定位，相反可能導致目標錯檢。

為進一步直觀對比CBAM 模塊與CBAM-P 模塊的效果，本文采用Grad-CAM（Gradient-weighted Class Activation Map）［29］熱力圖進行可視化，可視化結果如圖7 所示（彩色效果見《計算機工程》官網HTML 版）。圖7（a）中標注框表示將地面停車線誤判為感興趣目標，從圖7（b）可以看出，采用CBAM-P結構后的熱力圖沒有出現誤判現象。該實驗結果進一步說明注意力機制的減法操作和并行結構能夠有效提高空間維度特征的提取能力，更好地區分前景和背景信息，使得關注區域與檢測目標區間更緊湊，證明CBAM-P 模塊對小目標檢測是有效的。

圖7 注意力機制可視化結果Fig.7 Visualization results of attention mechanism

2.4.2 特征融合層改進實驗

檢測頭分支數量與性能關系如表3 所示。本文綜合考慮參數量與檢測精度，選取｛P2，P3，P4｝對應的預測分支輸出檢測頭。

表3 檢測頭分支數量與模型性能關系 Table 3 Number of detection head branches in relation to model performance

從表3 可以看出，采用減少下采樣倍數并添加P2 檢測頭模塊后的結構｛P2，P3，P4，P5｝，與｛P2，P3，P4｝檢測頭相比mAP 提高約0.2 個百分點，證明該結構能夠傳遞更多的小目標信息。但受限于降采樣操作所造成感受野縮小和淺層特征P2 中的噪聲干擾，mAP 提升不是很明顯。基于此，本文進一步驗證C3BT 模塊的有效性，選取｛P2，P3，P4｝檢測頭進行對照實驗，并增加各類目標mAP 指標以直觀反映其對不同尺寸目標檢測性能的影響，對比結果如表4所示，“√”表示在基準模型YOLOv5s 中添加該模塊。

表4 C3BT 模塊對模型性能影響 Table 4 Influence of C3BT module on model performance %

從表4 可以看出，為傳遞更多小目標而采用降采樣操作，添加｛P2，P3，P4｝結構后，相比YOLOv5s 的SV 目標的mAP 提高1.2 個百分點，但LV 類目標mAP下 降0.4 個百分 點，SH 類目標mAP下降0.3 個百分點。感受野的縮小影響了LV 類和SH 類中大尺寸和中尺寸目標，無法捕捉到全部的特征。在添加了C3BT 模塊后，與YOLOv5s相比，mAP 提升了0.8 個百分點，其中SV 類目標mAP 提升了2.2 個百分點，SH類目標mAP 提升0.1 個百分點，說明C3BT 模塊能有效地提取更具判別能力的特征用于檢測小目標，同時擴張了感受野保證大尺寸和中尺寸目標的精度。

2.4.3 模塊消融實驗

為驗證各模塊的有效性，本文在遙感數據集DOTA-v 上進行消融實驗。本文在YOLOv5s 基礎上依次添加CBAM-P、特征層改進模塊（PANet_RS）以及EIoU 損失函數。消融實驗結果如表5 所示。

表5 消融實驗結果 Table 5 Ablation experiment results

從表 5 可以看出，本文所提 CBAM-P、PANet_RS、EIoU 損失函數對模型性能具有一定的有效性，YOLOv5s+CBAM-P+PANet_RS+EIoU 模型大小縮小為10.1 MB，整體mAP 與YOLOv5s 相比提高了1.5 個百分點。

2.5 對比實驗

2.5.1 預測結果分析

從上述實驗中可以發現，本文在DOTA-v 數據集上的整體預測效果優于YOLOv5s。為了進一步反映改進模型的性能，在所有預測類上的mAP 變化結果如表6 所示，并通過遙感圖像進行主觀視覺定量評價。

表6 YOLOv5s 與YOLOv5-RS 各類別mAP 對比 Table 6 Comparison between YOLOv5s and YOLOv5-RS by category mAP %

從 表 6 可以看 出，與 YOLOv5s相比，YOLOv5-RS 在SV、LV 和SH 3 個類別 目標的mAP均得到提高，尤其是SV 的檢測精度提升了3.2 個百分點。SH 類小目標大多呈現密集分布，水平檢測框之間的重合導致精度提升不明顯。

YOLOv5-RS 與YOLOv5s 檢測效果對比如圖8所示（彩色效果見《計算機工程》官網HTML 版）。從圖8 可以看出：第1 組YOLOv5-RS 算法對小目標定位更加準確，預測框能更好地定位到物體所在的位置，且減少了預測框重疊的現象；第2 組在遮擋場景下，YOLOv5-RS 算法可以更準確地檢測被樹遮擋的車輛；第3 組在密集場景下，YOLOv5-RS 算法可以檢測出更多的船類目標，在目標識別與定位能力上均優于YOLOv5s 算法。

圖8 YOLOv5-RS 與YOLOv5s 算法的檢測效果對比Fig.8 Detection effects comparison between YOLOv5-RS and YOLOv5s algorithms

2.5.2 不同算法對比實驗

本文以 一階段EfficientDet［30］、YOLOx［31］、TPH-YOLOv5［32］、YOLOv7［33］以 及YOLOv5s 5種算法作為對照組進行實驗，包括近年來在小目標檢測領域的常用框架和最新的改進框架。EfficientDet 系列網絡以權衡速度與精度為前提，實現對雙向特征融合結構的動態調整。本文選取兼顧速度與精度的EfficientDet-d4 作為對照組。YOLOx 采用無錨框方式，并通過解耦YOLO Head 提升網絡的性能。TPH-YOLOv5 是基于YOLOv5s 進行改進。由于TPH-YOLOv5集成CBAM、Transformer 等模塊，因此在無人機小目標檢測數據集上性能表現突出。YOLOv7 設計新的內部組件模塊，結合新的標簽分配策略使其架構在速度和精度上均取得較優的表現。不同算法的評價指標對比如表7 所示，加粗表示最優數據。與上述5 種算法相比，YOLOv5-RS 在mAP@0.5、mAP@0.5∶0.95 和模型大小3 種評價指標上取得最優結果，在精確率與召回率的平衡、檢測框與預測框的擬合方面表現突出。YOLOv5-RS 檢測速度為65.4 幀/s，其兼顧精度與實時性，對小目標檢測性能更優。

表7 不同算法的評價指標對比 Table 7 Comparison of evaluation indicators for different algorithms

3 結束語

為解決現有算法的小目標檢測精度遠低于大、中目標的問題，本文提出一種基于并行注意力機制和融合更多低層級特征的檢測算法YOLOv5-RS。在特征金字塔融合結構中添加1 個淺層特征分支以反饋更多的淺層特征，并利用所提的注意力模塊抑制分支中的噪聲干擾。通過調整下采樣倍數，并融合全局和局部信息生成特征提取能力更強的特征提取模塊。在預測階段，采用EIoU 損失函數有效縮小真實框與預測框之間的差異。實驗結果表明，相比現有一階段算法，本文算法具有較優的小目標識別能力，在復雜場景下魯棒性較優。下一步將在一階段網絡中引入旋轉檢測方法，解決目標方向不確定所存在邊界框重疊問題。