基于改進YOLOv7和DeepSort的“低慢小”無人機目標檢測跟蹤算法

摘 要：為提高“低慢小”無人機目標檢測跟蹤精度，提出一種基于YOLOv7和DeepSort框架的改進型無人機檢測算法，在YOLOv7算法骨干網絡引入了CBAM注意力機制提高特征提取能力，使用BiFPN加權特征金字塔替換PANet提高不同尺度特征融合能力，增加小目標檢測層改善無人機檢測精度。構建了天空、樹林、建筑和陰暗條件4類背景的“低慢小”人機數據集，并進行測試實驗。結果表明，改進型算法的檢測部分mAP@0.5提升了8.6%，特別是對小尺寸、弱特征的目標檢測精度提高了約21%；最終跟蹤結果MOTA指標提高24%，正確輸出的目標框占真實目標框的比例約70%。

關鍵詞：反無人機；機器視覺；目標檢測；目標跟蹤

中圖分類號：TP391.41；V279 文獻標志碼：A DOI：

10.3969/j.issn.1673-3819.2025.01.003

The \"Low Slow and Small\" UAV target detection and tracking algorithm

based on improved YOLOv7 and DeepSort

JIAN Yuhong， YANG Huiyue， WANG Xinggang， RONG Yisheng， ZHU Yukun

（Army Logistics Academy of PLA， Chongqing 401311， China）

Abstract：To improve the accuracy of Low altitude unmanned aerial vehicle（UAV） target detection and tracking， an improved UAV detection algorithm based on YOLOv7 and DeepSort framework is proposed. The CBAM attention mechanism is introduced into the backbone network of YOLOv7 algorithm to improve feature extraction ability. To improve feature fusion ability at different scales， BiFPN weighted feature pyramid is used to replace PANet， and a small target detection layer is added to improve the detection accuracy of small target UAVs. A \"low slow small\" human-machine data set is constructed with four types of backgrounds： sky， trees， buildings， and dark conditions. The experimental test is carried out. The results show that the detection part mAP@0.5 of the improved algorithm is improved by 8.6%， and the detection accuracy of small-size and weak-feature targets is improved by about 21%. In the final tracking result， the MOTA index was increased by 24%， and the correct output target box accounted for about 70% of the true target box.

Key words：anti-drone; machine vision; target detection; target tracking

近年來，無人機在航拍、植保、救援、物流、軍事等領域得到廣泛應用，同時，出現大量“低慢小”無人機“黑飛”“濫飛”情況，對國防和社會安全構成了巨大隱患。

“低慢小”無人機指在低空域（高度1 000 m以下）活動，飛行速度慢，尺寸小的無人機。低空域慢速飛行，其多普勒特征弱，雷達探測難，且城市低空域電磁環境復雜，無線電探測難；小目標無人機飛行聲音小，音頻探測難。機器視覺作為無人機目標檢測跟蹤的重要方式，使用攝像機捕獲監控區域視頻，利用圖像特征對無人機進行檢測跟蹤，系統成本低，探測速度快，精度高，監控區域大，適用場景廣，尤其對易于拍攝的低空域目標檢測跟蹤效果好。

機器視覺的目標檢測方法可以分為傳統方法和深度學習方法。傳統方法通過人工設計，提取圖像中特定類型特征，定位關鍵區域，使用分類算法檢測關鍵區域目標類別。由于無人機的顏色、紋理特征不明顯，而角點、邊緣特征較為明顯，常用的人工設計特征有方向梯度直方圖特征[1]、尺度不變特征變換[2-3]等，分類算法主要為支持向量機。

深度學習方法通過卷積神經網絡學習，能夠更好地提取圖像深層次特征，可分為兩類：一類通過候選區域生成、目標分類及邊界框調整兩步完成，為二階算法；另一類將整個圖像均視為候選區域，用回歸的方式直接得到目標的類別與邊界框信息，為一階算法。Faster RCNN（region convolutional neural networks，RCNN）是經典的二階算法，在無人機檢測的應用中，可用雙線性差值和多尺度特征融合的方法提高小目標無人機檢測能力[4]，可用圖像超分辨率預處理得到更多語義信息[5]。一階算法速度較二階算法更快，從YOLO（you only look once）算法開始得到了大量研究，在保持檢測速度的同時，也具備較高的精度。應用YOLO算法檢測無人機目標檢測，可用加權雙向特征金字塔BiFPN網絡替換Neck部分，增強不同尺寸目標特征融合效果[6]，可改進損失函數增強訓練效果[7-8]。YOLO系列算法逐漸成為無人機檢測應用的主流算法。

為記錄無人機飛行軌跡和身份信息，傳感器需要在檢測的基礎上進行跟蹤。無人機目標跟蹤應用較廣泛的有卡爾曼濾波、STC（spatio-temporal context）、KCF（kernelized correlation filters）及SiamFC算法。卡爾曼濾波算法還可以與其他算法相結合，即假設目標運動過程屬于線性系統，對跟蹤過程中的目標狀態信息進行預測和修正，能夠優化復雜環境下無人機快速移動、目標被遮擋情況下的跟蹤性能[9-10]。上述算法為單目標跟蹤算法，當應對多個無人機目標場景時，需要對每個目標都進行一次跟蹤，隨著跟蹤目標數量增加，準確率和實時性有所降低。DeepSort是基于檢測器的多目標跟蹤算法，能夠利用深度學習算法檢測器的優秀性能，且通過卡爾曼濾波、行人重識別ReID、級聯匹配等方法能夠較好應對目標快速運動、障礙物遮擋等情況，能夠較好地應用于多無人機目標跟蹤任務中。

“低慢小”無人機的飛行空域背景環境主要包括天空（云層）、樹木、建筑、陰暗條件四類，對目標檢測具有較強的干擾性，加之攝像機捕獲的小型無人機像素信息較少，圖像特征較弱，容易出現漏檢和誤檢問題。針對該問題，以改進YOLOv7算法作為DeepSort檢測器，提出復雜環境下無人機目標檢測跟蹤算法，以自建數據集訓練驗證。

1 算法設計

1．1 算法基本框架

算法整體流程分為檢測和跟蹤。

（1）目標檢測算法。框架采用的YOLOv7-tiny-SiLu模型大小僅6．2 M，在V100顯卡上使用MS COCO（microsoft common objects in context）數據集測試（輸入網絡像素為640*640），FPS（frames per second）為286，AP（Average Precision）值38．7%，與YOLOv5-N相比，速度快80%，精度高38%。在YOLOv7-tiny-SiLu算法基礎上，改進的目標檢測算法如圖1所示。

其中，注意力機制CBAM模塊（cost benefit analysis method）是增加的注意力機制、Bcat是用BiFPN拼接替換原有的拼接操作，在算法基礎上還增加了160尺寸特征張量的小目標檢測層。特征提取ELAN模塊（effective long-range aggregation network）是一種高效的網絡結構，通過控制最短和最長的梯度路徑，使網絡能夠學習到更多的特征，并且具有更強的魯棒性。下采樣MP模塊通過最大池化和步長2的卷積操作進行下采樣，能夠得到更加豐富的特征。跨階段特征金字塔池化SPPCSP模塊（spatial pyramid pooling， cross stage partial）能夠增大感受野，適應不同分辨率圖片，同時相比簡單的SPP（spatial pyramid pooling）減少了一半計算量，精度反而有所提升。

（2）目標跟蹤算法。Sort算法核心是卡爾曼濾波和匈牙利匹配。卡爾曼濾波用于軌跡的更新和預測，匈牙利算法用于目標和軌跡的匹配。由于外觀和軌跡一幀不匹配即刪除機制和交并比IOU（intersection over union， IoU）成本矩陣問題，Sort算法ID切換較頻繁。為此，在DeepSort中引入ReID領域模型來提取外觀信息，以減少ID切換次數；加入級聯匹配機制保留近期丟失目標軌跡，并賦予優先級，提高復雜環境遮擋下跟蹤的魯棒性。流程如圖2所示。

1．2 算法改進模塊

2 數據集構建

數據集的質量直接影響算法在實際無人機識別中的準確性。當前網絡公開的無人機數據集有Det-Fly[13]、MIDGARD[14]、Anti-UAV[15]等，數量巨大、內容豐富。本文針對低慢小無人機目標檢測跟蹤的具體應用場景，考慮無人機外觀多樣，不同運動狀態導致的姿態、大小不一，攝像機拍攝角度不同，復雜環境影響等因素，構建了“低慢小”無人機數據集（low and slow UAV dataset， LSUD）。

2．1 數據收集擴增

LSUD數據集以Det-Fly、MIDGARD、Anti-UAV數據集中特征相差明顯、具有代表性的圖片為主體，通過網絡搜索、自主拍攝豐富和補缺，共收集圖片801張，包含了不同外表形態、尺寸大小、拍攝角度、周邊環境的無人機，同時加入了黑影、鳥類2種常見干擾物體。表1給出了 LSUD數據集收集情況，圖6為數據集示例。其中，大目標為無人機像素占圖片像素千分級以上的情況，反之為小目標，每種環境中仰拍、平拍、俯拍視角的圖片比例約為6∶1∶3，干擾物與無人機在數據集圖片中有共存現象。

采取圖像旋轉方式對基礎數據進行擴充，以獲得更多無人機運動姿態特征。由于無人機飛行過程中傾斜角度相差超過90°的情況較少，將所有圖片分別順時針和逆時針旋轉45°、90°，再人工刪除其中不符合無人機現實飛行情況的圖片，得到完整的數據集，共包含圖片3 977張，如圖7所示。

2．2 數據集標注劃分

使用labelimg軟件進行圖片標注，完成標注后，按照9∶1的比例將數據集隨機劃分為訓練集與驗證集，即訓練集3 579張，驗證集398張。標注時區分不同形態的無人機，按照無人機圖像特征，在標注中進一步劃分為UAV、UAV_L、UAV_M、UAV_S、UAV_D五類標簽，劃分依據如表2所示，部分數據圖片標注情況如圖8所示。

3 實驗結果及分析

實驗軟件為PyCharm2020、Pytorch1．7、Python3．8。算法訓練平臺條件：操作系統Linux ubuntu，處理器Intel（R） Xeon（R） Platinum 8358P，內存80 G，顯卡A40，顯存48 G。算法驗證平臺條件：操作系統Windows10，處理器Intel（R） Core（TM） i5-8400，內存8 G，顯卡NVDIA GeForce RTX2070，顯存8 G。非極大值抑制參數設置：類別置信度閾值為0．2，IoU閾值為0．4。

3．1 算法檢測性能驗證

使用訓練集在沒有預訓練權重的基礎上，分別對原始YOLOv7算法和改進算法訓練400輪，而后使用驗證集進行驗證。

3．1．1 評價指標

3．1．2 消融實驗及結果

消融實驗中，各類無人機AP0．5指標及見表3和圖9。訓練過程如圖10所示。與YOLOv7算法相比，改進的算法的mAP@0．5提高了8．6%，尤其是無人機特征較弱的UAV_S、UAV_M兩種類型目標檢測性能提升最大，AP0．5分別提升了21%和22%。可見通過改進，算法的性能得到了較高提升，更能夠適應復雜環境下不同形態的無人機目標檢測。圖11是用驗證集驗證時，算法輸出的部分圖片示例。

3．2 算法跟蹤性能驗證

使用數據集訓練改進的YOLOv7+DeepSort整體算法，而后利用兩段視頻test01．mp4、test02．mp4進行跟蹤性能檢驗。其中，test01．mp4共4 080幀，目標為UAV_S小型無人機；test02．mp4共5 333幀，包含了小型無人機目標及樹木遮擋的復雜場景。使用DarkLabel軟件對視頻進行標注。測試視頻標注情況如圖12所示。

3．2．1 評價指標

3．2．2 實驗結果

YOLOv7+DeepSort算法在兩個測試視頻中的MOTA指標平均值為48．8%，改進后為60．6%，性能提升了24%。具體結果見表4。

準確性方面，算法在小目標跟蹤上MOTA指標提升了112%，正確輸出的目標框數量增加了1 207個，同時，算法在應對小目標和嚴重遮擋條件下正確輸出的目標框占真實目標框的比例均為70%左右，能夠實現無人機目標飛行軌跡記錄，且性能更加穩定。

實時性方面，輸入圖片按比例將最長邊縮放為640像素，處理速度為26幀/s，實際應用中，將捕獲視頻每兩幀處理一次，能夠實現無人機的實時檢測跟蹤。

4 結束語

本文將YOLOv7算法引入CBAM注意力模塊、BiFPN加權特征金字塔網絡以及小目標檢測層，并將改進的YOLOv7與DeepSort相結合。在自建數據集上測試，提出算法具備更好的檢測跟蹤性能，能夠實現復雜環境下無人機目標的準確實時跟蹤，具體體現在：

（1）在YOLOv7主干網絡引入CBAM注意力機制，增強網絡特征提取能力。

（2）將YOLOv7Neck部分的PANet用加權特征金字塔BiFPN替換，提高網絡特征融合能力，提高不同尺寸無人機目標檢測精度。

（3）新增一個小目標檢測層，提高復雜環境下的小尺寸弱特征無人機目標檢測精度。

（4）通過網絡搜索和自主拍攝構建了云層、建筑、樹木、陰暗等不同復雜背景復雜環境下的多姿態無人機數據集。訓練和測試結果表明，改進算法的檢測性能指標AP_0．5=0．785，提升了8．6%，尤其復雜環境下小尺寸、弱特征的目標檢測精度提高了約21%，跟蹤性能指標MOTA=0．488，提升了24%，正確輸出的目標框占真實目標框的比例約70%，能夠實現復雜環境下無人機目標的及時預警和軌跡記錄。

參考文獻：

[1] 樊寬剛， 雷爽， 別同. 智能化無人機入侵檢測與跟蹤攔截系統設計與實現[J]. 紅外與激光工程， 2022， 51（8）： 351-360.FAN K G， LEI S， BIE T. Design and implementation of intelligent UAV intrusion detection， tracking and interception system[J]. Infrared and Laser Engineering， 2022， 51（8）： 351-360.

[2］ 薛珊， 張振， 呂瓊瑩， 等. 基于卷積神經網絡的反無人機系統圖像識別方法[J]. 紅外與激光工程， 2020， 49（7）： 250-257.XUE S， ZHANG Z， LYU Q Y， et al. Image recognition method of anti UAV system based on convolutional neural network[J]. Infrared and Laser Engineering， 2020， 49（7）： 250-257.

[3］ 張振. 反無人機系統圖像智能識別關鍵技術研究[D]. 長春： 長春理工大學， 2021.ZHANG Z. Research on key technologies of intelligent image recognition for anti-UAV system[D].Changchun： Changchun University of Science and Technology， 2021.

[4］ 王君， 張德育， 康鑫英. 改進Faster-RCNN的低空小型無人機檢測方法[J]. 沈陽理工大學學報， 2021， 40（4）： 23-28.WANG J， ZHANG D Y， KANG X Y. Improved detection method of low altitude small UAV by faster-RCNN[J]. Journal of Shenyang Ligong University， 2021， 40（4）： 23-28.

[5] MAGOULIANITIS V， ATALOGLOU D， ZARPALAS D， et al. Does deep super-resolution enhance UAV detection？[C]//2019 16th IEEE International Conference on Advanced Video and Signal Based Surveillance （AVSS）. IEEE， 2019.

[6] LIU R， XIAO Y， LI Z， et al. Research on the anti-UAV distributed system for airports： YOLOv5-based auto-targeting device[C]//2022 3rd International Conference on Computer Vision， Image and Deep Learning and International Conference on Computer Engineering and Applications. IEEE， 2022.

[7］ 李斌， 張彩霞， 楊陽， 等. 復雜場景下深度表示的無人機目標檢測算法[J]. 計算機工程與應用， 2020， 56（15）： 118-123.LI B， ZHANG C X， YANG Y， et al. Drone target detection algorithm for depth representation in complex scene[J]. Computer Engineering and Applications， 2020， 56（15）： 118-123.

[8] LIU B， LUO H. An improved Yolov5 for multi-rotor UAV detection[J]. Electronics， 2022， 11（5）： 2 330.

[9] 任永平.反無人機系統中目標探測跟蹤技術研究[D].西安：西安工業大學，2019.REN Y P. Research on target detection and tracking technology for anti-UAV system[D]. Xian： Xian technological University， 2020.

[10]王元皓. 基于深度學習的動態小目標檢測追蹤技術研究及系統實現[D]. 西安： 西安電子科技大學， 2020.WANG Y H. Research and system implementation of dynamic small target detection and tracking technology based on deep learning[D].Xian： Xidian University， 2020.

[11]WOO S， PARK J， LEE J Y. CBAM： Convolutional block attention module[J]. Lecture Notes in Computer Science， 2018， 11211：3-19.

[12]Tan M， Pang R， Le Q V . Efficient Det： scalable and efficient object detection[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， 2020.

[13]ZHENG Y， CHEN Z， LYU D L， et al. Air-to-Air visual detection of micro-UAVs： an experimental evaluation of deep learning[J]. IEEE Robotics and Automation Letters， 2021， 6（2）： 1 020-1 027.

[14]WALTER V， VRBA M， SASKA M. On training datasets for machine learning-based visual relative localization of micro-scale UAVs[C]// 2020 IEEE International Conference on Robotics and Automation （ICRA）， Paris， IEEE， 2020.

[15]JIANG Nan， WANG Kuiran， PENG Xiaoke， et al. Anti-UAV： a large-scale benchmark for vision-based UAV tracking[J]. IEEE Transactions on Multimedia， 2021， 35（1）： 486-500.

（責任編輯：李楠）