基于改進PP-YOLO和Deep-SORT的多無人機實時跟蹤算法

馬 峻，姚震，徐翠鋒，2，陳壽宏，2

（1.桂林電子科技大學電子工程與自動化學院，廣西桂林 541004；2.廣西自動檢測技術與儀器重點實驗室（桂林電子科技大學），廣西桂林 541004）

0 引言

隨著民用無人機（Unmanned Aerial Vehicle，UAV）市場的快速發展，給人們帶來便利和樂趣的同時，也引發了諸多安全問題，如干擾航班運行、攜帶危險品、侵犯他人隱私等［1］，因此有效檢測和跟蹤無人機是十分必要的。

在目標檢測領域，傳統目標檢測依賴于顏色、紋理，外形等特征，是早期目標檢測的主要方法。大致包括以滑動窗口為代表的區域選擇方法，以尺度不變特征變換（Scale Invariant Feature Transform，SIFT）和方向梯度直方圖（Histogram of Oriented Gradient，HOG）為代表的特征提取方法，以支持向量機（Support Vector Machines，SVM）和自適應增強（Adaptive Boosting，AdaBoost）為代表的分類器方法等。由于傳統方法存在滑窗選擇策略缺乏針對性、時間復雜度高、窗口冗余以及手工設計的特征魯棒性較差等問題，導致檢測效果不夠理想。近年來，隨著卷積神經網絡（Convolutional Neural Network，CNN）在圖像處理方面的應用，目標檢測取得了巨大的突破，涌現出大量基于深度學習的目標檢測算法，應用最為廣泛的兩個方向是：以基于區域的卷積神經網絡（Region-based CNN，R-CNN）為代表的區域建議（Region Proposal）型目標檢測算法和以YOLO（You Only Look Once）及其改進版本為代表的回歸型目標檢測算法。前者屬于兩級檢測算法，先通過算法產生目標候選框，然后再對候選框做分類與回歸，能在一定程度上適應不同場景、不同尺度、不同外觀等復雜情況，具有較高的定位和目標識別精度。后者屬于單級檢測算法，通過對網絡模型進行裁剪，減少網絡模型的參數量，僅使用一個卷積神經網絡直接預測不同目標的類別與位置，因而具有較高的推理速度。

運動目標跟蹤可分為單目標跟蹤（Single Object Tracking，SOT）和多目標跟蹤（Multiple Object Tracking or Multiple Target Tracking，MOT or MTT）［2］。前者是指在視頻首幀初始化目標位置，并根據前一幀的信息在后續幀中跟蹤目標［3］，相關濾波在單目標跟蹤中應用廣泛，如CSK（exploiting the Circulant Structure of tracking-by-detection with Kernels）［4］、核相關濾波算法（Kernel Correlation Filter，KCF）［5］、判別尺度空間跟蹤器（Discriminative Scale Space Tracker，DSST）［6］等，在跟蹤速度上有出色的表現。后者在每一幀進行目標檢測，再利用目標檢測的結果來進行目標跟蹤，不需要預先知道目標的外觀和數量。SORT（Simple Online and Realtime Tracking）算法［7］將多目標跟蹤看作視頻幀的數據關聯問題，將重點聚集在效率上，可以達到實時的效果；Deep-SORT（Simple Online and Realtime Tracking with a Deep association metric）［8］在SORT 的基礎上集成了跟蹤目標的外觀信息，進一步提高了跟蹤性能。

Liu 等［9］利用無人機運行軌跡特征與圖像特征結合，先提取軌跡特征，再利用殘差神經網絡分類識別。首先使用PTZ（Pan，Tilt，and Zoom）相機平臺對大目標和小目標分別處理；然后使用殘差網絡（Residual Network，ResNet）［10］將圖像分為鳥類、無人機和雜波三類，從而實現對較遠距離的小目標的準確檢測。Demir 等［11］使用16 臺攝像機搭建成環形的實時無人機檢測和跟蹤系統，該系統能夠在700 m 以內實現360°全方位檢測。Craye 等［12］提出了一種基于卷積神經網絡的時空語義分割方法，使用一個U-Net 模型［13］來檢測小目標，然后使用圖像分類網絡ResNet 對無人機和鳥類加以區分，同時利用時空的語義特征提高了檢測性能，該研究是在無人機與鳥類（Drone-vs-Bird）挑戰賽［14］的背景下展開的。Hu 等［15］通過改進YOLOv3［16］來檢測無人機目標，在預測過程中采用4 種尺度的特征圖進行多尺度預測，獲得更多的紋理和輪廓信息來檢測小目標；同時，為了減少計算量，根據輸入的數據計算無人機在特征圖中的尺寸，然后調整錨框的數量，檢測精度可達89%。Pham 等［17］提出采用哈爾特征（Haar-like features，Haar）的級聯分類器來檢測無人機，平均精度可達到91.9%。

無人機作為“低小慢”目標的代表，無論是傳統的檢測和跟蹤方法，還是基于深度學習的檢測和跟蹤方法，都有著各自的局限。Torvik 等［18］指出，雷達會因為無人機和鳥類目標的雷達散射截面小，導致檢測混亂。視覺的方法主要依賴于對特征的提取，關鍵在于小目標無人機的檢測。當無人機在整幅圖像中占據1%甚至更小的比例時，特征就會消失，導致提取失敗，影響檢測效果。

大多數目標檢測模型都是為中等大小的對象而設計的［19］，但隨著檢測距離的增加，無人機目標僅只有幾個像素，再加上復雜多變的環境以及邊緣計算設備有限的資源，無人機檢測仍然是一項具有挑戰性的任務［20］。目前主流的跟蹤算法大多依賴于檢測結果，也有研究人員將檢測任務和跟蹤任務放在同一個網絡中進行處理，但這兩種策略的跟蹤對象都是類似行人、車輛等較大，特征較明顯的目標，并且多個目標之間有著明顯的區別。無人機目標尺寸小，多架無人機之間特征也不明顯，這就導致現有檢測算法容易漏檢，跟蹤過程也容易出現“丟幀”。

本文針對跟蹤多架無人機時容易出現目標丟失，跟蹤“丟幀”等問題，提出了一種用于多無人機實時檢測和跟蹤的方 法，采用 PP-YOLO（PaddlePaddle-YOLO）［21］結合Deep-SORT 的兩階段跟蹤方法，采用Mish 激活函數提升檢測性能，通過對Deep-SORT 的外觀信息提取部分進行主干網絡替換，選取更合適的Loss 函數的方法來改善跟蹤效果。

本文的主要工作有：

1）提出了基于改進PP-YOLO 和Deep-SORT 的多無人機實時跟蹤算法，通過引入通道注意力機制和Mish 激活函數提高檢測性能。

2）為了更好利用跟蹤目標的外觀信息，采用ResNet 為主干網絡提取外觀信息，同時選用更加符合跟蹤策略的損失函數Margin Loss，提高了跟蹤器對相同目標的辨別能力。

3）在真實環境中收集了大量的無人機圖像，構建了一個用于檢測的無人機數據集和一個由10 種無人機組成的無人機重識別數據集，為不同種類的無人機的穩定跟蹤提供了樣本支持。

1 無人機跟蹤

目前，多目標跟蹤主要分為兩大類：一類是將檢測和跟蹤作為兩個獨立的任務來完成，例如Deep-SORT 算法；另一類則只需利用單個網絡便可同時完成檢測和跟蹤任務，例如FairMOT（Fair Multi-Object Tracking）算法［22］。前者需要分別訓練檢測和跟蹤兩個網絡，因此通過單獨改進其中一個網絡即可達到改善跟蹤效果的目的；而后者雖然僅用單個網絡就能完成檢測和跟蹤，但對于一些特定的目標容易誤檢，所以在跟蹤精度上難以保證。

1.1 網絡整體結構

無人機目標占據整個畫面的比例很小，并且在不同光線下其外觀特征會發生變化，采用單一網絡進行檢測極易出現漏檢情況，這就導致僅依靠其外觀特征匹配到的跟蹤效果欠佳。因此，將檢測和跟蹤任務分開處理，融合目標的外觀特征和運動信息，從而改善跟蹤效果。

如圖1 所示，本文算法結構主要分為檢測和跟蹤兩個部分：檢測部分由注意力模塊、特征金字塔和Loss 模塊三部分組成，在PP-YOLO 的基礎上，將通道注意力機制融入特征提取的主干網絡ResNet50-vd 中來增加對無人機小目標的感知能力；跟蹤部分由卡爾曼濾波器和外觀匹配模塊組成，在Deep-SORT 算法的基礎上，保留其描述運動信息的級聯匹配部分，同時對外觀信息的匹配作出改進，引入Margin Loss 函數增加同類別目標之間的關聯度。

圖1 整體網絡結構Fig.1 Overall network structure

1.2 融合通道注意力機制

在計算機視覺任務中融入注意力機制可以幫助網絡關注輸入的重要信息，排除其他信息干擾。注意力機制可以分為通道注意力和空間注意力，用于捕捉通道間和像素間的依賴關系［23］。雖然近年來有研究表明，在圖像分類任務中將兩者結合起來的效果要比使用單個注意力模塊的效果更好，但是會增加額外的運算量，影響實時性。此外，神經網絡利用卷積操作來提高感受野，很大程度上融合了更多的空間信息。基于這兩點考慮，本文提出融合通道注意力的PP-YOLO檢測網絡。

注意力機制的核心是通過權重分配達到凸顯目標特征的目的，在此引入SENet（Squeeze and Excitation Networks）［24］中的壓縮-激勵模塊，通過建立特征通道之間的相互依賴關系，獲取各個特征通道的權重，根據該權重提升當前任務關注的特征，并抑制對當前任務無貢獻的特征。

壓縮-激勵模塊的結構如圖2 所示。假設輸入X為所得到的特征圖，首先經過卷積和變換后，得到特征通道數為c的特征圖，然后在空間維度上將二維的特征通道壓縮到一維，使其具備全局的感受野，同時，保證了輸入附近的特征提取層也可以獲得全局感受野，提升對目標的感知能力；緊接著是激勵操作，利用參數w生成每個通道的權重并通過特征映射的方式傳遞給后續特征層；最后將激勵產生的權重逐一加權到先前的特征通道上，至此，就完成了通道維度上的注意力模塊的構建。

圖2 壓縮-激勵模塊結構Fig.2 Squeeze-excitation module structure

如圖2 所示，壓縮操作采用了全局平均池化來壓縮輸入通道的特征層，對特征圖u壓縮空間維度后的結果如式（1）所示：其中：zc表示第c個特征的一維向量值；h和w分別表示特征圖的兩個維度。

激勵操作將會學習通道間的非線性相互作用。首先通過全連接層將特征維度降低到輸入的1/16，然后通過ReLU（Rectified Linear Units）激活函數增加非線性，再通過一個全連接層恢復到原來的維度，這兩個全連接層共同組成一個瓶頸結構，用來評估通道間的相關性，最后通過Sigmoid 函數獲得歸一化權重。激勵操作的表達式如式（2）所示：

其中：σ指Sigmoid 函數，δ為ReLU 函數，g(z，w)表示兩個全連接層構成的瓶頸結構，w1的維度為×c，w2的維度為c×r是一個縮放參數。

在壓縮和激勵操作完成后，通過式（3）所示將乘法逐通道加權到原來的特征上。

至此，就將通道注意力模塊融入了檢測網絡中，在一定程度上提高了無人機的檢測精度。

1.3 優化激活函數

激活函數是將神經元的輸入映射到輸出的重要參數，能夠增加網絡模型的非線性變化，對網絡的訓練有重要意義。神經網絡中常用的激活函數有Sigmoid、Tanh、ReLU、Leaky ReLU 等［25］，但它們都存在一定的局限性。以ReLU 為例，當其輸入為負時，梯度變為零，從而導致梯度消失，而Mish 激活函數是一種自正則的非單調神經激活函數，保留了少量的負向信息，可以允許較小的負梯度流入，保證信息流動，消除了ReLU 函數在反向傳播過程中的梯度消失問題，從而使前后層之間的信息傳遞更有效，最終獲得更好的準確性和泛化能力。其函數表達式如（4）所示：

在檢測無人機目標的任務中，無人機通常占據圖片極小的比例，因此在使用卷積操作提取特征時，很容易使輸入為零或負值，導致梯度下降很慢甚至消失，只有保證負值區域的梯度流動，才能更好提取小目標無人機的特征，使檢測更加精準。鑒于此，本文將Mish 激活函數引入到ResNet50-vd主干網絡中，具體結構如圖3 所示。

圖3 引入Mish激活函數的ResNet50-vd結構Fig.3 ResNet50-vd structure with Mish activation function introduced

1.4 無人機跨境追蹤

跨境追蹤技術ReID（Person Re-Identification）是指利用計算機視覺判斷圖像或視頻序列中是否存在特定目標的技術［26］，主要解決跨攝像頭跨場景下特定目標的識別與檢索。通過度量學習的方式讓同一個類別的樣本具有較小的特征距離，不同類別的樣本具有較大的特征距離，尋找特征之間的最佳相似度。

受此方法的啟發，本文對Deep-SORT 算法的深度外觀描述部分進行改進，采用深度度量學習的方式評估前后兩幀的相似度，以此來完成匹配任務。首先，采用ResNet50 替代原有的網絡架構，其次，引入損失函數Margin Loss［27］，計算公式如（5）所示：

其中：N為批次大小（Batch Size），n為類別數量（Class Number），是權重和特征xi之間的夾角，m是附加角懲罰偏置項，s為特征xi經過l2正則化后縮放的特征尺度。Margin Loss 通過分析特征和權重之間的角度統計來構造損失函數，在幾乎不增加額外計算開銷的情況下達到提高模型鑒別能力和穩定訓練過程的效果。

2 實驗分析

2.1 數據集

目前公開的無人機數據有Drone-vs-Bird 和TIB-Net［20］：Drone-vs-Bird 挑戰賽數據集包含77 段無人機視頻，對其進行分幀操作后再逐一手工標注，共計4 336 幅圖像，部分圖片中包含鳥類；TIB-Net 的提出者公布了在不同環境、不同背景下采集的2 860 幅無人機圖片，拓展了應用場景。由于現階段權威且公開的無人機數據集較少，因此，對現有公開的無人機視頻圖片數據進行篩選，作為實驗數據的一部分。

考慮到公開的數據場景固定、大部分數據中只有一架無人機的問題，為了更好地訓練網絡對多架無人機的感知能力，在真實環境下也采集了大量無人機樣本，共采集了5 174幅無人機圖像，其中包含2 193 幅單無人機圖像和2 981 幅至少含有兩架無人機的圖像，部分數據集圖像如圖4 所示。所有圖像的分辨率均為1 920×1 080，采集設備為GoPro Hero 7 Black，速度為每秒30幀，無人機距離采集設備距離為100～600 m。

圖4 自制無人機數據集Fig.4 Self-built UAV dataset

本文使用的數據集由Drone-vs-Bird、TIB-Net 和采集的自制數據共同組成，共計12 370 幅，所有數據都采用PASCAL VOC 格式標注。數據集中80%用于訓練，20%用于測試。

除此之外，還構建了無人機跨境識別的數據集，通過關聯無人機的外觀信息來穩定跟蹤。該數據集是從上述公開數據集中截取無人機部分得到的，包含10 個類別（共4 840幅）的無人機圖像，圖像像素為64×64，涵蓋目前常見的消費級旋翼無人機，如圖5 所示，展示了10 種不同類型無人機的部分數據集。

圖5 無人機跨境識別的數據集Fig.5 Dataset of UAV cross-border identification

2.2 數據增強

訓練深度學習網絡模型需要海量的數據集，無人機在飛行過程中，會因姿態變化、光照變化、相機抖動等因素導致形態各異，出現模糊等情況，因此訓練前對數據進行增強處理是非常必要的。本文通過旋轉、裁剪、增加高斯模糊的方法來擴充數據集，以提高檢測網絡在不同的場景下的適應性和魯棒性。

2.3 實驗環境

本實驗的訓練環境為Ubuntu 18.04.5 LTS 系統，GPU 采用NVIDIA Quadro RTX 4000（8 GB），處理器是Intel Core i7-9700 CPU @3.00 GHz×8，內存32 GB，在Paddle 框架下采用CUDA 10.1 進行加速訓練。

2.4 評價指標

為了合理評估系統的性能，對檢測和跟蹤性能分別進行評估。本文使用平均精度均值（mean Average Precision，mAP）和每秒傳輸幀數（Frames Per Second，FPS）兩項指標來衡量檢測性能。首先計算查準率（Precision，p）和查全率（Recall，r），如式（6）、（7）所示。查準率是識別正確的結果在所識別出的結果中所占的比率，查全率是識別正確的結果占數據集中所有要識別出的總數的比率。

其中：TP（True Positives）表示實際為正例且被分類器劃分為正例的樣本數量；FP（False Positives）表示實際為負例但被分類器劃分為正例的樣本數量；FN（False Negatives）表示實際為正例但被分類器劃分為負例的樣本數量。

平均精度（Average Precision，AP）就是對數據集中的一個類別的精度進行平均，如式（8）所示，p和r分別表示查準率和查全率，AP為曲線下的面積。平均精度均值（mAP）是指不同類別的AP的平均值，其計算公式如式（9）：

在多目標跟蹤領域常用多目標跟蹤準確度（Multiple Object Tracking Accuracy，MOTA）和多目標跟蹤精確度（Multiple Object Tracking Precision，MOTP）共同衡量算法連續跟蹤目標的能力，即在連續幀中能準確判斷目標的個數，并精確劃定其位置，從而實現不間斷的連續跟蹤。如式（10）、（11）所示，MOTA可以反映跟蹤過程中誤報、漏報和ID切換的準確度；MOTP可以反映跟蹤的目標預測框與真實標注的不匹配度。

其中：FN表示整個視頻中錯誤判別的幀數；FP表示整個視頻中遺漏檢測的幀數；IDSW表示整個視頻中錯誤的ID 切換幀數；GT表示真實標注的數據。

其中：ct表示第t幀目標位置和假設位置相匹配的個數；dt，i表示第t幀目標與其配對假設位置之間的距離，即匹配誤差。

2.5 訓練細節

訓練無人機檢測模型時，將指數滑動平均（Exponential Moving Average，EMA）設置為0.999 8。在標準反向傳播更新過程中，將初始學習率設置為0.003 33，批量大小（Batch Size）設置為8，動量（Momentum）設置為0.9。如圖6、7 所示，經過32 000 次迭代后，Loss 降至0.122，mAP升至94.62%。

圖6 平均精度曲線Fig.6 Average precision curve

圖7 損失函數曲線Fig.7 Loss function curve

跨境追蹤采用度量學習訓練，輸入圖片的像素統一為64×64，初始學習率設置為0.000 01，采取分段衰減策略。如圖8 所示，經過40 000 次迭代后，在驗證集上的召回率（Recall）可達93.81%，已經可以較好地區分不同種類的無人機目標。

圖8 度量學習準確率與召回率Fig.8 Measure learning precision and recall

2.6 實驗結果及分析

為了合理評估算法的性能，本實驗分別在3 個無人機數據集上進行測試。表1 實驗結果表明，引入Mish 激活函數后，mAP 平均提升了0.72 個百分點，說明本文算法對無人機特征的提取更加充分；融入壓縮-激勵模塊后，相比原始PP-YOLO 算法，mAP 平均提升了2.27 個百分點，通過對通道間的權重進行重新學習，使得網絡更加關注小目標。該算法在檢測精度和檢測速度方面均優于大部分同類算法，平均處理速度可達44.6 FPS，可以達到實時檢測的要求。

表1 常用目標檢測算法在三種數據集上的表現Tab.1 Performance of common target detection algorithms on three datasets

為了合理評估最終的跟蹤效果，選取了15 段包含不同種類、不同數量的無人機視頻，每段視頻平均時長66 s，分別統計其FN、FP、IDSW，并與人工標注的真實數據對比，五種主流的多目標跟蹤算法的結果如表2。

從表2 中可以看出，這五種算法中CenterTrack［28］在整個視頻中遺漏檢測的數量最低，這很大程度上可以歸因于其將目標看作一個熱點圖，通過點的關聯實現跟蹤，這樣就會比其他跟蹤算法發現更多的小目標，所以漏檢也較少。在跟蹤速度上，Deep-SORT 將大部分復雜的計算放在離線訓練階段，因此在實時性方面表現突出，平均每秒可檢測46.3 幀圖片。得益于出色的檢測性能和對Deep-SORT 外觀部分的重新調整，使得本文算法對于無人機這樣的小目標也能穩定跟蹤，整體跟蹤的準確性MOTA在幾種跟蹤算法中表現最優，達到了91.6%，主要原因是目前主流的跟蹤算法是為較大目標而設計的。從表2 中可以看出，本文提出的無人機跟蹤算法平均FPS為35.5，雖然不及Deep-SORT，但是在跟蹤準確度和速度方面達到了較好的平衡，能夠滿足跟蹤任務需要。

表2 本文算法在無人機視頻中的跟蹤結果Tab.2 Tracking results of the proposed algorithm in UAV videos

2.7 跟蹤效果可視化

為了更好地展示跟蹤效果，選擇了兩段視頻進行展示，分別包含單架無人機和兩架無人機。從圖9（a）中可以看到，僅采用PP-YOLO 算法時，在第一段視頻的第103 幀前后兩幀都沒有檢測到無人機目標；在第二段視頻中，第131 幀有兩架無人機，但是由于目標較小，原始算法也無法準確檢測。為了更好展示不同跟蹤算法的區別，選取了跟蹤準確性較高的FairMOT 算法進行對比，圖9 中虛線框代表PP-YOLO算法檢測結果，點線框代表FairMOT 的跟蹤結果，實線框代表本文算法的結果，可以看出FairMOT 跟蹤框大多為正方形，在跟蹤單架無人機時表現很好，但是同時跟蹤兩架無人機時，其中一架無人機相對較小，在131 幀中丟失了跟蹤目標，如圖9（b）所示；而本文算法則利用前后的關聯，成功匹配到更小的無人機。本文算法能夠勝任連續性的跟蹤任務，有效解決了跟蹤過程中的丟幀問題，這主要是因為加入的外觀特征在關聯前后幀時發揮了關鍵作用。

圖9 跟蹤效果對比Fig.9 Tracking results comparison

3 結語

本文提出了一種跟蹤多架無人機的方法，可以及時發現非法入侵的無人機，應用于反無人機領域，保證個人隱私和人身安全。首先在PP-YOLO 的基礎上，融入通道注意力機制，增加對小目標的感知能力；然后利用Mish 激活函數解決梯度消失的問題，穩定訓練過程，進一步提升了無人機的檢測精度。經過在3 個無人機數據集上測試表明，所提算法在檢測精度上平均提升了2.27 個百分點，在自制數據集上可達到94.62%。跟蹤階段在Deep-SORT 算法的基礎上，融入無人機外觀信息，在主干網絡ResNet50 和損失函數Margin Loss 的共同作用下，整體跟蹤準確性相比原始Deep-SORT 算法提升了4.5 個百分點，達到91.6%，跟蹤的速度在35 FPS左右，滿足實時性要求，極大優化了匹配性能，改善了跟蹤效果。實驗結果表明，本文算法能夠較好地平衡檢測的速度和精度，通過引入外觀信息進一步解決了跟蹤過程中的丟幀問題。除此之外，這項工作是持續性的，未來可以通過單獨提升檢測性能或者改變匹配方式來提升總體性能。