基于無人機平臺的多目標(biāo)跟蹤算法

任 進，李文邦，郭昱汝

(北方工業(yè)大學(xué) 信息學(xué)院，北京 100144)

0 引言

目標(biāo)跟蹤任務(wù)是無人機一項極為重要的功能，無論是目標(biāo)抓捕、自動檢測打擊或是移動跟拍等都有著廣泛的需求，因此無人機目標(biāo)跟蹤的完善與實踐具有極強的現(xiàn)實意義。

無人機的跟蹤算法主要有生成式算法和濾波類判別式跟蹤算法[1-3]。生成式算法早期主要是根據(jù)提取的目標(biāo)特征，對目標(biāo)建模后進行跟蹤。與生成式目標(biāo)跟蹤算法相比，判別式跟蹤不僅考慮目標(biāo)的模型描述[4]，而且將目標(biāo)的特征信息和其所在位置的環(huán)境背景信息加入了考慮范圍[5]。

相關(guān)濾波類算法由于通過傅里葉變換在頻域中進行計算[6]，運行速度較快，能夠滿足無人機目標(biāo)跟蹤最基本的實時性的需要。MOSSE算法作為目標(biāo)跟蹤算法，在669 幀/秒的速度下，對亮度、尺度、位姿和不嚴(yán)格變形的魯棒性比較好[7]。

深度學(xué)習(xí)的方法提升了多目標(biāo)跟蹤算法的精度[8-9]，大都是通過預(yù)訓(xùn)練出卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)以分析目標(biāo)的特征[10]，此后再提取深度特征，得到特征信息后進行特征的分類，以此為基礎(chǔ)實現(xiàn)目標(biāo)的確定與跟蹤。但是其也依賴于GPU的性能，運行速度較慢，所以深度學(xué)習(xí)和相關(guān)濾波相結(jié)合的方法漸漸成為主流。

目前，基于無人機平臺的跟蹤算法依然存在諸多問題，如目標(biāo)的移動過快以至于脫離視線、拍攝后低分辨率等，這一系列問題使得學(xué)者們對跟蹤算法的研究有了新的方向與目標(biāo)[11]。有的算法如核相關(guān)濾波 (Kernel Correlation Filter)算法利用梯度直方圖特征并融合多通道特征，通過多種方法結(jié)合使得跟蹤結(jié)果更加準(zhǔn)確[12-13]。本文提出一種無人機多目標(biāo)跟蹤算法，旨在使用無人機跟蹤地面行人目標(biāo)，該算法需要在復(fù)雜環(huán)境和距離變化下依然能夠高效地跟蹤目標(biāo)，在圍繞無人機特性設(shè)計多目標(biāo)跟蹤算法的同時也應(yīng)該注意目標(biāo)檢測、特征提取和相似度等之間的關(guān)聯(lián)，力求在保證算法時效性和速度的同時，盡可能提高精度。

1 多目標(biāo)跟蹤算法

1.1 YOLOv5算法

YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)可分為輸入端(Input)、骨干網(wǎng)絡(luò)(Backbone)、多尺度特征融合模塊(Neck)和輸出端(Output)共4個部分。YOLOv5包含了4個目標(biāo)檢測版本：YOLOv5s，YOLOv5m，YOLOv51和YOLOv5x。4種模型有著一樣的網(wǎng)絡(luò)結(jié)構(gòu)，通過改變網(wǎng)絡(luò)寬度來改變轉(zhuǎn)換器(Conv)中卷積核的數(shù)量，通過改變網(wǎng)絡(luò)深度來改變瓶頸層(BottleneckC3)中C3的數(shù)量，實現(xiàn)不同網(wǎng)絡(luò)深度和不同網(wǎng)絡(luò)寬度之間的組合，達到精度與效率的平衡[14]。YOLOv5s是這4種里面網(wǎng)絡(luò)深度最淺、特征圖寬度最小的YOLOv5網(wǎng)絡(luò)，有著非常不錯的性能，其在TeslaP100上檢測速度達到140 幀/秒。其他3種模型都在YOLOv5s基礎(chǔ)上不斷加深、加寬，并且各個網(wǎng)絡(luò)的網(wǎng)絡(luò)深度與特征寬度都可用代碼控制，在使用時復(fù)雜度降低，節(jié)約了成本。

4種YOLOv5與EfficientDet檢測器[15]對比如圖1所示。由圖1可以看出，在性能上YOLOv5s

圖1 4種YOLOv5與EfficientDet檢測器對比Fig.1 Comparison of four YOLOv5 detectors and EfficeintDet detector

1.2 DeepSort算法

DeepSort算法由SORT算法改進得來[16]。相比于SORT算法，DeepSort算法的改進在于內(nèi)容匹配，實現(xiàn)了避免內(nèi)容匹配忽略多目標(biāo)身份變換的問題，使用集成表觀信息來遏制身份變換的發(fā)生頻率，采用了一個簡單的CNN來提取被檢測物體(檢測框物體)的外觀特征(用低維向量表示)，在每次檢測+追蹤后，進行一次物體外觀特征的提取并保存[17]。

在后面每執(zhí)行一步時，當(dāng)前幀中被檢測到的物體外觀特征與之前存儲的外觀特征都要執(zhí)行一次相似度的計算，這個相似度將作為一個重要的判別依據(jù)。

DeepSort的核心流程是預(yù)測、觀測和更新3步結(jié)合的方式。DeepSort匹配過程分為以下幾種情況：

① 卡爾曼濾波的預(yù)測未被檢驗，出現(xiàn)這種情況時結(jié)果會進入重疊度(Intersection over Union，IoU)匹配進行核實。

② 卡爾曼濾波的預(yù)測和檢測器匹配。在匹配時會出現(xiàn)2種情況：Tracks和Detections匹配成功，則更新卡爾曼濾波并進入下一幀Tracks未匹配。在這種情況下，結(jié)果會進入IoU匹配中，并重新生成Tracks，重復(fù)這一步。Detections或Tracks未匹配，這種情況下會進入IoU匹配，之后進行二次匹配。若二次匹配失敗，算法會標(biāo)記其為一個不真實軌跡納入考慮，然后再次進行IoU匹配，如果在第3次匹配時成功了，則將其列為真實軌跡加入計算中。如果再次失敗，則會將其列為漏檢再次納入考慮范圍。若有軌跡被標(biāo)記為不真實軌跡，則將其刪除并不再考慮。

DeepSort算法流程如圖2所示。YOLO預(yù)測的位置信息作為觀測值輸入DeepSort后，卡爾曼濾波先判斷是否存在Track，如果存在，對其位置信息進行先驗概率預(yù)測，然后在匹配模塊先后進行級聯(lián)匹配和IoU匹配，最終得到匹配成功列表。在卡爾曼更新模塊，對匹配成功的元素進行后驗預(yù)測，得到最終的修正坐標(biāo)，更新卡爾曼增益等參數(shù)。一直循環(huán)上述操作，直至處理完全部視頻。

圖2 DeepSort算法流程Fig.2 DeepSort algorithm flow chart

1.2.1 卡爾曼濾波

卡爾曼濾波[18-19]對系統(tǒng)產(chǎn)生的噪聲有很好的容錯率，它的預(yù)測在一定程度上考慮了系統(tǒng)的不穩(wěn)定性。卡爾曼濾波的預(yù)測非常全面，結(jié)果也更加接近真實的結(jié)果。基于這些優(yōu)點，卡爾曼濾波逐漸成為各領(lǐng)域中常用的動態(tài)系統(tǒng)估算方法：

zk=Hkxk+νk，

(1)

xk=Ak×xk-1+B×μk+wk-1，

(2)

式中，Ak為狀態(tài)轉(zhuǎn)移矩陣；xk為系統(tǒng)狀態(tài)矩陣；Hk為狀態(tài)觀測矩陣；wk-1表示過程噪聲；zk為狀態(tài)陣的觀測量(實測)，與系統(tǒng)模擬得到的狀態(tài)xk相對應(yīng)；B為控制輸入矩陣；νk為高斯測量白噪聲。為了使卡爾曼濾波的測量更加準(zhǔn)確，在以上公式中過程噪聲和測量噪聲2個誤差量起到了重要的作用，wk-1和νk的加入使卡爾曼濾波即使面對系統(tǒng)的線性變化，依然表現(xiàn)良好。

1.2.2 匈牙利算法

使用匈牙利算法解決分配問題，該算法解決了卡爾曼濾波算法預(yù)測框和檢測框的匹配問題。

將視頻前后幀中的檢測框看成2組數(shù)據(jù)，這2組數(shù)據(jù)存在匹配關(guān)系(同一個目標(biāo)，在前后幀中的檢測框為一對)，而同一幀中的目標(biāo)框，可被認為是不同的目標(biāo)，不存在匹配關(guān)系。顯然，前后幀中目標(biāo)框的匹配問題是一個求二分圖最大匹配數(shù)的問題(盡量匹配所有目標(biāo))。匈牙利算法需要輸入一個代價矩陣，代價矩陣可以是IoU的距離，距離越小，匹配得越好。

2 目標(biāo)檢測

2.1 無人機平臺

無人機傳統(tǒng)的目標(biāo)識別方法主要是進行特征提取，然后用分類器進行特征識別，但是傳統(tǒng)方法存在識別精度低、對多樣性的環(huán)境魯棒性差、無針對性和耗費時間長等問題。利用深度卷積模型，可對目標(biāo)進行精準(zhǔn)識別和鎖定，并應(yīng)用在實時檢測上。通過CNN提取目標(biāo)特征的目標(biāo)檢測算法可以進行精準(zhǔn)識別，如YOLO算法，其特點是采用端到端的檢測，檢測速度快，滿足實時檢測的要求。

2.2 算法設(shè)計概要

算法設(shè)計概要如圖3所示，分為特征提取、目標(biāo)識別、目標(biāo)鎖定和目標(biāo)跟蹤4大模塊。

圖3 算法設(shè)計概要Fig.3 Summary of algorithm design

各模塊功能描述如下：

① 視頻輸入：將需要進行跟蹤的視頻輸入到算法中。

② 特征提取：算法將設(shè)定好的目標(biāo)特征在視頻的幀圖像中進行提取，將與設(shè)定好的特征相似的地方選取出來，進行判斷。

③ 目標(biāo)識別：算法會對提取后的特征進行分析，對比后將與設(shè)定值相同的部分選中，即可將幀圖像中的目標(biāo)識別出來。

④ 目標(biāo)鎖定：算法在識別了目標(biāo)后，會生成一個與幀圖像中目標(biāo)大小相當(dāng)?shù)腻^框，將目標(biāo)框在其中，以實現(xiàn)目標(biāo)鎖定的功能。

⑤ 目標(biāo)跟蹤：實現(xiàn)對目標(biāo)的框定后，跟蹤算法會根據(jù)檢測錨框中的圖像信息，使用相關(guān)濾波算法對比前后幀，實現(xiàn)對目標(biāo)的持續(xù)跟蹤。

⑥ 輸出跟蹤結(jié)果：跟蹤完成之后，程序會輸出跟蹤結(jié)果，結(jié)果分為2個，一個是視頻跟蹤結(jié)果，將目標(biāo)的移動通過錨框的移動清楚地出現(xiàn)在視頻中；另一個是一個文本文件，包括目標(biāo)在每一幀的坐標(biāo)、錨框大小等數(shù)據(jù)。

2.3 多目標(biāo)跟蹤算法功能實現(xiàn)

YOLOv5算法和DeepSort算法結(jié)合后最終功能如下：

① 提取目標(biāo)特征并進行檢測。

② 鎖定識別后的對象。算法在檢測到對象后，自動生成錨框來框定檢測到的對象，即將其鎖定，檢測效果如圖4所示。即使應(yīng)用于高空，從上往下觀測，算法依舊有較好的效果。

圖4 檢測效果Fig.4 Detection effect

③ 對移動中的對象進行跟蹤。將目標(biāo)鎖定后，當(dāng)目標(biāo)移動時，根據(jù)算法的設(shè)計和卡爾曼濾波的原理，檢測目標(biāo)框內(nèi)各個目標(biāo)的動作變化，從而推測各個目標(biāo)在下一幀的位置，然后根據(jù)下一幀的圖像結(jié)合匈牙利算法計算出準(zhǔn)確的位置，進而實現(xiàn)高效的多目標(biāo)跟蹤。目標(biāo)移動過程中的跟蹤捕捉如圖5所示。

圖5 移動中目標(biāo)跟蹤Fig.5 Target tracking in movement

2.4 使用YOLOv5實現(xiàn)目標(biāo)檢測

YOLO將物體檢測作為回歸問題求解。基于一個單獨的端到端網(wǎng)絡(luò)，完成由原始圖像的輸入到物體位置和類別的輸出。

在網(wǎng)絡(luò)訓(xùn)練中，網(wǎng)絡(luò)在初始錨框的基礎(chǔ)上輸出預(yù)測框并與真實框進行比對，計算二者差距，再反向更新，迭代網(wǎng)絡(luò)參數(shù)。BackBone主要進行特征提取，將圖像中的物體信息通過卷積網(wǎng)絡(luò)進行提取，用于后面目標(biāo)檢測。Neck層對特征進行混合與組合，增強網(wǎng)絡(luò)的魯棒性，加強物體檢測的能力，并將這些特征傳遞到Head層進行預(yù)測，最終進行預(yù)測輸出。

YOLOv5在接收圖像后，會結(jié)合訓(xùn)練集判斷圖像內(nèi)容并進行識別，并框定出識別后的對象，實驗結(jié)果如圖6所示。由圖6可以看出，YOLOv5良好地對所選目標(biāo)行人進行了識別，并完整地框定了目標(biāo)對象。實驗中，YOLOv5的識別準(zhǔn)確率到達了70%左右。在輸出的結(jié)果中，YOLOv5將每一幀的對象用錨框框住后，也保存了錨框內(nèi)的圖像。

圖6 使用YOLOv5進行目標(biāo)識別的結(jié)果Fig.6 Target recognition videos by using YOLOv5

2.5 基于YOLOv5+DeepSort的多目標(biāo)跟蹤算法實現(xiàn)

在實現(xiàn)YOLOv5和DeepSort的聯(lián)用時，相當(dāng)于視頻送入YOLOv5進行識別鎖定后，將處理好的視頻送進DeepSort算法中對目標(biāo)進行跟蹤，從而實現(xiàn)完整的多目標(biāo)跟蹤。無人機上算法運行效果如圖7和圖8所示。可以看出，算法在無人機上運行較為穩(wěn)定，跟蹤效果良好。

圖7 無人機上算法運行效果(前幀)Fig.7 Operation effect of algorithm on UAV (front frame)

圖8 無人機上算法運行效果(后幀)Fig.8 Operation effect of algorithm on UAV (rear frame)

3 實驗結(jié)果與分析

3.1 實驗環(huán)境及參數(shù)設(shè)置

實驗采用的是GPU版的PyTorch，選擇CUDA11.3版本。安裝Pycharm后，安裝環(huán)境所需的包require-ments，在深度學(xué)習(xí)中有很多調(diào)用視頻、圖像等的包需要進行調(diào)用，還有深度學(xué)習(xí)的包，例如opencv等，因此將所需的包都放入requirements中一并進行下載安裝。

選取公開的無人機數(shù)據(jù)集VisDrone2021進行圖像標(biāo)注，從而形成自己的數(shù)據(jù)集來進行目標(biāo)跟蹤。基準(zhǔn)數(shù)據(jù)集由265 228幀和10 209張靜態(tài)圖像構(gòu)成的400個視頻剪輯組成，由各種無人機攝像機捕獲，涵蓋廣泛，包括位置(從中國相隔數(shù)千千米的14個不同城市拍攝)、環(huán)境(城市和國家)、物體(行人、車輛和自行車等)和密度(稀疏和擁擠的場景)。

3.2 定量分析

本算法設(shè)計的目的是為了能夠?qū)o人機應(yīng)用于災(zāi)后救援、警方抓捕和環(huán)境保護等特殊環(huán)境，跟蹤目標(biāo)主要是人群，故選取MOT16作為評估算法的評價指標(biāo)。MOT16數(shù)據(jù)集是用于衡量多目標(biāo)跟蹤方法標(biāo)準(zhǔn)的數(shù)據(jù)集，主要包含行人跟蹤圖片，專用于行人跟蹤領(lǐng)域的評估。

實現(xiàn)算法評價的步驟如下：

① 在seqinfo.init文檔中設(shè)定好測試視頻名稱。

② 對seqinfo.init文檔中選定好的測試視頻運行檢測代碼，并生成結(jié)果的txt文件。

③ 運行MOT16評估代碼文件，將生成的txt文件與gt.txt文件進行比較，得出代碼的準(zhǔn)確性能評估。

MOT16代碼生成的評價指標(biāo)如表1所示。“+”代表指標(biāo)越高越好，“-”代表指標(biāo)越低越好。

表1 MOT數(shù)據(jù)集評估指標(biāo)Tab.1 Evaluation index of MOT dataset

MOT指標(biāo)能否準(zhǔn)確測出算法性能，對跟蹤算法有以下要求：

① 在跟蹤過程中能及時檢測到所有出現(xiàn)的目標(biāo)物體，包括初次進入視野的物體。

② 算法推測位置和實際位置盡可能一致。

③ 算法為每個檢測到的物體定義一個唯一的ID識別碼，相應(yīng)地該物體分配的ID在整個跟蹤程序進行中保持不變。

在MOT的衡量指標(biāo)中，跟蹤準(zhǔn)確度(Multiple Object Tracking Accuracy，MOTA)是個很重要的指標(biāo)，可以直觀地看出多目標(biāo)跟蹤的性能并且不受檢測器精度的影響。MOTA為：

(3)

式中，F(xiàn)N為False Negative；FP為False Positive；IDSW為ID Switch；GT為Ground Truth 圖像中物體的數(shù)量。MOTA將跟蹤過程中的所有錯誤納入了考慮范圍，這些錯誤主要是FN，F(xiàn)P，ID Switch。MOTA與物體位置的估計精度無關(guān)，但MOTA相應(yīng)地準(zhǔn)確衡量了跟蹤算法在檢測物體和跟蹤軌跡時的能力。MOTA有時也會為負數(shù)，即當(dāng)跟蹤器產(chǎn)生的錯誤過大時。

跟蹤精度(Multiple Object Tracking Precision，MOTP)同樣也是跟蹤過程中的一個重要指標(biāo)：

(4)

式中，ct為t幀時匹配到的個數(shù)；dt,i為t幀時第i個匹配目標(biāo)與GT的距離。

正確識別的計算檢測的分?jǐn)?shù)(Identification Precision, IDP)是指每個行人框中行人 ID 識別的精確度；正確識別GT檢測的分?jǐn)?shù)(Identification Recall, IDR)是指每個行人框中行人 ID 識別的回召率；ID Switch(ID_SW)為ID切換總數(shù)。

不同檢測器算法性能如表2所示。“+”代表指標(biāo)越高越好，“-”代表指標(biāo)越低越好。

表2 不同檢測器算法性能Tab.2 Performance of different detector algorithms

通過測試得出，DeepSort與YOLOv5x檢測器配合后，MOTP值最大。YOLOv4-tiny跟蹤精確度值最低，但占用內(nèi)存較小，運行方便。對于搭載處理器較差的無人機，使用YOLOv4-tiny配合DeepSort算法更能發(fā)揮作用。

4 結(jié)束語

本文基于無人機平臺，將DeepSort與YOLOv5算法結(jié)合。關(guān)于多目標(biāo)身份變換問題，當(dāng)跟蹤目標(biāo)消失又重新出現(xiàn)時，SORT算法給它重新分配新的身份，導(dǎo)致識別率降低，DeepSort算法將深度學(xué)習(xí)引入到SORT算法中，通過添加外觀描述符來減少身份切換，從而提高跟蹤效率。同時，還能計算目標(biāo)間距以及特征相似度，并且增添了用來排除錯誤預(yù)測結(jié)果的驗證機制。實驗結(jié)果顯示，DeepSort與YOLOv5x檢測器結(jié)合要比YOLOv4-tiny檢測器的跟蹤精度提高22%，跟蹤準(zhǔn)確度提高85%。