基于YOLOv3的高速公路多目標車輛跟蹤算法研究

摘要：針對高速公路行車速度快的特點，文章分析了YOLOv3算法的優勢，并利用YOLOv3算法對目標車輛跟蹤的兩個步驟進行改進：在車輛檢測階段利用YOLOv3算法模型及Resnet-18算法模型構建雙線性分類模型，提高目標車輛檢測準確性及檢測速度;在車輛跟蹤階段則引入深度分類的方法，能有效減少目標車輛標識跳變的問題，改善目標車輛跟蹤效果。通過實驗表明，所提出的基于YOLOv3的高速公路多目標車輛跟蹤算法具有較高的識別速度及跟蹤準確性。

關鍵詞：YOLOv3;車輛檢測;車輛跟蹤;深度分類

0 引言

根據交通部數據顯示，截至2018年年底，全國高速公路交通視頻監控設施（含路段互通、收費站、橋隧、服務區）總規模達到21.4萬套，平均布設密度達4 km/套，如何合理挖掘豐富的高速公路視頻監控數據資源成為急需解決的問題。利用多目標車輛跟蹤技術能夠實現對高速公路上行駛的車輛自動檢測并對車輛進行跟蹤，從而將高速公路監控數據變為有用信息，是近年來重點研究的方向之一。

多目標車輛跟蹤一般分為兩步：第一步是進行車輛檢測，即識別出視頻初始幀中所有的車輛;第二步是進行目標車輛跟蹤，即在之后的視頻幀中對識別出來的目標車輛進行跟蹤。由于高速公路車輛行駛速度較快，導致傳統的多目標車輛跟蹤算法識別效果不理想，會產生誤檢、漏檢、目標丟失等問題。因此，本文基于YOLOv3算法從目標車輛跟蹤的兩個步驟進行改進，有效提升算法識別速度和跟蹤效果。

1 YOLOv3算法介紹

目前，目標檢測算法按照實現步驟分為兩類。第一類算法是將目標識別和目標定位分為兩個步驟分別完成，典型代表是R-CNN、fastR-CNN、faster-RCNN等。這類算法是通過提取候選區域，并對相應區域進行深度學習的方法[1]。第二類算法是將目標識別和目標定位在一個步驟中完成，典型代表是YOLO、SSD、YOLOv2、YOLOv3等。這類算法使用了回歸的思想，將目標檢測任務轉換成一個回歸問題，實現端到端的識別[2]。第一類算法是目前主流的目標檢測算法，但是這類算法存在一個很明顯的問題——檢測速度很慢，不能滿足實時的目標檢測需求。高速公路行車速度快，視頻監控場景中對實時檢測要求高，因此本項目選擇第二類端到端識別算法中的YOLOv3算法來進行車輛檢測[3]。

YOLOv3算法的核心思想是首先將輸入視頻的某一幀進行N*N（本項目是13*13）的柵格化得到N*N個網格單元，最終將該幀圖片中車輛位置的預測任務交給車輛中心位置所在網格單元的回歸邊框來完成。上述過程可以認為是一種很粗糙的區域推薦，通過網格單元的方式告訴模型，視頻某一幀中目標車輛是由該目標車輛中心落在網格單元的某些范圍內的某些像素組成。模型接收到這些信息后就在中心網格單元周圍以一定范圍去尋找所有滿足目標車輛特征的像素，最終完成車輛檢測。

從縱向的角度考慮，由于基于區域的目標檢測方法在候選區域提取階段計算相對復雜，想要實現實時檢測仍面臨巨大挑戰。從橫向的角度考慮，YOLOv3借鑒了殘差網絡結構形成更深的網絡層次，并實現多尺度檢測，相比YOLO、YOLOv2提升了識別精準度及小物體檢測效果。總的來說，YOLOv3在不損失太多精度的同時，速度有了極大的提升，適合在高速公路的視頻監控場景中做目標檢測。

2 車輛檢測

經過上述YOLOv3算法，我們已經完成了目標的粗粒度分類，即把不同種類的目標進行區分，比如可以區分有著顯著差異的摩托車與汽車。但是如果我們想區分貨車還是轎車等車輛類型，YOLOv3算法則容易出現誤檢的問題，由此引出了細粒度分類。細粒度分類是把同一類物體繼續細分成確切子類，由于不同子類之間的視覺差異很小，往往只能借助微小的局部差異才能分出不同的子類，使得細粒度分類十分具有挑戰性[4]。

第一步車輛檢測是第二步車輛跟蹤的前提，因此本文在車輛檢測時提出構建基于弱監督的分類模型——雙線性分類模型進行細粒度分類，即用上述YOLOv3算法模型及Resnet-18算法模型這兩個并列的模型進行局部建模（如圖1所示）。兩個算法模型相互協調作用，提高車輛檢測準確性，為下一步車輛跟蹤提供有力支撐。

雙線性分類模型的優勢主要在于它可以根據類抽象遞減的順序多個輸出層預測分類結構，簡化了梯度計算。同時，雙線性分類模型采用新型訓練策略——分支訓練策略，即使用粗級標簽先學習低級特征激活卷積神經網絡的淺層，平衡了先驗的嚴格性和調整輸出層參數的自由度，以最大限度減少損失。另外，雙線性分類模型與傳統的卷積神經網絡模型一樣簡單，僅使用了現在卷積神經網絡的組件作為構建塊，訓練策略與修改學習速率一樣容易。

3 多目標車輛跟蹤

完成第一步車輛檢測后，我們需要在之后的視頻幀中對識別出來的目標車輛進行跟蹤。為了達到高速公路車輛監控的實時性要求，同時兼顧跟蹤的準確性，本項目基于YOLOv3算法引入深度分類的方法來進行多目標車輛跟蹤。

具體的跟蹤流程為：首先將YOLOv3算法檢測到的結果作為對象輸入，然后判斷上一次檢測到的每一個目標車輛與當前檢測到的目標車輛是否匹配。如果匹配則認為目標車輛跟蹤成功;如果長時間沒有匹配，則認為該目標車輛跟蹤過程結束。

是否匹配的判斷使用深度分類的方法，即使用運動信息匹配與表觀特征匹配結合的方法來進行匹配判斷，其由以下三個步驟來完成：第一步是運動信息匹配，即使用基于常量速度模型和線性觀測模型的標準卡爾曼濾波器對目標車輛的運動狀態進行預測，預測結果與當前檢測結果之間的馬氏距離d（1）（i，j）表示匹配度度量：

d（1）（i，j）=（dj-yi）TSi-1（dj-yi） （5）

其中，dj——當前檢測到目標車輛的狀態（u，v，r，h）;

yi——卡爾曼濾波器對目標車輛的預測狀態（u，v，r，h）;

Si——當前檢測到目標車輛的位置與卡爾曼濾波器預測的目標車輛位置之間協方差矩陣。

單獨使用馬氏距離為匹配度度量會導致標識跳變情形嚴重，特別是當視頻畫面存在抖動時可能會導致馬氏距離度量失效。因此，第二步引入了表觀特征匹配：利用深度網絡提取每一個目標車輛最近成功匹配的k幀中的每一幀的特征向量，并組成特征向量集r（i）k。本項目中k取100，則用當前檢測結果的特征向量與特征向量集r（i）k間的最小余弦距離d（2）（i，j）表示匹配度度量：

d（2）（i，j）=min{1-rjTr（i）k|r（i）k∈Ri}（6）

最后一步是將運動信息匹配與表觀特征匹配結合的匹配度度量進行線性加權得到的ci，j作為最終的匹配度度量：

ci，j=λd（1）（i，j）+（1-λ）d（2）（i，j） （7）

其中λ是超參數，用于調整不同項的權重，本項目中λ取0.1。若ci，j小于特定閾值時，則表示匹配成功。考慮到運動的連續性，本項目使用卡方分布的0.95分位點作為閾值t，則匹配的最終公式為bi，j[7]：

bi，j=∏[JB（[]ci，j≤t[JB）]] （8）

在實時目標追蹤過程中，深度分類的方法采用運動信息匹配與表觀特征匹配結合的方法，從而減少了45%的標號交換的數量，避免產生目標標識跳變的問題，可以提高有遮擋情況下的目標追蹤效果。而且，深度分類的方法將大部分計算復雜性放入離線的預訓練階段，解決了在高幀率下的整體競爭性能不影響整個監控過程的實時性問題。

4 算法實驗

本項目以G80廣昆高速公路南壇段的高速公路監控錄像作為算法數據集，對算法進行訓練，并以該路段實時監控視頻作為實驗對象進行400次實驗。實驗環境為英偉達1080Ti GPU，評價標準為多目標跟蹤（MOT）性能評價指標，具體實驗結果如表1所示。從實驗結果來看，本項目提出的基于深度學習的高速公路目標車輛識別及跟蹤算法具有較高的識別速度及準確性。

5 結語

本文從目標車輛跟蹤的兩個步驟進行算法改進：在車輛檢測階段利用YOLOv3算法模型及Resnet-18算法模型構建基于弱監督的雙線性分類模型實現目標車輛檢測，該方法在簡化了梯度計算的同時也獲得了較高的準確率;在車輛跟蹤階段則利用YOLOv3算法模型及深度分類的方法，有效減少目標車輛標識跳變的問題，改善目標車輛跟蹤效果。通過實驗表明，本文提出的基于YOLOv3的高速公路多目標車輛跟蹤算法在高速公路車輛行駛速度較快的情況下，仍能實現實時識別并具有較高的識別速度及跟蹤效果。目前，本項目用于算法模型訓練的樣本資源有限，下一步計劃擴充樣本庫，進一步訓練本文算法。

參考文獻：

[1]韓 凱，張紅英，王 遠，等.一種基于Faster R-CNN的車輛檢測算法[J].西南科技大學學報，2017，32（4）：65-70，94.

[2]阮 航.基于卷積神經網絡的車輛識別[D].南京：南京航空航天大學，2018.

[3]周曉彥，王 珂，李凌燕.基于深度學習的目標檢測算法綜述[J].電子測量技術，2017，40（11）：89-93.

[4]吳 凡.基于深度學習的車型細粒度識別研究[D].廈門：廈門大學，2017.

[5]楊 興.基于B-CNN模型的細粒度分類算法研究[D].北京：中國地質大學，2017.

[6]Lin，TsungYu，RoyChowdhury，et al.Bilinear CNN Models for Finegrained Visual Recognition[EB/OL].https：//arxiv.org/abs/1504.07889，2015-04-29.

[7]Nicolai Wojke，Alex Bewley，Dietrich Paulus，Simple Online And Realtime Traltime With a Deep Association Metric[EB/OL].https：//arxiv.org/abs/1703.07402，2017-03-21.

作者簡介：覃蔣圣（1990—），助理工程師，研究方向：交通信息化。