高速公路異常事件檢測中的目標檢測和主體識別算法

肖楊 廖惠宇 覃琳

摘要：針對高速公路監控中心需要輪詢查看大量視頻的繁瑣任務及人員消耗，文章提出了基于人工智能計算機視覺的高速公路事件檢測方法。該方法針對傳統檢測無法判斷事件主體是否為工程養護車輛和工作人員的情況，制作了工程養護車輛和工作人員的數據集，采用yolox網絡結構作為基礎，在網絡結構中增加目標識別頭，同時對人和車輛進行檢測和識別。經實際應用后表明，該方法檢測效果優于對比組，可有效檢測和識別社會車輛和工程養護車輛、普通行人和工作人員。

關鍵詞：高速公路；目標檢測；主體識別

中圖分類號：U495A491673

0引言

高速公路上車輛行駛速度較快，易造成重大人員傷亡事故。事件檢測系統可實時發現道路異常事件，及時進行告警處置，避免二次事故的發生。事件檢測的核心算法是目標檢測和識別，只有準確地發現和識別目標，才能對異常事件進行準確的判定。

王瀅暄等［1］針對高速公路特定場景下的目標檢測問題，提出了一種基于YOLOv4網絡的改進算法，對交通場景下的車輛目標進行檢測，將多幅圖像的拼接層連接后再進行車輛檢測，提升了網絡的運行效率；姚蘭等［2］在對目標檢測跟蹤的基礎上，提出了一種基于車輛軌跡特征的異常事件檢測方法，減少了背景環境變化的對跟蹤算法的影響，結合高速公路實際場景，加入滑動窗口機制，提升了對遠距離和復雜場景下異常事件的檢測能力；李浩瀾［3］通過改進YOLOv3和deep-sort算法，提高了對車輛的跟蹤速度，并定義了異常事件檢測算法，實現了高實時、高準確性的異常事件檢測功能。

可以發現，目前研究人員對于高速公路的異常事件檢測已經提出了多種解決方案，并取得了較好的進展，但未有針對工程養護車輛和工作人員識別的特定算法和應用，導致在實際工作中，工程養護車輛和工作人員引起了較多的異常事件告警，為監控中心人員的工作帶來了較大的困擾。因此，區分社會車輛人員與工程養護車輛人員，具有重要的意義。本文提出一種基于YOLOX的改進算法，在網絡結構中加入目標分類頭，在對車輛人員進行檢測的同時，對目標進行分類，以此來辨認工程養護車輛人員，提升高速公路事件檢測的實用性。

1算法及其網絡結構

1.1檢測算法及模型

隨著深度學習的發展，目標檢測算法也取得了巨大的進步，目前主流目標檢測算法可大致分為單階段算法和兩階段算法。單階段算法是基于回歸分析的目標檢測算法，通過采樣網格對anchor進行回歸和分類，一個神經網絡模型可直接輸出結果，其結構簡單，計算效率較高，如SSD、YOLO系列算法等；兩階段算法是基于候選區域的目標檢測算法，需要進行候選區域提取、候選區域分類、候選區域位置修正3個步驟，模型復雜度較高，如R-CNN、SPPnet、Faster R-CNN等。由于事件檢測對實時性要求較高，因此采用單階段目標檢測算法。

Joseph Redmon提出了darknet骨干網絡，用于提取特征，Ge Z等［4］使用Darknet 53

骨干網絡，采用了預測分支解耦、數據增強、Anchor-free等方法，對YOLO系列的網絡模型進行改進，提出了YOLOX網絡，對80類目標進行端到端訓練，取得了非常好的效果，其網絡結構如下頁圖1所示。

在輸入端，將圖像首先縮放為寬和高均為640像素的3通道圖像，利用Mosaic數據增強［5］和MixUp數據增強［6］等數據增強方法，通過隨機縮放、隨機裁剪、隨機排布的方式進行拼接，提升了小目標的檢測效果；骨干網絡則采用Darknet53的網絡結構，由CBL、Res unit、ResX三種結構組合而成；Neck部分采用了SPP模塊，再用FPN+PAN［7］結構將強語義特征和強定位特征進行融合，提升特征提取能力；在預測頭部分，采用了3個解耦頭，在提高了精度的同時，也提高了訓練過程中網絡的收斂速度，采用Anchor Free的方式，減少了網絡參數量，加上新的標簽分配方式和Loss計算方式，構成了YOLOX網絡的預測頭，進一步提升了網絡模型的表達能力。

本文以YOLOX網絡為基礎，在網絡的預測頭部分，增加了目標分類頭，將目標檢測和分類任務同時完成，相比于傳統的先檢測再識別的方式，提高了算法的整體效率。改進的預測頭網絡結構如圖2所示。網絡檢測3個類別：人、車、騎行者；2個識別任務：普通車輛/工程車輛、普通人員/養護工作人員。最終輸出維度如下：Decoupled Head①為20×20×10，Decoupled Head②為40×40×10，Decoupled Head③為80×80×10，輸出10×8 400的二維向量信息。其中的10維特征，前3維為3類檢測結果，第4維為前景背景判斷，第5～8維為位置信息，第9維為車輛分類結果，第10維為人員分類結果。

1.2損失函數

經過對比實驗，Decoupled Head的方式可以提高檢測精度和算法收斂速度；Anchor-free的方式減少了2/3的參數量；標簽分配算法確定預測框正樣本和負樣本，以計算最終的損失。

預測框只有少部分是正樣本，絕大部分都是負樣本。所以，通過初步篩選和精細化篩選兩個步驟，基于預測框和錨框的重合度進行篩選，用改進的SimOTA進行精細化篩選［8］，Ldsij是目標框的類別預測分數，Lnegij是目標框的坐標信息預測分數，λ是權重系數，樣本選擇代價函數如式（1）所示：

經過標簽分配，可以對應預測框和目標框，檢測框坐標損失lossiou采用giou_loss，其他損失losscls、lossobj、lossvehicle_cls、lossperson_cls均采用BCE_loss，λ1、λ2、λ3、λ4是權重系數，最終損失函數如式（2）所示：

1.3評價指標

目標檢測常用的評價指標包含mAP、AP等，由于網絡要同時檢測行人、車輛和騎行者，還要區別普通行人/工作人員、社會車輛/工程養護車輛，因此采用mAP為評價指標。

mAP為AP的平均值，AP值為PR曲線下的面積，計算公式如式（3）所示：

2實驗

目前公開數據集中有大量城市場景下行人、車輛和騎行者的數據，但對于高速公路場景，沒有公開的數據集，也沒有高速公路場景下，對工作人員和工程養護車輛的分類數據。為滿足本文所述網絡的多種任務，采用廣西某公司的監控視頻，其包含200多路視頻，每路視頻選取了不同時段的100幀圖像，共2萬張圖像，對這些圖像進行標注。在最終的數據集圖像中，工作人員和工程養護車輛的圖像占比約為25%。

本次實驗所用環境為Ubuntu16.04、CUDA11.2、OpenCV4.5.4、pytorch1.8、顯卡為1張RTX 3080。檢測效果如圖3所示。

使用本文網絡檢測并識別行人、車輛、騎行者與其他網絡的對比如表1所示。

Faster R-CNN 是兩階段算法，通過RPN生成待檢測區域，實現了端到端訓練，SSD和YOLOX均為單階段算法，通過框回歸的方式，大幅提高了算法的計算效率。

實驗表明，采用本文網絡結構的檢測識別算法，在不同程度的mAP值上都優于對比網絡，這得益于該網絡將檢測和識別任務分到了不同的檢測頭，增大了網絡的表達能力。在fps上，超過Faster R-CNN和SSD，略低于YOLOX，可以滿足實時性要求。

3結語

本文基于YOLOX網絡，增加專用于普通行人和工作人員識別、社會車輛和工程養護車輛識別的檢測頭，對高速公路上的行人、車輛和騎行者進行檢測并識別；制作了高速公路場景下，細分行人和車輛的數據集。實驗結果表明，不同程度的mAP值均優于對比組。由于數據集的局限，僅適用于高速公路場景，對于如城市、國道等其他場景的適用性不足，未來還可以對工程養護車輛進行細分，如掃地車、拖車等。

目前的交通事件檢測系統大多應用于高速公路上。然而在其他非封閉的道路場景，同樣對交通事件檢測有一定的需求，在非封閉的道路場景中，存在更多不同的主體，對不同的主體有不同的關注程度，因此，未來對道路目標的檢測和主體識別會有更大的需求。本文針對高速公路這類封閉道路進行了基于統一網絡模型的目標檢測和主體識別的算法探索，為后續不同場景下的快速目標檢測和主體識別研究提供了新的方向。

參考文獻

［1］王瀅暄，宋煥生，梁浩翔，等.基于改進的YOLOv4高速公路車輛目標檢測研究［J］.計算機工程與應用，2021，57（13）：218-226.

［2］姚蘭，趙永恒，施雨晴，等.一種基于視頻分析的高速公路交通異常事件檢測算法［J］.計算機科學，2020，47（8）：208-212.

［3］李浩瀾.基于視頻圖像的高速公路異常事件實時檢測系統［D］.重慶：重慶理工大學，2020.

［4］Ge Z，Liu S，Wang F，et al.YOLOX：Exceeding YOLO Series in 2021［R］.2021.

［5］Bochkovskiy A，Wang C Y，Liao H.YOLOv4：Optimal Speed and Accuracy of Object Detection［R］.2020.

［6］Zhang H，Cisse M，Dauphin Y N，et al.mixup：Beyond Empirical Risk Minimization［R］.2017.

［7］MeiY，Fan Y，Zhang Y，et al.Pyramid Attention Networks for Image Restoration［R］.2020.

［8］Ge Z，Liu S，Li Z，et al.OTA：Optimal Transport Assignment for Object Detection［R］.2021.

［9］Ren S，He K，Girshick R，et al.Faster r-cnn：Towards real-time object detection with region proposal networks［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）：1 137-1 149.

［10］ Liu W，Anguelov D，Erhan D，et al.Ssd：Single shot multibox detector［C］.European conference on computer vision，2016（9）：41-53.

基金項目：廣西重點研發計劃“智慧高速車路一體技術研究與示范項目”（編號：桂科AB21196008）

作者簡介：肖楊（1983—），工程師，主要從事智慧交通領域相關軟、硬件產品的設計、研發、測試、實施、推廣及配套解決方案的設計工作。