基于計算機視覺的非機動車違規行為識別研究

基金項目：2021年度廣西高校中青年教師科研基礎能力提升項目“基于計算機視覺的非機動車違規行為識別研究”（編號：2021KY1131）

作者簡介：張 舜 （1990—），碩士，講師，主要從事云計算、計算機應用技術的研究工作。

摘要：文章提出了一種基于改進YOLOv4模型的非機動車違規行為識別的檢測方法。該方法采用面積比較算法融合DeepSORT算法的方式解決了非機動車違規行為識別與多目標跟蹤的問題。通過實驗，在公開數據集上，該方法相較于傳統方法，具有更高的準確率和更低的誤判率。

關鍵詞：非機動車檢測；計算機視覺；目標檢測

中圖分類號：U495

0 引言

隨著城市交通的不斷發展，非機動車在城市道路中的使用量逐年攀升，其安全問題也愈加突出。如何有效地進行非機動車違規行為識別和檢測，成為當前交通領域的重要研究方向。本文提出了一種基于改進YOLOv4模型的非機動車違規行為識別檢測方法。針對非機動車違規行為判定、多目標跟蹤等問題，對其算法進行了改進與融合，進一步提升模型的泛化能力。本文所提出的方法相較于傳統的非機動車違規行為識別檢測方法和原始版本的YOLOv4，具有更高的準確率和更低的誤判率，證明了該方法在非機動車違規行為識別領域的應用前景和可行性。

1 YOLOv4模型結構分析

YOLOv4是一種基于深度學習的目標檢測模型，其模型結構主要分為5個部分：Darknet-53主干模型、SPP和PANet模塊、C3/C4/C5輸出、FPN以及輸出層。

1.1 CSPDarknet-53主干模型

YOLOv4采用CSP（Cross Stage Partial）Darknet-53作為主干模型，該模型結構使用跨層連接技術，將輸入特征圖分成兩部分，一部分直接進入模塊內部，另一部分經過殘差塊進行處理，再與前一部分進行通道合并。這種跨層連接方式可以加快信息流動，提高模型的特征表泛化能力。

1.2 SPP和PANet模塊

YOLOv4在主干模型中引入了金字塔空間池化（SPP）和金字塔注意力機制（PANet）模塊，加強特征表達能力，并且減少分辨率下降導致的物體檢測誤差。

1.3 特征金字塔模型（FPN）

YOLOv4采用了特征金字塔模型（FPN）來處理不同尺度的物體，并通過跨層連接將低級別特征與高級別特征相結合，以改進小物體檢測和定位性能。

1.4 C3/C4/C5輸出

C3、C4、C5分別代表CSPDarknet-53中3個尺度的輸出特征圖，這些特征圖被CNN層處理后，送到最終的輸出層。

1.5 輸出層

YOLOv4輸出層包含多個輸出分支，每個輸出分支都可以預測一種物體類別。每個分支由多個卷積層組成，最后通過sigmoid激活函數轉化為置信度。

綜上所述，YOLOv4在模型結構上進行了多方面的優化，如使用CSPDarknet-53主干模型、引入SPP和PANet模塊以及FPN等，提高了YOLOv4模型的表達能力和檢測性能。

2 非機動車違規行為判定算法

利用YOLOv4進行非機動車違規行為判定的方法主要分為兩個步驟：（1）目標檢測，利用YOLOv4模型對非機動車進行識別和定位；（2）違規行為判定，通過對目標運動狀態和行為特征進行分析，識別出非機動車的違規行為。本文以未佩戴安全頭盔行為為例。

2.1 傳統違規判定算法

目前對于未佩戴安全頭盔的非機動車違規行為，大部分的判斷算法都是基于頭肩匹配的方法^［1］，即先對駕駛員進行頭肩檢測，使用人物交互算法判斷頭盔與頭肩的關系，從而判定是否佩戴了頭盔。然而，該方法無疑增加了整個判斷流程的計算量。

2.2 面積交叉比較算法

為了解決上述問題，本文提出了一種面積交叉比較算法。當攝像頭位于非機動車正前方，可以通過比較頭盔和駕駛員之間的匹配度，來判斷是否佩戴頭盔。該方法只需要增加極少量的計算量，即可判斷當前駕駛員是否佩戴頭盔，即使存在其他駕駛員頭盔干擾的情況。如圖1所示，圖片中檢測出了without、with、b-rider與e-rider目標。取得e-rider標簽的圖像之后即可判斷是否佩戴頭盔。

通過面積交叉比較判斷，計算得到without與b-rider、e-rider目標框的交集面積，從而判斷出沒有佩戴頭盔的非機動車駕駛員；通過計算with與其他多數e-rider目標框的交集面積，從而得到未佩戴頭盔的非機動車駕駛員。如式（1）所示：

式中：O（a，b）——a目標框與b且標框的交集面積，體現在圖片中也就是a、b目標框相交的像素點;

U——with與without目標框的集合。

計算出來的R_e-rider是一個集合，如果集合中最大值對應的目標框框的標簽為without，那么就可以確認該目標為未佩戴頭盔的非機動車駕駛員。

基于計算機視覺的非機動車違規行為識別的研究/張 舜

3 DeepSORT多目標跟蹤

在實際交通場景中，多輛非機動車同時出現的頻率非常高，為了識別其他的違規行為，需要跟蹤多個非機動車目標，并獲取視頻流中多個目標幀與幀之間的關聯信息。本文采用DeepSORT算法來實現多目標跟蹤。

DeepSORT算法是由SORT跟蹤算法進化而來的新版本。SORT算法具有優秀的性能和低復雜度，但存在身份跳變的問題。在非機動車違規行為識別的過程中，身份跳變即代表目標的丟失，從而使違規行為識別毫無意義。而DeepSORT算法采用級聯+IoU的匹配機制，融合了目標特征信息，同時給軌跡設置了max_age參數，即使目標被遮擋仍可以重新被跟蹤，從而降低身份跳變的發生。在非機動車違規行為識別中，降低身份跳變對于判斷非機動車違規行為至關重要。因此，通過DeepSORT算法來實現違規行為識別任務，可以有效地提高多目標持續跟蹤的穩定性。

3.1 表觀特征

DeepSORT算法中實現了目標的表觀特征余弦距離^［2］，借用了ReID領域模型提取特征，在實際交通場景的視頻中，目標往往會出現遮擋、目標運動軌跡不連續的情況，在這種情況下，如果僅僅通過運動特征進行匹配計算還是依舊會造成身份跳變的現象。DeepSORT算法中采用了表觀特征解決了這個問題。

對于每一個跟蹤目標會構建一個集合，用于存儲成功關聯的特征向量。然后計算第i個跟蹤目標的所有特征向量與當前幀檢測結果第j個目標的特征之間的最小余弦距離，計算公式如式（2）。

式中：r_j——第j個檢測目標被CNN輸出的128維向量；

i——跟蹤器序列；

r^（i）_k——跟蹤的特征向量，保留過去成功跟蹤的k次的特征。

3.2 融合DeepSORT算法

在DeepSORT算法中，提取目標特征的模型是Wide residual networks^［3］。在原始的DeepSORT算法中，重識別特征權重是通過訓練行人數據集得到的。這些權重無法直接應用于非機動車的應用場景中。因此，需要重新選取合適的數據集進行訓練，以獲得符合非機動車應用場景的新權重。使用非機動車數據集對模型進行訓練，該數據集包含400張圖片，將數據集按照7∶3的比例分為訓練集和測試集，對模型進行訓練，可以提升算法在非機動車場景下的表現。

3.3 實驗結果

為了驗證改進后的重識別特征提取模型的性能，使用重識別數據集對改進前后的兩個特征提取模型進行測試，并對非機動車場景視頻進行速度測試。最終將得到的結果列在表1中。

由表1可知，改進后的重識別特征提取模型相比改進前，在推理時間和精度指標方面都有所提升。具體而言，精度提高了2.8%，平均推理時間減少了2.2 ms。本次改進不僅提高了一定的精度，也顯著減少了推理時間，表明改進效果十分有效。在實際視頻跟蹤中，每幀圖像的平均處理時間為30 ms，幀率可達24.8 FPS，可以實時監控視頻流。

4 結語

本文主要介紹了一種基于改進YOLOv4模型的非機動車違規行為識別檢測方法。本文的主要工作如下：

（1）改進了傳統非機動車違規行為中不佩戴頭盔的判定算法，由傳統的人物交互算法轉向使用面積交叉比較法，可以通過比較頭盔目標和駕駛員目標之間的匹配度，來判斷非機動車駕駛員是否真正佩戴了頭盔。由于這種方法只需要增加極少的計算量，因此可以很容易地判斷當前駕駛員是否佩戴頭盔，即使混有其他駕駛員的頭盔也能夠準確識別，相較人物交互算法減少了判斷時的計算量。

（2）融合DeepSORT算法解決多目標跟蹤的問題，通過采用自采集非機動車數據集重新訓練，使模型能夠應用于非機動車的多目標跟蹤。

與YOLOv4相比，優化后的模型檢測能力得到了提升，對于非機動車違規行為識別判斷效率更高，可滿足實際應用的條件。

參考文獻

［1］呂佳俊.基于深度學習的安全頭盔實時檢測與報警系統的設計與實現［D］.成都：西南大學，2021.

［2］Nguyen H V，Bai L. Cosine similarity metric learning for face verification［C］.Asian conference on computer vision. Springer，Berlin，Heidelberg，2010.

［3］Zagoruyko S，Komodakis N. Wide residual networks［J］. arXiv preprint arXiv，2016（1 605）：07146.

收稿日期：2023-03-30