基于時(shí)空信息的交通違法識(shí)別方法研究

肖子遙，張偉偉

（201620 上海市 上海工程技術(shù)大學(xué) 機(jī)械與汽車(chē)工程學(xué)院 ）

0 引言

隨著我國(guó)公路網(wǎng)絡(luò)的建設(shè)發(fā)展，2020 年我國(guó)公路通車(chē)?yán)锍桃堰_(dá)約510 萬(wàn)km，汽車(chē)保有量也迅速增加，如何高效解決交通擁堵和事故頻發(fā)已成為智能交通系統(tǒng)的重要難題。交通事故和擁堵重要原因之一就是非法駕駛，然而在交通違規(guī)管理方面，很多地區(qū)的相應(yīng)識(shí)別還處于人工監(jiān)控階段，或用設(shè)備+人工排查的方式，例如電磁線圈設(shè)備抓獲該地區(qū)違法車(chē)輛后，人工進(jìn)行后續(xù)處罰，但電磁線圈只能檢測(cè)到少數(shù)車(chē)輛違規(guī)行為，如車(chē)輛超速、闖紅燈等。近年來(lái)，學(xué)者們?cè)谠擃?lèi)問(wèn)題的研究中取得了很多成果[1-3]，但其中很多在魯棒性和泛化性上與工業(yè)化實(shí)施還存在一定的距離。本文針對(duì)更多類(lèi)別的車(chē)輛違法行為，如非法變道和不禮讓行人檢測(cè)，利用計(jì)算機(jī)視覺(jué)技術(shù)通過(guò)檢測(cè)算法獲得的目標(biāo)空間信息、通過(guò)分析目標(biāo)時(shí)序上的行為，設(shè)計(jì)了一種有效的車(chē)輛違章識(shí)別系統(tǒng)。

1 系統(tǒng)架構(gòu)設(shè)計(jì)

車(chē)輛檢測(cè)、跟蹤和多屬性識(shí)別，如車(chē)牌、類(lèi)型、顏色和方向，是進(jìn)一步違規(guī)檢測(cè)的基礎(chǔ)。在該系統(tǒng)中，實(shí)現(xiàn)了車(chē)輛違章檢測(cè)模塊，包括非法變道識(shí)別、不禮讓行人識(shí)別。結(jié)合實(shí)際應(yīng)用場(chǎng)景，本系統(tǒng)采用4 層架構(gòu)實(shí)現(xiàn)，即硬件層、數(shù)據(jù)層、業(yè)務(wù)層以及前端UI，統(tǒng)架構(gòu)如圖1 所示。

圖1 中，前端UI 為系統(tǒng)與用戶(hù)之間的橋梁；業(yè)務(wù)層包含基礎(chǔ)支撐模塊和車(chē)輛違法檢測(cè)模塊，從數(shù)據(jù)層獲取實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)，并將車(chē)輛違法記錄保存到本地；數(shù)據(jù)層負(fù)責(zé)提供和保留這些數(shù)據(jù)以供處理。系統(tǒng)基于Python 3.7、Tensorflow2.4 和PyQt5 實(shí)現(xiàn)，可在Windows 上運(yùn)行。

圖1 車(chē)輛違法識(shí)別系統(tǒng)Fig.1 Vehicle illegal recognition system

2 算法基礎(chǔ)模塊

2.1 目標(biāo)檢測(cè)

目標(biāo)檢測(cè)是智能交通違法識(shí)別的核心模塊，本研究采用Bochkovskiy 等人提出的YOLOv4 算法[4]，相較于YOLO 的前代系列，YOLOv4 進(jìn)一步優(yōu)化了網(wǎng)絡(luò)速度與精度，并達(dá)到了SOTA的水平。參見(jiàn)圖2。

圖2 YOLOv4 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 YOLOv4 network structure

為了獲得更高的準(zhǔn)確性，YOLOv4 設(shè)計(jì)了一個(gè)更深更復(fù)雜的網(wǎng)絡(luò)，并在其中使用了Dense Block，包含多個(gè)卷積層，并使用批歸一化 ReLU進(jìn)行卷積。跨階段部分連接（CSP），然后將密集塊的輸入特征圖分成2 部分，一部分直接進(jìn)入下一個(gè)過(guò)渡層的輸入，另一部分將通過(guò) Dense Block，降低了計(jì)算需求，因?yàn)橹挥幸粋€(gè)部分通過(guò)密集塊。對(duì)于特征提取的主干，使用了 CSPDarknet-53，它使用 CSP 連接來(lái)自先前YOLOv3 的Darknet-53。空間金字塔池（SPP）被用作 CSPDarknet-53 的頸部，因?yàn)樗黾恿烁惺芤埃瑓^(qū)分了最重要的特征并且不會(huì)導(dǎo)致速度降低[5]。此外，為了進(jìn)一步輸出強(qiáng)定位特征，YOLOv4 使用路徑聚合網(wǎng)絡(luò)（PANet）[6]代替YOLOv3 中的特征金字塔網(wǎng)絡(luò)（FPN）。對(duì)于頭部網(wǎng)絡(luò)，YOLOv4 沿用原始的 YOLOv3 網(wǎng)絡(luò)。

2.2 多目標(biāo)跟蹤

為了更準(zhǔn)確地判斷交通參與者的行為信息，除了檢測(cè)目標(biāo)之外，也需要對(duì)其在時(shí)序上進(jìn)行跟蹤分析。本系統(tǒng)的跟蹤模塊是基于DeepSORT[7]開(kāi)發(fā)的。大多數(shù)現(xiàn)代跟蹤器遵循通過(guò)檢測(cè)結(jié)果進(jìn)行跟蹤的范式[8-9]，即根據(jù)檢測(cè)器的結(jié)果將不同幀之間的目標(biāo)關(guān)聯(lián)起來(lái)。

簡(jiǎn)單在線實(shí)時(shí)跟蹤（SORT）是一種簡(jiǎn)單的跟蹤框架[10]。它在圖像平面中使用匈牙利算法來(lái)匹配多目標(biāo)，并對(duì)不同幀之間的目標(biāo)測(cè)量其邊界框的重疊度來(lái)執(zhí)行卡爾曼濾波，以此來(lái)挖掘不同幀之間的數(shù)據(jù)關(guān)聯(lián)。其中，對(duì)于每一個(gè)描述對(duì)象，即用于將目標(biāo)身份沿用到下一幀的表示和運(yùn)動(dòng)模型，其目標(biāo)的狀態(tài)建模為

式中：s，r——目標(biāo)邊界框的尺度（面積）和縱橫比。

在預(yù)測(cè)過(guò)程中，縱橫比被認(rèn)為是恒定的，而u和v 表示目標(biāo)中心的水平和垂直像素位置。當(dāng)檢測(cè)與目標(biāo)相關(guān)聯(lián)時(shí)，檢測(cè)到的邊界框用于更新目標(biāo)狀態(tài)，其中速度分量通過(guò)卡爾曼濾波器框架得到最佳求解。如果沒(méi)有檢測(cè)與目標(biāo)相關(guān)聯(lián)，則使用線速度模型簡(jiǎn)單地預(yù)測(cè)其狀態(tài)而不進(jìn)行校正。

但SORT 在通過(guò)遮擋進(jìn)行跟蹤方面有一定缺陷。在此基礎(chǔ)上，DeepSORT 通過(guò)使用額外的CNN網(wǎng)絡(luò)分支來(lái)提取目標(biāo)外觀信息以提高 SORT 的性能。為了整合運(yùn)動(dòng)與外觀信息，其使用預(yù)測(cè)的卡爾曼狀態(tài)和信道大的測(cè)量值之間的Mahalanobis 距離：

式中：（yi，Si）——第i 個(gè)軌跡分布到測(cè)量空間的投影；dj——第j 個(gè)邊界框檢測(cè)。

2.3 多屬性識(shí)別

在該系統(tǒng)中，車(chē)牌識(shí)別是基于 LRPNet[11]和MTCNN[12]設(shè)計(jì)的。LRPNet 由一個(gè)輕量級(jí)的卷積神經(jīng)網(wǎng)絡(luò)組成，它以端到端的方式進(jìn)行訓(xùn)練，其對(duì)中文車(chē)牌的實(shí)時(shí)識(shí)別準(zhǔn)確率可高達(dá) 95%。為了獲得更好的性能，LRPNet 與 MTCNN 結(jié)合用于車(chē)牌識(shí)別。MTCNN（多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)）在人臉關(guān)鍵點(diǎn)檢測(cè)中被廣泛采用，可以同時(shí)進(jìn)行人臉檢測(cè)和人臉對(duì)齊任務(wù)。在本系統(tǒng)中，考慮到速度因素，只使用MTCNN 的P-Net 和O-Net 進(jìn)行車(chē)牌定位，去除R-Net 后幾乎沒(méi)有精度損失。

除了車(chē)牌，車(chē)輛的其他附加屬性也通過(guò)應(yīng)用B-CNN[13]來(lái)識(shí)別。B-CNN 是一種用于細(xì)粒度分類(lèi)的神經(jīng)網(wǎng)絡(luò)模型。將檢測(cè)到的車(chē)輛位置信息作為輸入，通過(guò)B-CNN 進(jìn)行分類(lèi)，得到對(duì)應(yīng)車(chē)輛的顏色、類(lèi)型和方向信息。

3 車(chē)輛違法識(shí)別模塊

3.1 非法變道識(shí)別

路面交通車(chē)道線是用來(lái)分隔同異向行駛的交通標(biāo)識(shí)線，其中白色、黃色實(shí)線屬于不可騎軋變道的標(biāo)識(shí)線。本違法識(shí)別模塊主要針對(duì)實(shí)線變道的行為。視頻監(jiān)控的坐標(biāo)原點(diǎn)位于像素平面左上角，X軸水平向右，Y 軸水平向下。

根據(jù)車(chē)道線的起止點(diǎn)劃分車(chē)道線，使用基礎(chǔ)模塊對(duì)道路車(chē)輛目標(biāo)進(jìn)行檢測(cè)跟蹤，經(jīng)觀察取車(chē)輛檢測(cè)框的下邊緣中心點(diǎn)center 作為車(chē)輛行為的判斷點(diǎn)較為合適，即判定準(zhǔn)則為在連續(xù)時(shí)間內(nèi)，車(chē)輛判斷點(diǎn)是否連續(xù)經(jīng)過(guò)車(chē)道線兩側(cè)，可表達(dá)為

在實(shí)際測(cè)試中，由于檢測(cè)框大小有抖動(dòng)，可能會(huì)出現(xiàn)車(chē)輛判斷點(diǎn)在極短時(shí)間內(nèi)跨越兩個(gè)車(chē)道線的情況，故利用圖像平面的像素歐式距離移除異常值，若在極端時(shí)間內(nèi)車(chē)輛判斷點(diǎn)位移過(guò)大則舍棄。

3.2 不禮讓行人檢測(cè)

不禮讓行人是指車(chē)輛在通過(guò)斑馬線前，若行人正處于通行過(guò)程，則車(chē)輛需要在斑馬線前停車(chē)讓行。在手動(dòng)確定斑馬線禮讓區(qū)域后，執(zhí)行違法檢測(cè)。經(jīng)歸納，可將判定條件抽象為行人在斑馬線區(qū)域（Region of Interest,ROI）內(nèi)時(shí)，此時(shí)若車(chē)輛（檢測(cè)框下邊線的中點(diǎn)）也在斑馬線區(qū)域內(nèi)，則構(gòu)成不禮讓行人，即

4 系統(tǒng)實(shí)施

該系統(tǒng)感知模型部分在帶有Nvidia TITAN RTX、CUDA 11.0、Python3.7 以及Tensorflow2.4 的工作站中進(jìn)行訓(xùn)練，通過(guò)PyQt5 實(shí)現(xiàn)交互界面，系統(tǒng)可在Windows10 上運(yùn)行。圖3 顯示了非法變道和不禮讓行人的檢測(cè)結(jié)果。

圖3 非法變道和不禮讓行人的檢測(cè)結(jié)果Fig.3 Illegal lane changing and unyielding to pedestrian detection results

在圖3 中，系統(tǒng)根據(jù)檢測(cè)及跟蹤結(jié)果可視化了違章車(chē)輛的違法過(guò)程，包括違法變道和不禮讓行人行為。如圖3（a）所示，首先設(shè)置車(chē)道線的圖像區(qū)域，當(dāng)車(chē)輛被跟蹤參考點(diǎn)軌跡跨越車(chē)道線實(shí)線時(shí)，則會(huì)將該車(chē)輛違法類(lèi)型以及對(duì)應(yīng)的車(chē)牌、顏色及車(chē)型信息保存在本地。對(duì)于圖3（b）中沒(méi)有停車(chē)禮讓行人的車(chē)輛，系統(tǒng)用類(lèi)似方法進(jìn)行記錄。

此外，為該系統(tǒng)在園區(qū)內(nèi)做了場(chǎng)景模擬測(cè)試，2 類(lèi)違法檢測(cè)各做了50 次實(shí)驗(yàn)（其中25 次模擬違章行為，25 次模擬接近卻未違章行為,視為困難負(fù)樣本），實(shí)驗(yàn)結(jié)果如圖4 所示。

圖4 交通違法模擬實(shí)驗(yàn)結(jié)果圖Fig.4 Traffic violation simulation experiment results

該實(shí)驗(yàn)主要選用3 個(gè)指標(biāo)衡量，其中正確率是指被分對(duì)樣本數(shù)在總樣本數(shù)中的占比；召回率是指車(chē)輛違法樣本數(shù)中有多少被識(shí)別出的比例；特異性表示所有車(chē)輛正常行為（困難負(fù)樣本）中被分對(duì)的比例。如圖4 所示，本方法中實(shí)驗(yàn)的2 種違法類(lèi)型正確率都在94%以上，召回率96%。在實(shí)際場(chǎng)景中，交警只需驗(yàn)核上傳的記錄即可快速鑒定交通違法行為，節(jié)省大量時(shí)間。

5 結(jié)語(yǔ)

本文結(jié)合了目前表現(xiàn)最優(yōu)的SOTA 檢測(cè)和跟蹤方法，對(duì)道路場(chǎng)景下車(chē)輛目標(biāo)的時(shí)空信息是否違法進(jìn)行判別，并取得了較好的效果，對(duì)智能交通系統(tǒng)的功能拓展，減輕交警的工作量有較大幫助。此外，可參考本文思路，在檢測(cè)-跟蹤框架上對(duì)基于交通目標(biāo)時(shí)空信息的行為進(jìn)行判別，快速開(kāi)發(fā)類(lèi)似的交通違法識(shí)別方法。