基于計算機視覺技術的交通場景檢測平臺的設計與應用

基金項目：2023年度廣西高校中青年教師科研基礎能力提升項目“基于‘AI視覺+機器學習’的城市交通場景應用研究”（編號：2023KY1157）

作者簡介：儲蓄蓄（1983—），碩士，工程師，研究方向：計算機應用技術、大數據技術。

摘要：文章針對當前城市智慧交通監(jiān)管的路口交通的飽和度、擁堵以及闖紅燈等問題，設計了基于計算機視覺技術的交通場景檢測平臺，結合機器學習算法，并融合多項高新技術，實現對路口過往車輛的流量和車速檢測，對機動車闖紅燈、斑馬線不禮讓行人、占用公交車道、違停或違規(guī)越線等違章行為進行檢測識別，為公共交通的管理提供極大便利，實現了“智慧交通”和“平安交通”。

關鍵詞：計算機視覺技術；機器學習；智慧交通

中圖分類號：U491.1⁺16A471633

0 引言

隨著我國社會經濟的迅速發(fā)展以及城市化進程的加快，機動車數量不斷增長，導致交通問題日益嚴重，實施有效的交通監(jiān)控對于解決日益增長的交通問題具有積極意義^［1］。伴隨著人工智能進入國家戰(zhàn)略層面，人工智能技術不斷革新突破，智能交通系統(tǒng)在未來成為必然的發(fā)展趨勢，將大量的交通數據利用計算機視覺技術進行處理^［2］，有助于實現交通智慧化。

1 研究目的與意義

平臺基于計算機視覺技術對機動車闖紅燈、斑馬線不禮讓行人、占用公交車道、違停等問題，借助綜合交通大數據應用國家工程實驗室平臺，利用新一代信息技術解決各種復雜的交通場景，提升民生工程的質量。

智慧交通場景識別的應用，不僅降低了交通擁堵現象，實現交通運輸期間的暢通性，也減少了交通事故，加強了交通監(jiān)管及安全性。

2 國內外研究現狀

在國內，計算機視覺技術在交通領域的研究比較晚。2012年以前，大部分智能交通系統(tǒng)用于檢測車輛運動時會受天氣、光線等方面的影響，在不同的天氣下也會存在很多問題。隨著深度學習的運用，車輛的輪廓和形態(tài)檢測模擬人類辨識車輛的方式，能解決過去車輛檢測中的存在問題，也能排除天氣等因素的影響。1999年我國成立了相關研究小組，針對現階段交通領域中的智慧交通場景應用，結合新一代信息技術構建實時、準確、高效的綜合交通監(jiān)管系統(tǒng)。

計算機視覺技術的研究國外起步比較早。20世紀90年代末，A.S.Johnson等提出采用計算機視覺技術的圖像分割、特征提取、模板構造、字符識別等完成車牌的自動識別。R.A.Lotufo使用視覺識別技術分析所獲得的圖像，再利用統(tǒng)計最鄰近分類器與字符庫進行比較，最終確定車牌的號碼。ARGUS英國Alphatech公司運用計算機視覺設計的智能識別系統(tǒng)，識別時間為100 ms。Hi-Tech公司的See/Car system、新加坡Optasia公司的VLPRS等，均為交通應用場景系統(tǒng)。

3 設計思路

通過城市攝像頭、道路傳感器及移動終端等技術，采集交通場景實況并上傳至云計算中心，依托計算機視覺技術分析平臺和數據信息管理平臺，搭建數學預警模型。使用YOLOv5-tiny算法完成多尺度目標識別和交通場景視頻流分析；基于OpenCV計算機視覺開源庫實現車輛的流量、車輛速度、闖紅燈的機動車，機動車占用公交車道等檢測。

4 設計內容

4.1 整體框架

交通場景檢測平臺結合人、汽車、道路、環(huán)境和管理等5個方面的數據，利用計算機視覺技術、大數據技術等新一代信息手段，實現交通管理的智能化及實時化。

交通場景檢測平臺整體架構可以定義為3層：數據采集層、數據處理層、應用層^［3］，如下頁圖1所示。

4.1.1 數據采集層

數據采集是整個平臺的基礎，主要通過城市攝像頭、道路傳感器及移動終端等數據采集設備完成數據的實時采集。

采集層數據類型主要包括駕駛人員的個人習慣及駕駛水平和運輸車輛的車輛基本信息及交通事故情況、道路結構及損壞情況、環(huán)境因素組織管理等5大方面（人、車、路、環(huán)境、管理）的信息^［4］。

4.1.2 數據處理層

數據處理層接收采集層采集的各種結構類型的數據，利用列名重復、刪除重復值、缺失值處理、異常值處理等預處理方法對數據進行清洗，基于OpenCV計算機視覺開源庫，使用YOLOv5-lite算法對處理后的數據進行數據分析及數據建模，為進一步的業(yè)務分析提供支撐。

4.1.3 應用層

應用層主要依據交通部門需求，對數據進行挖掘、分析、處理，最終對交通事故情況、事故車輛、闖紅燈情況進行多樣化呈現。

4.2 關鍵技術

4.2.1 YOLO算法

YOLO算法創(chuàng)新性地提出了將輸入圖片進行N×N的柵格化（每個小單元叫grid cell），然后將圖片中某個對象的位置的預測任務交予該對象中心位置所在的grid cell的Bounding-Box regression^［2］。在訓練過程中，通過網格單元傳遞信息給模型，圖片中的物體a由一些中心落在cell一定范圍內的像素組成，模型接收信息后，在網格單元周圍一定大小范圍內搜索所有滿足物體a特征的像素，經過多次懲罰訓練，可以找到準確的范圍。當然，這個方向不僅指長度和寬度的范圍，還包括中心位置坐標的微小變化。但是，無論其怎么變化，中心位置都不可超出網格單元的范圍，這大大減少了模型的無用工作。將位置檢測與類別識別相結合，在CNN網絡中進行推測，只需掃描一次圖像，即可推斷圖像中所有對象的地址信息和類別，如圖2所示。

在YOLOv5-Lite算法發(fā)布之前，表現較好的對象檢測算法（Object Detection）有以Faster-RCNN為代表的兩階段算法和YOLOv5算法。但Faster-RCNN算法有一個很突出的問題，就是速度較慢，不適合應對實時性且更復雜的應用場景；而相對于YOLOv5算法，YOLOv5 Lite在YOLOv5的基礎上進行一系列消融實驗，使其內存占用更低，在Raspberry Pi上的推理速度更快，更易部署，可以滿足實時對象檢測。

4.2.2 OpenCV視覺庫

OpenCV是一個基于BSD許可（開源）發(fā)行版的跨平臺計算機視覺和機器學習軟件庫^［3］，能在Linux、win、安卓和Mac、IOS的操作系統(tǒng)上運行，其由一系列C函數和少量的類組成，具有輕量級和高效性，并提供了Python、Ruby、Matlab等編程代碼的接口，完成了圖像處理和計算機視覺中的許多通用算法。

4.3 平臺設計內容

為了方便管理人員對平臺的操作，打開桌面應用、加載視頻流、選擇目標識別、紅綠燈檢測、車流量檢測、人流量檢測及車牌識別中的任意一個功能，開啟平臺檢測功能，進而查看平臺日志和可視化結果。平臺操作流程如圖3所示。

（1）功能性需求。采集測試視頻為公共交通路口攝像頭所錄制的真實視頻；實現機動車檢測以及車牌識別；實現路口交通的流量統(tǒng)計或飽和度、機動車違停或者違規(guī)越線、機動車占用公交車道、機動車闖紅燈、斑馬線不禮讓行人、機動車不按導向行駛、實時車速檢測違章超速等功能；在視頻畫面上有實時的信息標注；輸出場景行為識別判斷的結果。

（2）非功能性需求。系統(tǒng)運行順暢無卡頓、閃退等嚴重BUG；UI界面美觀、邏輯合理、交互友好；項目中標明哪些部分使用了開源代碼及出處；文檔應詳細闡述所使用的技術算法，以及實現思路；項目中最好輸出運行結果的置信度或預測準確率。

（3）加載模型模塊。用于提前加載多目標識別算法和車牌識別算法所用到的神經網絡模型。

（4）載入視頻流模塊。用于打開存儲在本地文件系統(tǒng)上的交通監(jiān)控視頻并將視頻流實時顯示在軟件界面視頻播放模塊中。應用程序是基于Pyqt5開發(fā)，使用OpenCv讀入視頻流并將讀取的圖像幀顯示在平臺展示區(qū)域。

（5）目標識別模塊。使用YOLOv5-tiny多尺度目標識別技術對視頻流的圖像幀進行識別，并將事先在訓練類別中的目標在視頻畫面中實時標注出來，將識別的信息提供給其他模塊使用，如紅綠燈檢測模塊、車流量檢測模塊等。

（6）紅綠燈檢測模塊。使用目標識別模塊的輸出信息得到交通燈的位置坐標，使用顏色識別算法對交通燈狀態(tài)進行分析。

（7）車流量檢測模塊。對圖像幀中出現的車輛數目進行統(tǒng)計，實時分析交通路口的車流量，提供參考數據給使用人員。

（8）人流量檢測模塊。對圖像幀中出現的行人數目進行統(tǒng)計，實時分析交通路口的人流量，提供參考數據給使用人員。

（9）車牌識別模塊。對圖像幀中出現的車輛車牌號進行識別，并將識別到車牌的圖像區(qū)域和OCR識別結果實時顯示在界面上。

（10）系統(tǒng)日志模塊。對視頻分析中得到的信息進行匯總，并實時在畫面上進行刷新，使用者可以方便地查看當前以及之前的分析結果。

5 場景應用

5.1 目標識別

將OpenCV讀取的目標物體（車輛、行人、紅綠燈）放入事前已經定義的卷積神經網絡模型進行預測，然后輸出目標物體的置信度、位置坐標，最后使用OpenCV作圖模塊將這些輸出信息實時標注在對應的圖像幀上，如圖4所示。實時監(jiān)控車輛信息、車輛運行狀態(tài)、行人運行狀態(tài)等，使交通的智慧性得以體現，達到提高城市交通系統(tǒng)的效率、增強交通安全性的目的。

5.2 車牌識別

使用OpenCV的HAAR Cascade檢測車牌位置，然后使用類似于MSER方式的多級二值化和RANSAC擬合車牌的上下邊界，同時使用左右邊界回歸模型，預測出車牌的左右邊框，進一步裁剪，進行精準定位，最后利用CRNN識別出車牌號碼，一旦車輛超速則啟動警示設備通知執(zhí)法人員處理。

5.3 紅綠燈檢測

使用OpenCV視覺庫結合大數據技術，實時監(jiān)測交通信號燈的狀態(tài)及車輛、行人運行狀態(tài)，一旦車輛行人闖紅燈即啟動警示設備通知執(zhí)法人員處理。

5.4 車流量檢測

根據車輛的視覺特征，使用卷積神經網絡框架和車輛實時檢測技術，實時對車流量進行監(jiān)測和統(tǒng)計，提供交通運輸規(guī)劃和管理的決策支持。

6 結語

本文設計的平臺通過城市攝像頭、道路傳感器及移動終端等技術，采集交通場景實況，運用YOLOv5-lite算法及OpenCV計算機視覺開源庫，實現道路場景檢測和分析。該平臺使交通相關部門能及時監(jiān)控道路狀況，并及時做出決策，完成對交通的科學合理調度，不但大大緩解了交通擁擠的狀況，而且降低了運輸期間的事故發(fā)生概率，確保了運輸過程中的通暢和安全，保障了人民的生命財產安全。

參考文獻

［1］柴晨晨，趙 麗.計算機視覺檢測技術在交通場景中的應用［J］.信息技術與信息化，2021，253（4）：38-40.

［2］徐子睿，劉 猛.基于YOLOv4的車輛檢測與流量統(tǒng)計研究［J］.現代信息科技，2020，4（15）：98-100，103.

［3］趙 野，張 寧，劉德武，等.無錫地鐵綜合監(jiān)控智能檢測維修平臺設計研究［J］.鐵路通信信號工程技術，2021，18（5）：83-87.

［4］李燕妮，林立春，洪 東.基于大數據技術的道路運輸交通安全風險預警平臺設計［J］.中國高新科技，2022（17）：42-44.