基于計算機視覺的行人及非機動車規范系統

李少博 董世浩 張佳玉 夏宇航 符竹子 張一博 胡文成 張哲

(1、長安大學信息工程學院,陜西 西安 710064 2、長安大學學生工作部,陜西 西安 711064)

1 概述

隨著經濟與社會的發展,各大城市車輛保有量不斷提高,越來越多的人選擇乘車出行,但隨之而來的交通問題也越來越嚴重。根據中國統計年鑒的數據可以看出,近些年來,交通事故數量不斷增加,其中,非機動車事故發生率的增長尤為明顯。而且導致非機動車事故死亡人數不斷增加的一個主要原因之一就是：路口人行橫道非機動車闖紅燈問題嚴重。然而,有限的警力與快速的管理需求增長的矛盾越來越突出,建設一套技術先進、質量可靠、經濟實用、方便管理的城鄉區域安防數字化網絡監控系統勢在必行。這幾類交通事故并不是無法避免的,通過加大對路口人行橫道的監督力度、加強闖紅燈問題的治理可以有效減少。本文使用Retinaface 人臉檢測技術得到人臉信息,結合YOLOv4 卷積神經網絡特點,模擬神經元的學習功能,建立相應神經網絡模型,在搭建的神經網絡各層次中調整偏置項,進而訓練得到有效的神經網絡模型,實現非機動車駕駛人是否戴頭盔檢測功能,機動車是否闖紅燈監測功能、行人是否闖紅燈監測功能,并保證其較高的精確度。截取違反交通規則、闖紅燈、未帶安全帽的機動車車牌圖像,并將其發送至終端系統,將違規車輛車牌圖像輸入到已訓練好的tensorflow2 網絡中進行車牌檢測,得到車牌圖像,并將違規車輛的車牌信息發送至終端系統。

2 系統總體方案

本系統以pytorch 為模型搭建平臺,采用深度學習的框架構建了一個交通規范檢測系統。在本系統的設計與實現中,我們使用了神經網絡YOLOv4 模型進行對所讀取的視頻流進行目標物體的檢測分類與記錄,斑馬線的卡爾曼濾波檢測,頭盔模型的訓練與使用以及基于神經網絡模型的人臉檢測技術。通過相關技術檢測車輛、行人及非機動車的行駛狀況以及是否存在不規范行為,并且將違規人員的信息傳輸到終端進行檢測與記錄。項目的總體思想為：先對視頻流中的人行道位置進行檢測,統計通過人行道的車流量[1],人流量[2]以及非機動車流量信息[3],并在界面上進行顯示。當檢測到當前紅綠燈狀態為紅燈時,即車輛通過人行道視為違規,記錄車輛的車牌信息；當檢測到當前紅綠燈狀態為綠燈時,即行人通過則視為闖紅燈,記錄行人的照片信息,并且發送至終端系統,進行人臉檢測與識別[4]。本系統在統計非機動車輛信息后,會對非機動車輛的車主進行是否戴頭盔檢測,并且將違規車主信息記錄。圖1 為整個系統總體設計實現框圖。

圖1 系統框架圖

3系統功能模塊設計

3.1 頭盔檢測模塊

本文采用深度學習的方法,結合YOLOv4 卷積神經網絡特點,模擬神經元的學習功能,建立相應神經網絡模型,在搭建的神經網絡各層次中調整偏置項,進而訓練得到有效的神經網絡模型,實現檢測二輪機動車駕駛人是否戴頭盔的功能,即實現頭盔識別,并保證其較高的精確度。

基于yolov4 的頭盔檢測模型模型構建：

本文在YOLOv4 的目標識別網絡下構建頭盔檢測模型[5],所謂YOLOv4 網絡即為一個人工神經網絡,采用了近些年CNN 領域中最優秀的優化方法,在數據處理、主干網絡backbone、網絡的訓練、激活函數的選取、損失函數的選取等各個方面都有著不同程度的優化,雖然沒有特別惹人注目的創新,但在檢測效率,準確率方面已經為大多數CNN 領域從業者接受應用。

本文在對頭盔識別網絡進行訓練時,需要使用CIOU 作為損失函數。由于本文是對摩托車駕駛員頭盔進行目標檢測,因此優化器的選擇十分重要,IoU 是比值的概念,對目標物體的scale 是不敏感的。然而常用的BBox 的回歸損失優化和IoU 優化不是完全等價的,尋常的IoU 無法直接優化沒有重疊的部分。

CIOU 將目標與anchor 之間的距離,重疊率、尺度以及懲罰項都考慮進去,使得目標框回歸變得更加穩定,不會像IoU 和GIoU 一樣出現訓練過程中發散等問題。而懲罰因子把預測框長寬比擬合目標框的長寬比考慮進去。

CIOU 公式如下：

其中,ρ2(b,bgt)分別代表了預測框和真實框的中心點的歐式距離。c 代表的是能夠同時包含預測框架和真實框架的最小閉包區域的對角距離。

而α 和β 的公式如下：

把1-CIOU 就可以得到相應的LOSS 了。

在利用以上所述的深度學習方法進行頭盔識別模型建立與訓練后,將其運用到PYQT 編寫的可視化應用中用以實時性監控,監控中心人員可利用PYQT 提供的良好用戶接口操作軟件,來觀察、統計未按規定佩戴好頭盔的二輪車駕駛員。

3.2 車牌識別模塊

本文采用HyperLPR 車牌識別開源項目來完成車牌識別任務,利用cascade 進行車牌定位,其次利用左右邊界回歸模型,預測出車牌的左右邊框,進一步裁剪,進行精定位,最后利用CRNN 進行車牌字符識別。

首先是車牌定位提取,本文采用的是基于灰度的還有邊緣檢測的車牌定位：由于車牌字符的灰度值與車牌底色的灰度值相差較大,字符與底色的交界處就有灰度突變,灰度突變處就會產生邊緣,這是車牌定位技術中非常重要的特征。也可以通過檢測車牌的外邊框來定位車牌,由于外邊框的上下左右四邊都為直線,而且有明顯的邊緣特征,所以首先利用邊緣檢測算法提取車牌邊框位置,然后,用Hough 變換算法檢測直線,確認外邊框的上下左右四條邊位置就確定了車牌在圖像中的位置。

其次是提取特征的CRNN 網絡,可以是任意一款深度網絡,VGG、resnet、googleNet、mobileNet 等網絡均可,本文中用的是VGG16,需要注意的是無論選取哪種網絡要保證最終輸出的特征是二維的即(N,H,W,C)中H 必須為1,否則是不能用作LSTM的輸入的。

3.3 基于coco 數據集的目標檢測模塊

COCO 數據集是一個大型的、豐富的物體檢測,分割和字幕數據集。這個數據集以scene understanding 為目標,主要從復雜的日常場景中截取,圖像中的目標通過精確的segmentation 進行位置的標定。該數據集主要解決3 個問題：目標檢測、目標之間的上下文關系、目標的2 維上的精確定位。COCO 數據集有91類,雖然比ImageNet 和SUN 類別少,但是每一類的圖像多,這有利于獲得更多的每類中位于某種特定場景的能力,對比PASCAL VOC,其有更多類和圖像。

利用COCO 數據集訓練的YOLOv4 網絡,用以實現檢測街道上的行人、摩托車、汽車這些目標,可以比較方便地將這些不同類別的物體區分開來。給系統反饋信息,讓系統利用這些信息來分別為不同的物體指定不同的識別違規算法,將不同類的違規物體分類,然后在進行數據傳送,用以統計和分析。

4 實驗分析與性能測試

Pyqt 界面的基于計算機視覺的行人及非機動車規范系統實現了系統總體功能設計與各個模塊的程序設計,通過qt 界面來將整套系統進行可視化,用戶可以通過點擊相關按鈕進行相應的操作。打開系統后,系統會自動檢測人行道位置,進行人流量、車流量和非機動車流量檢測,會對闖紅燈人員、闖紅燈車輛、未帶頭盔人員進行檢測并記錄。其實實現的功能板塊有四個方面：目標檢測(行人、車輛、非機動車)、車牌識別(HyperLPR)、頭盔識別以及闖紅燈檢測記錄。

5 結論

本項目采用深度學習的方法,結合YOLOv4 卷積神經網絡特點,模擬神經元的學習功能,對6251 不同的含頭盔人物圖片和對應的標簽文件進行訓練,(其中將總數據集的80%劃分為訓練數據集,20%劃分為測試集)實現檢測非機動車輛駕駛員是否戴頭盔的功能,即實現頭盔識別,并保證其較高的精確度。本項目使用Retinaface 人臉檢測技術得到人臉信息,在確定各個人臉位置的基礎上,結合YOLOv4 卷積神經網絡特點,模擬神經元的學習功能,建立相應神經網絡模型,在搭建的神經網絡各層次中調整偏置項,進而訓練得到有效的神經網絡模型,實現非機動車駕駛人是否戴頭盔檢測功能,機動車是否闖紅燈監測功能、行人是否闖紅燈監測功能,并保證其較高的精確度。通過有效的懲罰制度對非機動車的監管,可以有效減少非機動車的交通事故,使人們養成良好的交通習慣,規范駕駛員的交通行為。