基于嵌入式神經(jīng)網(wǎng)絡(luò)的危險(xiǎn)駕駛行為檢測系統(tǒng)

龍勁嶧 周驊

摘要：駕駛行為規(guī)范性不僅是行車安全的保障，也是解決交通高峰期道路暢通的前提，對(duì)駕駛行為識(shí)別的研究是道路交通安全的研究熱點(diǎn)之一。本文設(shè)計(jì)一款基于嵌入式系統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)圖像分類器用來實(shí)時(shí)檢測危險(xiǎn)駕駛行為，將AlexNet卷積神經(jīng)網(wǎng)絡(luò)改進(jìn)為能適應(yīng)在嵌入式系統(tǒng)的小型卷積神經(jīng)網(wǎng)絡(luò)mAlex，同時(shí)加入一些圖像預(yù)處理算法和優(yōu)化策略，建立了駕駛員關(guān)于危險(xiǎn)駕駛行為檢測模型。經(jīng)過實(shí)驗(yàn)表明實(shí)時(shí)檢測危險(xiǎn)駕駛行為系統(tǒng)對(duì)駕駛?cè)说奈ｋU(xiǎn)駕駛行為具有較高的識(shí)別精度和較高的魯棒性。同時(shí)該系統(tǒng)使用在嵌入式系統(tǒng)中具有成本低、節(jié)能和小巧等許多優(yōu)點(diǎn)。

關(guān)鍵詞： 卷積神經(jīng)網(wǎng)絡(luò); 嵌入式系統(tǒng); 圖像分類; 危險(xiǎn)駕駛行為

【Abstract】 Normative driving behavior is not only the guarantee of driving safety， but also the premise of dealing with the traffic jam in rush hour. In this paper， a convolutional neural network image classifier based on embedded system is designed to detect dangerous driving behaviors in real time.By improving AlexNet convolutional neural network into a small convolutional neural network which can adapt to embedded system， and with some image preprocessing algorithms and optimization strategies， a complete model of driver upper body behavior classification recognition is established. Experiments show that the real-time detection system of dangerous driving behavior has high recognition accuracy and robustness to the driver's dangerous driving behavior. At the same time， this system has many advantages such as low cost， energy saving and small size etc， in embedded system.

【Key words】 ?Convolutional Neural Networks; embedded system; image classification; dangerous driving behavior

0 引 言

近年來，隨著各國城市化進(jìn)程的加快以及科學(xué)技術(shù)在汽車領(lǐng)域的發(fā)展和應(yīng)用，機(jī)動(dòng)車保有量逐年攀升，成為人類日常生活中不可或缺的交通工具[1-3]。但是汽車行業(yè)的發(fā)展給人類社會(huì)帶來財(cái)富和方便的同時(shí)，也帶來了日益嚴(yán)峻的交通安全問題，其中由駕駛員人為過失導(dǎo)致的交通事故占所有交通事故的90%以上[1]。本文設(shè)計(jì)一款基于嵌入式系統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)圖像分類器用來實(shí)時(shí)檢測危險(xiǎn)駕駛行為，搭載嵌入式相機(jī)采集駕駛?cè)藢?shí)時(shí)數(shù)據(jù)。通過嵌入式搭載卷積神經(jīng)網(wǎng)絡(luò)危險(xiǎn)駕駛檢測系統(tǒng)，可以使設(shè)計(jì)應(yīng)用更加靈活。而考量本文系統(tǒng)的使用環(huán)境以及使用條件，本文中簡化了卷積神經(jīng)網(wǎng)絡(luò)模型，為了使駕駛?cè)烁幼⒁馕ｋU(xiǎn)駕駛的行為，本文加入了語音提醒功能。

在整個(gè)系統(tǒng)的設(shè)計(jì)中，需要嵌入式系統(tǒng)和卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)合來實(shí)現(xiàn)對(duì)駕駛?cè)宋ｋU(xiǎn)行為判斷，其中卷積神經(jīng)網(wǎng)絡(luò)模型的識(shí)別最為重要，是整個(gè)系統(tǒng)檢測精確度的核心。嵌入式信息采集模塊主要是將駕駛?cè)说鸟{駛行為實(shí)時(shí)采集到嵌入式系統(tǒng)中;卷積神經(jīng)網(wǎng)絡(luò)模型識(shí)別判斷模塊是對(duì)采集的信息進(jìn)行識(shí)別和判斷;嵌入式系統(tǒng)存儲(chǔ)模塊是存放采集模塊的采集信息和識(shí)別判斷模塊的判斷信息;顯示模塊是將最后的結(jié)果顯示出來，如圖1所示。

1 圖像分類及檢測算法基本原理

1.1 卷積神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)

卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)有多種，目前常見的有LeNet、GoogleNet、SSD以及AlexNet等上述幾種結(jié)構(gòu)的結(jié)合[4-7]。其中，AlexNet具有更深的網(wǎng)絡(luò)結(jié)構(gòu)，使用層疊的卷積層，即卷積層+卷積層+池化層來提取圖像的特征，使用Dropout抑制過擬合，使用數(shù)據(jù)增強(qiáng)Data Augmentation抑制過擬合，使用Relu函數(shù)替換之前的sigmoid函數(shù)作為激活函數(shù)等優(yōu)點(diǎn)[7-15]。同時(shí)在視覺識(shí)別檢測中，該卷積神經(jīng)網(wǎng)絡(luò)也是成熟的。AlexNet網(wǎng)絡(luò)具有少于5個(gè)可訓(xùn)練層，以便使計(jì)算在嵌入式設(shè)備上實(shí)時(shí)可行。這種限制是合理的，因?yàn)樵技軜?gòu)是為大規(guī)模視覺識(shí)別任務(wù)而設(shè)計(jì)的，這比當(dāng)下的二元分類問題更加復(fù)雜。事實(shí)上，通過實(shí)驗(yàn)觀察到，減少的架構(gòu)可以很容易地應(yīng)對(duì)駕駛?cè)宋ｋU(xiǎn)行為檢測問題。因此本論文的檢測卷積神經(jīng)網(wǎng)絡(luò)是在AlexNet基礎(chǔ)上調(diào)整的。這里，對(duì)研究中涉及的各部分內(nèi)容可闡釋分述如下。

1.3 危險(xiǎn)駕駛行為數(shù)據(jù)庫制作

根據(jù)疾控中心汽車安全部門稱，五分之一的車禍?zhǔn)怯神{駛員分心造成的。這意味著每年有425 000人受傷，3 000人因分心駕駛而死亡。本次制作數(shù)據(jù)集的圖片由美國Statefarm公司提供，由2D儀表板相機(jī)所拍攝的圖像制作成數(shù)據(jù)集，對(duì)每個(gè)駕駛員的行為進(jìn)行分類。將數(shù)據(jù)庫分為2類，一類為正常駕駛，另一類為危險(xiǎn)駕駛。其中，危險(xiǎn)駕駛包括的動(dòng)作有左手/右手打電話、左手/右手發(fā)消息、吃喝東西、回頭、化妝和乘客說話。本數(shù)據(jù)集共有25 000張圖像，包括有訓(xùn)練集22 424張（正常駕駛2 489張、危險(xiǎn)駕駛19 935張），測試集2 576張。這里，給出危險(xiǎn)駕駛行為數(shù)據(jù)庫示例如圖2所示。

1.4 卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練和分析

根據(jù)mAlex設(shè)定的網(wǎng)絡(luò)結(jié)構(gòu)及選用的參數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使用caffe深度學(xué)習(xí)庫的函數(shù)式模型來進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)整體網(wǎng)絡(luò)結(jié)構(gòu)的搭建，同時(shí)將網(wǎng)絡(luò)的學(xué)習(xí)率設(shè)置為0.001，選擇隨機(jī)梯度下降法帶動(dòng)量參數(shù)（動(dòng)量設(shè)置為0.9）作為優(yōu)化方法，經(jīng)過10 000次迭代訓(xùn)練后完成該卷積神經(jīng)網(wǎng)絡(luò)模型的建立，并且將訓(xùn)練好的網(wǎng)絡(luò)模型參數(shù)進(jìn)行存儲(chǔ)，得到結(jié)果如圖3所示。

從圖3中可以看出，隨著迭代次數(shù)的增加，train loss和test loss不斷地降低，最后穩(wěn)定在接近0的位置。說明該模型訓(xùn)練效果良好，模型網(wǎng)絡(luò)誤差低，同時(shí)accuracy在迭代6 000次時(shí)就接近1，說明該模型的精確度也達(dá)到要求，因此訓(xùn)練的模型網(wǎng)絡(luò)的性能能夠滿足本文應(yīng)用的需要。

2 嵌入式系統(tǒng)設(shè)計(jì)

嵌入式系統(tǒng)設(shè)計(jì)是危險(xiǎn)駕駛檢測系統(tǒng)設(shè)計(jì)的重要組成部分，只有對(duì)硬件和卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行合理有效的編程，危險(xiǎn)駕駛檢測的功能性和實(shí)用性才能真正得到實(shí)現(xiàn)，同時(shí)嵌入式系統(tǒng)設(shè)計(jì)的好壞對(duì)系統(tǒng)的穩(wěn)定性和可靠性也有很大的影響。

2.1 嵌入式危險(xiǎn)駕駛檢測系統(tǒng)整體設(shè)計(jì)

開啟嵌入式危險(xiǎn)駕駛檢測系統(tǒng)時(shí)，相機(jī)采集實(shí)時(shí)影像將影像存儲(chǔ)到嵌入式系統(tǒng)的存儲(chǔ)器中，然后將影像處理后輸入到訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型中，模型識(shí)別影像后將結(jié)果返回到嵌入式系統(tǒng)中，當(dāng)判斷的影像類型為危險(xiǎn)駕駛行為時(shí)，提醒語音響起并把圖像上傳到指定的服務(wù)器存儲(chǔ)。程序設(shè)計(jì)總體框圖如圖4所示。

2.2 提醒程序設(shè)計(jì)流程圖

卷積神經(jīng)網(wǎng)絡(luò)返回的結(jié)果只是圖像分類的類型，因此需要在嵌入式系統(tǒng)中設(shè)置需要提醒圖像類型，當(dāng)卷積神經(jīng)網(wǎng)絡(luò)圖像分類模型返回的圖像類型與設(shè)置的提醒圖像類型一致時(shí)，嵌入式系統(tǒng)將啟動(dòng)提醒程序進(jìn)行提醒。具體流程如圖5所示。由于模型返回的圖像結(jié)果可能存在誤判的問題，因此在語音提醒設(shè)置中，只有當(dāng)返回結(jié)果的概率達(dá)到0.6以上，并且處于危險(xiǎn)駕駛圖像類型連續(xù)大于10幀時(shí)才會(huì)啟動(dòng)提醒程序。這樣即可減少誤報(bào)的概率。

2.3 服務(wù)器上傳主程序設(shè)計(jì)

首先是將WiFi上傳的控制設(shè)備和可讀設(shè)備數(shù)據(jù)點(diǎn)的值進(jìn)行初始化，當(dāng)提醒程序通過時(shí)，截取1 min內(nèi)的影像，通過WiFi上傳的控制設(shè)備和可讀設(shè)備，向指定的服務(wù)器上傳影像信息。

3 系統(tǒng)測試與分析

3.1 危險(xiǎn)駕駛行為檢測系統(tǒng)測試

將嵌入式系統(tǒng)和卷積神經(jīng)網(wǎng)絡(luò)模型mAlex調(diào)試好后，對(duì)其進(jìn)行測試，測試影像如圖6所示。

從圖6可知，系統(tǒng)會(huì)一直實(shí)時(shí)在左側(cè)面板上顯示出每幀圖像的駕駛?cè)笋{駛行為是安全還是危險(xiǎn)的概率，取最高的概率為當(dāng)前駕駛?cè)说男袨闋顟B(tài)，并在圖像的左上側(cè)標(biāo)記出圖像類型，從圖6分析來看，危險(xiǎn)駕駛時(shí)顯示的是1類型，安全駕駛時(shí)顯示為2類型。然后把顯示的1類型或者2類型和概率反饋到樹莓派中，連續(xù)10幀且概率高于0.6，如果反饋的信號(hào)是1類型，此時(shí)喇叭就開始提醒駕駛?cè)耍⑶覍? min內(nèi)影像截取上傳到服務(wù)器中。同時(shí)，通過左側(cè)的概率可以看出危險(xiǎn)駕駛行為的識(shí)別概率要高于安全駕駛的概率，通過分析后發(fā)現(xiàn)這是數(shù)據(jù)庫的安全駕駛樣本過小所致，今后需要提高安全駕駛的圖片數(shù)據(jù)。經(jīng)多次測試表明，本次設(shè)計(jì)的危險(xiǎn)駕駛行為檢測系統(tǒng)能夠?qū)D像數(shù)據(jù)進(jìn)行實(shí)時(shí)、準(zhǔn)確的獲取、判斷、顯示和響應(yīng)。

3.2 嵌入式危險(xiǎn)駕駛檢測系統(tǒng)分析

本文將精簡后的卷積神經(jīng)網(wǎng)絡(luò)mAlex與傳統(tǒng)的方法SVM進(jìn)行了比較。在依賴于紋理特征的直方圖上訓(xùn)練的RBF核SVM。實(shí)驗(yàn)使用危險(xiǎn)駕駛數(shù)據(jù)集進(jìn)行了比較實(shí)驗(yàn)。

為了進(jìn)行模型比較，在測試集上評(píng)估訓(xùn)練后的模型分類的性能，并最終繪制了Receiver Operating Characteristic （ROC） 曲線，同時(shí)也得到了Area Under the Curve（AUC）值。ROC曲線y軸上為真正類率（TPR）和x軸上的負(fù)正類率（FPR）隨著閾值的不同而有所變化。ROC曲線下的面積就是AUC。模型比較結(jié)果如圖7所示。在圖7中，ROC曲線與每次單個(gè)實(shí)驗(yàn)求得的AUC值一起顯示。

由圖7可知，在比較同一類型測試集時(shí)，mAlex的AUC達(dá)到了0.94，在閾值為0.5的精確度下，mAlex模型高于SVM模型。而在引入新的測試集后，mAlex的AUC也是達(dá)到了0.92。說明該模型具有良好的泛化能力。

4 結(jié)束語

本文實(shí)現(xiàn)從研究的難點(diǎn)和創(chuàng)新點(diǎn)出發(fā)，圍繞著如何精簡卷積模型、提高模型精度和減少檢測誤差等方面來分析基于嵌入式和卷積神經(jīng)網(wǎng)絡(luò)的危險(xiǎn)駕駛行為系統(tǒng)可行性。在選擇好卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)AleNet后，對(duì)其模型結(jié)構(gòu)進(jìn)行精簡，去掉AlexNet第三和第四個(gè)卷積層和一個(gè)完全連接的層后，得到精簡的小型mAlex，基于此來制作危險(xiǎn)駕駛相關(guān)的數(shù)據(jù)集。接下來則在深度學(xué)習(xí)框架caffe下訓(xùn)練mAlex。訓(xùn)練結(jié)束后得到危險(xiǎn)駕駛行為檢測的模型，再將其存入嵌入式系統(tǒng)中，在嵌入式系統(tǒng)中通過python調(diào)用嵌入式各個(gè)部分的硬件和存入嵌入式系統(tǒng)中的卷積神經(jīng)網(wǎng)絡(luò)mAlex模型，以此來實(shí)現(xiàn)危險(xiǎn)駕駛行為的檢測。最后，本文對(duì)系統(tǒng)進(jìn)行測試得出檢測的圖像，同時(shí)與經(jīng)典二分類模型SVM進(jìn)行ROC比較，得到AUC的值，通過測試得到精簡的mAlex的精確度和泛化能力都是最好。因此，本文設(shè)計(jì)的危險(xiǎn)駕駛行為檢測系統(tǒng)優(yōu)于傳統(tǒng)的檢測系統(tǒng)。

參考文獻(xiàn)

[1] 李元明. 關(guān)于近年來危險(xiǎn)駕駛案件數(shù)量增減情況的調(diào)研報(bào)告[N]. 河南法制報(bào)，2018-12-28（018）.

[2]莊杰. 基于人車耦合的安全駕駛行為預(yù)警關(guān)鍵技術(shù)研究[J]. 電子技術(shù)與軟件工程，2018（13）：237.

[3]應(yīng)海寧，唐振民，韓旭. 基于兩次聚類的PWARX駕駛行為辨識(shí)模型[J]. 重慶交通大學(xué)學(xué)報(bào)（自然科學(xué)版），2019，38（2）：79.

[4]PEI Jifang， HUANG Yulin， HUO Weibo， et al. SAR automatic target recognition based on multiview deep learning framework[J]. IEEE Transactions on Geoscience & Remote Sensing， 2018，56（4）：2196.

[5]張文達(dá)， 許悅雷， 倪嘉成，等. 基于多尺度分塊卷積神經(jīng)網(wǎng)絡(luò)的圖像目標(biāo)識(shí)別算法[J]. 計(jì)算機(jī)應(yīng)用， 2016， 36（4）：1033.

[6]林志潔， 羅壯， 趙磊，等. 特征金字塔多尺度全卷積目標(biāo)檢測算法[J]. 浙江大學(xué)學(xué)報(bào)（工學(xué)版）， 2019， 53（3）：533.

[7]KRIZHEVSKY A ， SUTSKEVER I ， HINTON G. ImageNet classification with deep Convolutional Neural Networks[J]. Advances in Neural Information Processing Systems， 2012， 25（2）：1106.

[8]宋光慧. 基于遷移學(xué)習(xí)與深度卷積特征的圖像標(biāo)注方法研究[D]. 杭州：浙江大學(xué)，2017.

[9]王茜， 陳一民， 丁友東. 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的機(jī)動(dòng)車圖像分類算法[J]. 計(jì)算機(jī)應(yīng)用與軟件， 2018， 35（7）：263.

[10]ACKERMANN S ， SCHAWINSKI K ， ZHANG Ce ， et al. Using transfer learning to detect galaxy mergers[J]. Monthly Notices of the Royal Astronomical Society， 2018， 479（1）： 415.

[11]DING Z ， SHAO M ， FU Y . Incomplete multisource transfer learning[J]. IEEE Transactions on Neural Networks and Learning Systems， 2018， 29（2）：310.

[12]KHAN R U， ZHANG Xiaosong， KUMAR R. Analysis of ResNet and GoogleNet models for malware detection[J]. Journal of Computer Virology and Hacking Techniques， 2019，15：29.

[13]BALLESTER P， ARAUJO R M. On the performance of GoogLeNet and AlexNet applied to sketches[C]// Thirtieth AAAI Conference on Artificial Intelligence（AAAI-16）. Phoenix， Arizona USA：AAAI，2016：1124.

[14]王敬仁，傅凱，蔡暉，等. 基于機(jī)器視覺的地鐵分流系統(tǒng)[J]. 教育教學(xué)論壇，2019（21）：55.

[15]李國誠，黃明，崔進(jìn)寶，等. 基于樹莓派的智能監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. ?工業(yè)技術(shù)創(chuàng)新，2019，6（2）：42.