危險駕駛行為預警與求救系統的設計與實現

王康威，葉前程，蔣麗珍

（浙江工商大學 信息與電子工程學院，浙江 杭州 310018）

0 引 言

據統計，我國汽車保有量已突破2.81億輛，且該數據還在不斷增加。與此同時，因疲勞駕駛、抽煙、打電話等違規駕駛行為引發的交通事故也在不斷增多，駕駛員突發疾病因救助不及時導致的悲劇也常有報道。如何規范駕駛以及駕駛過程中遇到突發疾病如何求救一直是熱議話題，市場急需研發一款針對駕駛員危險駕駛行為的預警與求救系統。目前市場上已有的相關產品，如疲勞駕駛檢測儀、耳夾式檢測儀等，不僅功能單一、檢測精度不高，而且價格較為昂貴，很難做到大規模地應用推廣。目前，在輪船上有關于危險駕駛行為檢測和報警系統的應用，但這種檢測系統沒有在汽車上大規模地推廣。因此，本文設計了一款操作簡單、功能豐富，且兼具危險駕駛行為預警與自動求救雙重功能的系統，不僅實用性強，而且成本較低，適合市場推廣。

1 系統功能設計

本系統主要包括駕駛員危險駕駛行為檢測、語音提醒、駕駛員突發疾病的檢測和自動求救等功能。本系統包括兩種工作模式：第一種工作模式，當駕駛員在正常駕駛過程中出現如抽煙、打電話、打哈欠等行為時，攝像頭實時采集駕駛員的肢體動作，并將數據存儲在樹莓派的存儲區域，樹莓派的主控單元對獲取的數據進行分析判斷，從而判別出駕駛員是否存在違規駕駛行為，并根據判斷結果決定執行相應的語音提醒功能；第二種工作模式，當駕駛員在行駛過程中出現如心梗等突發疾病時，可按下求救按鈕，系統將啟動報警求救模塊，發送求救信息和駕駛員的空間位置給事先設定的緊急聯系人，語音反復呼喊“我突發疾病遇到危險了，請幫忙撥打120”，同時LED屏顯示求救信息。啟動報警求救模塊的同時系統也啟動了防碰撞模塊，超聲波傳感器開始實時檢測汽車與前方障礙物之間的距離，以便及時制動，減少二次傷害的發生。如果駕駛員突發疾病無法按下求救按鈕，攝像頭通過采集駕駛員的面部表情和肢體動作，樹莓派進行數據分析處理，判斷出駕駛員是否具有按下求救按鈕的能力。若駕駛員此時不具備該能力，系統將會自動啟動報警求救模塊和防碰撞模塊。在此基礎上，考慮到可能出現系統誤判的情況，增加取消報警的功能，一旦出現誤斷，駕駛員可按下取消按鈕，系統將發送相應的取消信息給事先設定的緊急聯系人，停止語音播放和LED屏顯示，同時系統停止防碰撞模塊的運行。功能設計流程如圖1所示，實驗室產品實物照片如圖2所示，實驗室產品經測試已經實現全部預設的功能。

圖1 系統功能設計流程

圖2 實驗室產品圖

2 系統硬件設計

根據功能實現的流程設計系統的硬件架構。系統硬件主要由樹莓派開發板、攝像頭、揚聲器、GPS定位器、超聲波傳感器、求救和取消按鈕、LED顯示屏等組成，其框架如圖3所示。接通電源后，攝像頭和樹莓派同時開始工作，攝像頭將采集到的數據進行模數轉換（A/D）傳送至樹莓派，樹莓派根據輸入的數據輸出相應的信號。若輸出語音提醒信號，該信號則會驅動揚聲器執行相應的程序；若輸出求救信號，LED求救燈將會被點亮，經過按鈕的選擇之后，向超聲波傳感器發送防碰撞信號和向GPS定位器發送報警信號，驅動超聲波傳感器和GPS定位器執行相應的程序。

圖3 系統硬件框架

2.1 GPS模塊

GPS定位模塊選用的傳感器型號是微雪L76X GPS Module。傳感器像收音機一樣接收、解調衛星的廣播C/A碼信號，中心頻率為1 575.42 MHz。GPS模塊并不播發信號，屬于被動定位。由于衛星的位置精確可知，在GPS觀測中，可得到衛星到接收機的距離。利用三維坐標中的距離公式，就可以組成3個方程式，解出觀測點的位置（，，）?？紤]到衛星的時鐘與接收機時鐘之間的鐘差，為了得到更精確的位置，引入了第4顆衛星，形成4個方程式進行求解，通過運算與每個衛星的偽距離，采用距離交會法求出接收機的經度、緯度、高度和時間修正量這四個參數。該型號傳感器支持GPS、北斗（BDS）和QZSS多重衛星，具有定位快、定位準確和低功耗等優點；且該傳感器體積較小，不會阻礙駕駛員的視線。其內部原理如圖4所示，連接方式如圖5所示。

圖4 GPS傳感器內部原理圖

圖5 GPS模塊連接方式

2.2 防碰撞模塊

系統采用的HC-SR04超聲波傳感器可以測量3～4 m的距離，精確度可以達到3 mm。該傳感器包括超聲波發射器、超聲波接收器和控制電路三部分，有4個引腳，連接電路如圖6所示。本系統向超聲波傳感器的Trig引腳發送一個10 μs的脈沖，傳感器接收到這個脈沖后發射出超聲波，同時把Echo置為高電平（在發射之前，Echo引腳一直為低電平）。通過編寫代碼記錄超聲波發射時間pulse_start和返回時間pulse_end，運用公式可計算出障礙物與汽車的實時距離，為汽車制動及其他模塊提供數據。

圖6 超聲波傳感器電路連接圖

2.3 樹莓派控制模塊

將樹莓派連接攝像頭、按鈕、LED屏和揚聲器、超聲波傳感器等器件，通過樹莓派控制各個模塊以實現其特定的功能。LED顯示屏一端接地，另一端接GPIO14，為其提供電源以及控制信號。GPS模塊有四個引腳，考慮到GPS模塊與樹莓派之間的串口通信，將傳感器的RX引腳連接至TXD引腳，TX引腳連接至RXD引腳。求救按鈕和取消按鈕共有三個引腳，除VCC接電源、GND接地外，求救按鈕OUT引腳接GPIO17，取消按鈕OUT引腳接GPIO16。揚聲器通過3.5 mm口連接至樹莓派。超聲波傳感器的Trig端口接GPIO2腳，GPIO3腳接Echo。樹莓派的VCC和GND接口分別與HC-SR04的VCC和GND接口相連。1 kΩ和2 kΩ電阻組成了一個分壓電路，正極接到Echo引腳，負極與GND口相連。本電路將所有模塊整合在一起最終實現危險駕駛預警功能和突發危險報警功能。樹莓派控制電路如圖7所示。

圖7 樹莓派控制電路

3 系統軟件設計

在實際情況下，樹莓派不僅要處理攝像頭傳送的信息，還要根據相關的信息做出相應的應答，這對于樹莓派而言是一個極其復雜的過程，因此針對軟件方面做出相應算法上的改進，以解決姿勢識別不準確和圖像處理速度過慢等問題。

3.1 姿勢識別模塊

考慮到目前使用的Dlib68特征點和OpenCV膚色動態追蹤圖像處理達不到理想效果。為獲得更好的效果，精確識別違規駕駛動作，決定獲取臉部和手部的關鍵點信息。為此，本項目引入了機器視覺中一個經典開源模型—OpenPose（人體姿態識別模型），如圖8所示。輸入一張圖片，經過一個 backbone（比如 vgg、resnet、mobilenet），再經過 6個stage，每個stage有兩個branch：一個用來檢測heatmap；另一個用來檢測vectmap。通過heatmap和vectmap就可以知道圖片中所有關鍵點，再通過PAFs把點對應到每個人身上。OpenPose人體姿態識別技術基于卷積神經網絡和監督學習的方法，并包含以Caffe為框架開發的開源庫，可以實現對人體動作、面部表情、手指運動等姿態的識別，適用于單人和多人，具有極好的魯棒性。

圖8 OpenPose模型

姿勢識別模塊主要是直接用OpenCV中的dnn.readNetFromCaffe（）來調用模型，利用如圖9中的模型關鍵點位置圖，把人體關鍵點提取出來；再將當前關節的位置和對應的置信度提取出來，比對所有點的置信度和設置好的閾值，從而確定圖片上真正存在的關節點。

圖9 COCO模型關鍵點位圖

3.2 圖像處理模塊

圖像處理時采用神經網絡算法通過卷積神經對圖片進行降維處理，然后進行分層、展開、連接，最后卷積形成2D矢量圖。該算法包含以下四個步驟：

（1）神經網絡預測

神經網絡結構如圖10所示。首先通過VGG-19進行特征提取，然后利用兩分支的多階段CNN，第一分支用來預測 confidence map St，第二分支用來預測PAFSLT。在每個階段之后，來自兩個分支的預測以及圖像特征被連接用于下一階段。為了既增加感受野，同時局部不能模糊，原始圖像以四個固定的scale縮放后進入神經網絡，將四個預測值求平均即為最后的結果。

圖10 神經網絡結構

（2）找到關節

通過第一步，獲得了關節的 heatmap。如圖11所示，第二步要從heatmap提取關節的具體位置。應用非最大抑制（NMS）算法來獲得heatmap中的峰值，以此值的置信度作為當前part的score，算法輸出值為：第一個part的所有值等于[(,,, 0), (,,, 1), ...]；第二個part的所有值等于[(h,w,s,), (h,w,s,+1), ...]。

圖11 關節的heatmap圖

（3）找到肢體連接

通過第二步，獲得了關節的信息（位置和分數）；接下來，用關節信息和PAF來獲得肢體連接。模型包含19個肢體，確定每一肢體所對應的兩個part和PAF，將兩個part之間的PAF信息進行積分所得結果作為該肢體的置信度。例如，要尋找所有的左上臂，已經有左肩和左肘part信息以及左上臂的PAF信息，將左肩中的所有part與左肘的所有part進行匹配，計算兩個part間的PAF信息的積分，作為當前part相連的score。最后將所有score排序來確定part之間是否相連。這樣就獲得了所有的連接信息，每一個連接都可以看作是一個肢體。

（4）拼接肢體構成人

在獲得了所有肢體后，將擁有相同關節的肢體看作是同一個人的肢體，構成一個完整的人。區別于以往的OpenCV，本系統的識別功能采用了最新的OpenPose模型，相比之前的CPN和PoseNet來說算法精度更高、算法速度也會更快。OpenPose模型能夠更為精確地獲取臉部和手部關鍵點信息，精確識別打電話、抽煙、打哈欠等動作，相較之前的模型降低了誤判的可能性。除此之外，OpenPose模型可以做到更快地識別動作，提高動作識別效率。

3.3 短信發送模塊

在緊急求救功能中，設計了短信發送模塊。該模塊在駕駛員出現突發疾病按下求救按鈕時，會發送駕駛員空間位置和求救信息給駕駛員的緊急聯系人，以便駕駛員及時得到救助。該模塊的流程如圖12所示。

圖12 短信發送模塊流程

短信發送模塊的主要功能是提供一個虛擬號碼向事先設定好的緊急聯系人發送信息。本模塊是在Twilio庫的基礎上進行編寫的。短信發送原理如圖13所示，在Twilio網站完成基本信息的注冊，從賬戶界面獲取ACCOUNT SID和AUTH TOKEN以及Phone Number，并且在網站完成緊急聯系人的保存；之后Client函數調用在Twilio網站申請的SID和TOKEN，從而獲得個人信息；再通過編輯短信內容以及收信人和發信人號碼，并結合其他模塊來實現短信發送。

圖13 短信發送原理圖

4 結 語

本文對危險駕駛行為檢測與求救系統進行了全面、規范的分析，從軟件與硬件兩個角度對系統進行了設計與制作，實驗室已實現產品設計的全部功能。與現有產品相比，該系統提高了對危險駕駛行為的檢測精度，并在此基礎上設計并實現了針對駕駛員突發疾病時的緊急求救功能，為駕駛員的生命安全增添了一道有力的保障。后續將進一步完善系統，將系統與駕駛車輛進行深度融合，并在不同的使用場景下進行相關的實驗測試，以適應市場的需要并加以推廣。