智能車載聯網輔助駕駛系統設計

謝君婷 張欽超 廖克志 常旭東

摘? 要：為減少交通事故的發生，輔助駕駛人舒適安全地行車，文章設計了一套基于AIot技術的智能車載聯網輔助駕駛系統。該系統包括智能車載軟件輔助駕駛和車內硬件輔助系統兩大部分，可對車內硬件進行遠程操控以及查看當前車內環境數據。同時，系統實時檢測駕駛員疲勞狀況為危險情況做預警，為用戶在行車過程中提供更加安全舒適的環境。

關鍵詞：物聯網；車載輔助；人臉疲勞

中圖分類號：TP27 文獻標識碼：A? 文章編號：2096-4706（2023）02-0153-04

Design of Intelligent On-board Networking Assisted Driving System

XIE Junting， ZHANG Qinchao， LIAO Kezhi， CHANG Xudong

（School of Computer Science and Information Security， Guilin University of Electronic Technology， Guilin? 541004， China）

Abstract： In order to reduce the occurrence of traffic accidents and assist drivers to drive comfortably and safely， this paper designs a set of intelligent on-board networking assisted driving system based on AIot technology. The system includes intelligent on-board software assisted driving and in-car hardware assisted system， which can remotely control the in-car hardware and view the current in-car environment data. At the same time， the system detects the driver's fatigue status in real time to give early warning for dangerous situations， so as to provide users with a safer and more comfortable environment during driving.

Keywords： Internet of Things; on-board assistance; face fatigue

0? 引? 言

隨著私家車數量的飛速增長，行車安全受到越來越多人的重視。在汽車行駛過程中，往往因為酒駕、疲勞駕駛、疾病突發、未注意路面情況等問題引發不可挽回的悲劇[1]。

針對上述問題，本文設計了一套基于AloT技術的智能車載聯網輔助駕駛系統，使駕駛員主動避免交通事故的發生的汽車安全系統。系統搭載傳感器、控制器、執行器等裝置，融合現代通信與網絡技術，實現車與X（人、車、路、后臺等）的智能信息交換共享，具備復雜的環境感知、智能決策、協同控制和執行等功能。系統利用安裝于車上的攝像頭、雷達、激光和超聲波等傳感器，收集車內外的環境數據，進行靜、動態物體的辨識、偵測與追蹤等技術上的處理，從而能夠讓駕駛者在最快的時間察覺可能發生的危險，以引起注意和提高安全性的主動安全技術。同時，本系統還基于安卓開發了專門的手機APP，在參照先進駕駛輔助系統設計[2]的同時實現車聯網技術，傳感器通過無線連接，手機APP接收到車內環境信息后可以自動進行調控，為用戶提供舒適的行車環境，同時引進AI深度學習技術，對車外以及駕駛員做一些人臉疲勞的檢測，預判險情，并可以及時提供預警，使用的設備較少，安裝方便，為用戶在行車過程中提供更加安全舒適的環境。隨著汽車輔助駕駛自主程度的提高，汽車將可感知周圍的環境，然后決定要采取的操作，保證所有道路使用者的安全。

1? 系統總體框架設計

本系統由智能車載軟件輔助駕駛和車內硬件輔助系統兩部分共同組成智能自動車載聯網輔助系統，系統總體設計框架圖如圖1所示。

（1）利用X86給車載軟件提供可運行的平臺，運用深度學習神經網絡技術實現實時對駕駛員人臉疲勞的識別對危險做預警，人臉疲勞的識別采用科學的PERCLOS方法中的P80判據，使用專門的人臉68個關鍵點檢測模型庫，通過歐式距離計算公式分別計算出P80判據所需要的兩個重要參數EAR和MAR，結合P80判據就可以比較準確的檢測出人臉疲勞狀態，同時，系統通過攝像頭對車尾環境和激光雷達檢測結果進行實時更新，完成智能車載軟件輔助駕駛；

（2）對于車內硬件輔助系統，利用ESP8266 Wi-Fi模塊讀取車內硬件設備，并且開發了專用的APP通過MQTT協議與ESP8266進行通信，MQTT協議即發布和訂閱主題的過程，如：ESP8266發布車內溫濕度模塊信息的主題到云端服務器，由手機APP訂閱該主題，手機APP得到該主題信息并顯示出來，就可以在手機APP上觀測到車內溫濕度狀態數據了；手機APP和ESP8266通過MQTT協議，實現了無線遠程操控車內硬件設備和實時顯示車內硬件設備的狀態，智能小手表輔助駕駛員獲取自身健康信息和有天氣信息為駕駛員出行提供行車參考。

2? 智能車載軟件輔助駕駛系統設計實現方案

2.1? 車載中控軟件的設計

本系統宗旨在輔助駕駛人駕駛機動車，從而實現更為安全的出行。引進現有的計算機技術輔助駕駛人駕駛機動車顯得尤為重要。車載中控軟件主要搭載在車載的中控系統中，系統連接到硬件層和疲勞檢測算法，監測回傳的數據，并將結果展示到軟件界面，給予駕駛人安全提示，中控軟件系統框架圖如圖2所示。

（1）行駛：數據采集后由英特爾X86平臺上的Window 10專業版操作系統接收，進行數據處理、儲存以及通過圖形化界面與語音提示呈現給用戶。在跑圖像處理算法的同時在軟件上實時顯示車輛行駛情況，實時輔助駕駛員駕駛。

（2）影音：此系統同時向用戶提供媒體功能，包括播放本地的視頻與音樂，和其他功能同時進行，互不干預，多媒體功能是針對司機在悠閑時間可以娛樂放松一下。

（3）主界面：主界面主要由倒車雷達檢測結果顯示板塊、疲勞檢測結果展示板塊和動態畫面顯示板塊組成。倒車：當駕駛員進行倒車操作時，軟件會自動切換到該界面，并且打開尾倒車攝像頭，把攝像頭捕捉到的畫面在動態畫面展示板塊展示出來，倒車雷達檢測到的障礙物位置也將實時展示在倒車雷達檢測結果顯示板塊，實現盲區檢測的效果。疲勞檢測結果展示：動態畫面顯示板塊可以在車尾攝像頭畫面和人臉疲勞檢測畫面之間任意切換，同時疲勞檢測結果展示板塊會實時將檢測結果以文字的形式展現出來，以此提示司機注意休息，提高行車安全。

（4）語音/彈窗警告提示：軟件提供語音提示和彈窗警告服務，其中主要是疲勞檢測結果的提示和酒精濃度檢測的提示。當人臉疲勞檢測算法檢測到司機已經疲勞駕駛或者酒精濃度過高時，軟件將彈出警告，并且伴隨語音提示。通過酒精濃度檢測模塊檢測司機呼氣的酒精濃度大于或者等于20 mg/100 ml，小于80 mg/ml則為酒駕，中控板發出警報聲；若檢測到的酒精濃度大于80 mg/ml則為醉駕，中控板發出嚴重警告聲。

2.2? 駕駛員人臉疲勞的算法

本系統選取目前公認有效的PERCOLS疲勞程度評價指標，即通過閉眼幀在連續N幀內所占的時間比例來分析疲勞狀態，PERCLOS是指眼睛閉合時間占某一特定時間的百分率。PERCLOS方法有P70、P80和EM三種判定標準[3]。研究表明P80與疲勞程度間具有最好的相關性。對駕駛員疲勞的判定會因錯誤檢查帶來不良影響，通過PERCLOS、眼睛閉合時間、眼睛眨眼頻率、嘴巴張開程度，進行疲勞程度的綜合判定，可以準確、有效地進行駕駛員疲勞的檢測。“眼睛縱向比EAR”和“嘴巴縱向比MAR”則是判斷眼睛眨眼、嘴巴張開的重要依據。算法參照以下兩點進行設計：

（1）根據人臉關鍵點檢測模型庫，系統檢測出人臉68個關鍵點，這68個關鍵點為后面計算疲勞判斷依據提供科學的依據，如圖3所示。

（2）駕駛疲勞依據P80做人臉疲勞判斷。P80指眼瞼遮住瞳孔的面積超過80%就計為眼睛閉合[4]。本文利用歐式距離分別計算出EAR和MAR。人在清醒的狀態下眨眼頻率約為10～20次/min，當處于疲勞狀態時眨眼的頻率將提高約64%，故設置當每分鐘眨眼次數大于20時則認為駕駛人處于疲勞駕駛狀態[4]。由于目前沒有統一的嘴巴開度閾值檢測實驗，取MAR的閾值為0.75，當MAR＞0.75時即認為打哈欠一次，當每分鐘內打哈欠次數達到3次即判斷為疲勞駕駛狀態[5-9]。駕駛疲勞檢測為駕駛員的人身安全提供了保障。

2.3? 專用手機APP

本系統旨在為用戶行車舒適安全提供輔助便利，可以無線控制并觀察車內車內環境也為我們行車便利提供了幫助。使用MQTT通信協議[10]，可以方便快捷低功耗低成本穩定的建立手機APP與車內傳感器之間的聯系，使用開發本車載輔助系統的專用APP，具體設計框圖如圖4所示，待ESP8266 Wi-Fi模塊通過MQTT協議將數據傳輸至云端服務器[11]后，用戶可在專用APP上查看車輛狀況與車內人員狀況的各項指標，并且可以通過此APP對車內硬件設備進行調控。實現各傳感器、車與用戶手機之間的通信。車內硬件設備有溫濕度傳感器DHT11，火焰檢測傳感器，酒精檢測傳感器，照明小燈等傳感器設備。同時，使用SQLite數據庫儲存用戶信息，此外，該手機APP使用個性化設計，界面簡潔明了，字體采用漢儀樂喵字體是手機APP更加可愛明動，更加人性化，一定程度上滿足了用戶的審美需求。

3? 系統測試結果

3.1? 車載中控軟件自定義設置界面

在用戶打開中控顯示界面時，首先呈現給用戶的是首頁與底部導航欄，底部導航欄采用固定方式，不管用戶切換到哪個頁面，都可以通過底部導航欄切換界面。自定義設置主要包括四個分區：語音提示、攝像頭設置、圖像顯示設置和常規設置。自定義設置界面如圖5所示，在各個分區里面可以按照自己的需求進行自主設置。此處可靈活切換車載軟件的模式。

3.2? 行車界面

行車界面我們向用戶提供了車輛前方畫面，在行使過程中駕駛人員可以通過這個界面獲取車輛前方信息，同時在此進行前車的圖像檢測并實時顯示處理結果。傳回的圖像沒有過度的延時，實時性好，行車界面如圖6所示，顯示通過激光雷達獲取的前方距離數據，通過圖形化界面結合語音提示將前方障礙物呈現給用戶，達到預碰撞的要求。

3.3? 人臉疲勞檢測測試

用OpenCV計算機視覺庫調用攝像頭及視頻數據進行圖像的預處理，使用Python編寫代碼利用官方提供的人臉68個關鍵點檢測的DAT模型庫.使用這個模型庫可以很方便地以及準確地對人臉進行檢測，并及時的作語音及其他提示警告，如圖7所示。

4? 結? 論

隨著私家車數量的飛速增長，在這樣一個用戶基數下，如果有一套能使駕駛員主動避免交通事故的發生的汽車安全系統，為用戶在行車過程中提供更加安全舒適的環境。那么是非常貼合人們的需求的。隨著汽車輔助駕駛自主程度的提高，汽車將可感知周圍的環境，然后決定要采取的操作，保證所有道路使用者的安全。

本文設計出了一套基于物聯網的智能自動車載輔助駕駛系統，主要由兩大子系統組成：安全監護系統和輔助駕駛系統，兩大子系統和客戶端組合，讓司機駕駛時更加安全，更容易。隨著互聯網技術的飛快發展，以及人們對駕駛安全需求的日益增加，智能車載輔助系統將進一步擴大使用比例。當前版本硬件結構較為簡單，如盲區檢測，檢測點太少，出于環境安全考慮，可采用激光雷達檢測周圍車輛，而且當前程序可能存在設計缺陷，還有待進一步改進和完善。

參考文獻：

[1] 范延軍.基于機器視覺的先進輔助駕駛系統關鍵技術研究 [D].南京：東南大學，2016.

[2] 趙徹.基于機器視覺的汽車駕駛輔助系統研究 [D].長春：長春理工大學，2014.

[3] 李小平，白超.基于深度學習的司機疲勞駕駛檢測方法研究 [J].鐵道學報，2021，43（6）：78-87.

[4] 汪洪濤，謝牡丹，潘昊.基于面部特征的疲勞駕駛檢測方法研究 [J].武漢理工大學學報：交通科學與工程版，2021，45（5）：851-856+862.

[5] 朱名流，李頂根.基于人臉特征點的疲勞檢測方法研究 [J].計算機應用研究，2020，37（S2）：305-307.

[6] 趙強，王瑞，朱寶全，等.基于機器視覺的車道線檢測研究進展綜述 [J].計算技術與自動化，2022，41（1）：3440.

[7] 高揚，王晨，李昭健.基于深度學習的無人駕駛汽車車道線檢測方法 [J].科學技術與工程，2021，21（24）：10401-10406.

[8] 劉源.基于車載視覺的行人檢測及行為識別 [D].成都：電子科技大學，2019.

[9] 石英，羅佳齊，李振威.一種基于改進YOLOv2的無人駕駛中行人檢測方法：CN108985186B [P].2022-03-01.

[10] 吳俊輝，吳桂初，陳沖，等.基于MQTT協議的物聯網網關設計 [J].溫州大學學報：自然科學版，2019，40（4）：54-61.

[11] 張哲，孫濤，白蒴，等.基于安卓平臺的物聯網平臺的研究與實現 [J].黑龍江科技信息，2014（7）：159-159.

作者簡介：謝君婷（2002—），女，漢族，廣西玉林人，本科在讀，研究方向：嵌入式軟件。

收稿日期：2022-09-06

基金項目：廣西大學生創新創業訓練計劃立項項目（202110595168）