基于人臉關鍵點檢測的車載疲勞駕駛系統(tǒng)研究

王小榮，張益通，彭 炫

(新疆大學 工程訓練中心，新疆 烏魯木齊 830001)

1 車載疲勞駕駛檢測系統(tǒng)研究背景與問題

近年來,中國每年因疲勞駕駛造成的交通事故數(shù)量不斷上升,研發(fā)一款對駕駛員進行疲勞檢測并及時提醒駕駛員從而保障其交通安全的系統(tǒng)非常有必要[1]。目前,市面上的疲勞駕駛檢測較少并且推廣范圍小,主要做到的是眨眼、低頭、打哈欠檢測,會對司機低頭查看儀表盤等動作進行誤判,系統(tǒng)的準確性有待進一步提高。

國內外對于疲勞駕駛檢測系統(tǒng)的研究較為全面。目前，普遍的檢測方法大同小異，可以歸納為：基于機器視覺對疲勞駕駛檢測技術進行研究,將疲勞檢測的過程分為人臉檢測、人臉特征點提取、疲勞特征的提取與識別三步。

在此基礎上，添加車道線分割,通過對車輛行駛異常狀態(tài)的判定與駕駛員面部微表情的結合,從而大大降低了這種誤判行為,提高了系統(tǒng)的準確性,并且在系統(tǒng)中加入了目標檢測,可以檢測抽煙、打電話等不安全行為,進一步保障駕駛員的安全[2]。系統(tǒng)的機械結構外觀如圖1所示。

圖1 渲染

2 新型車載疲勞駕駛檢測系統(tǒng)的設計

2.1 設計思路

為更好地解決現(xiàn)有的疲勞駕駛問題，需設計新型檢測系統(tǒng)。一個合格的車載疲勞駕駛檢測系統(tǒng)對速度和便捷方面有很高的要求。采用英偉達的Jetson nano開發(fā)板，該開發(fā)板上的GPU具有快速進行圖片處理的優(yōu)勢，同時體積小巧，能夠滿足該系統(tǒng)的需求。圖2、圖3與圖4分別為系統(tǒng)的硬件結構圖、內部構造與零件圖與整體的思路圖。

圖2 硬件結構

圖3 內部構造與零件

圖4 整體思路

在檢測方面，本研究采用了三元子人臉關鍵點檢測，提取眼部、嘴部和頭部的關鍵點來判斷駕駛員是否閉眼、打哈欠和低頭。為了防止誤判，將該算法與無人駕駛中的車道線分割技術相結合，通過檢測車輛的行駛狀況是否異常來判定駕駛員是否疲勞駕駛[3]。

2.2 研究方法

研究所采用的方法是關鍵點檢測+車道線分割+目標檢測。

2.2.1 疲勞駕駛檢測算法之關鍵點檢測

(1)攝像頭提取駕駛員面部圖片。

(2)68關鍵點提取模型提取駕駛員面部關鍵點。

(3)計算眼睛長寬比(Eye Aspect Ratio，EAR)。當人眼睜開時，EAR在某個值上下波動；當人眼閉合時，EAR迅速下降。

(4)計算嘴部長寬比(Mouth Aspect Ratio，MAR)。當人眼睜開時，EAR在某個值上下波動；當嘴部大幅度張開時，MAR迅速上升。

(5)對EAR和MAR設一個閾值，當EAR低于或者MAR高于閾值時計算時間。

(6)提取頭部2D關鍵點。

(7)采用Head Pose Estimation算法，利用2D人臉關鍵點檢測進行3D人臉模型匹配，求解3D點和對應2D點的轉換關系。

(8)根據(jù)旋轉矩陣求解歐拉角,當角度大過一定值時,判定為低頭。

2.2.2 疲勞駕駛檢測算法之車道線分割

(1)采用FCN神經(jīng)網(wǎng)絡，通過網(wǎng)絡車道線數(shù)據(jù)集訓練神經(jīng)網(wǎng)絡模型。

(2)將該算法與激光雷達相結合，判定車輛是否行駛出駕駛區(qū)域，從而判定車輛駕駛是否正常。

(3)將該算法與關鍵點提取算法結合，判定駕駛員是否疲勞駕駛。

2.2.3 疲勞駕駛檢測算法之目標檢測

(1)將yolov5神經(jīng)網(wǎng)絡進行修改增加空間向量注意力機制(CBAM)，從而提高網(wǎng)絡的準確度。

(2)采用自制抽煙打電話數(shù)據(jù)集，訓練神經(jīng)網(wǎng)絡，得到y(tǒng)olov5s_CBAM模型。

(3)使用該模型進行抽煙、打電話等行為的識別，具體檢測圖像如圖5和圖6所示。

圖5 抽煙檢測

圖6 手機檢測

2.3 新型系統(tǒng)特色

使用三元子算法進行人臉關鍵點的標注提取，大幅度提高了人臉面部微表情的識別準確度，同時使用了無人車駕駛的部分技術——將車道線分割與激光雷達加入其中，大大降低了該系統(tǒng)誤判的可能性，并且加入了目標檢測技術，可以檢測開車時抽煙打電話等不安全行為，進一步保障駕駛員的安全，有效解決疲勞駕駛檢測的問題。

3 結語

通過對人臉關鍵點的提取以及車輛行駛狀態(tài)的判定，技術人員可以以較高的準確率檢測駕駛員的行駛狀態(tài)，同時采用jetson nano開發(fā)板上的GPU算力，快速對圖像數(shù)據(jù)進行處理，做到實時準確地對疲勞駕駛的檢測判定。該系統(tǒng)高度集成于嵌入式開發(fā)板中，體積小巧，可以適用于各種車輛，有效減少交通事故的發(fā)生[4]。