監測面部特征與頭部姿勢可知道是否存在疲勞駕駛

彭德坤

隨著科技的發展，人們擁有的汽車越來越多，為出行提供了方便，但是根據大數據的調查顯示，交通事故也出現的越來越多，而其中疲勞駕駛已成為導致交通事故的重要因素之一，給生命財產安全造成了嚴重的損失。我國交通事故僅2021年就有數萬人死亡或受傷，損失財產高達幾百億元，而其中因為疲勞駕駛引發的交通事故達到1/4左右，給社會帶來了潛在的危害，也增加了交通部門的工作負擔。

疲勞是一種生理狀態，并且伴隨時間的增長疲勞程度會不斷加劇，駕駛人員隨著連續開車時間的增長，疲勞程度也會大大加深。疲勞是有一些生理征兆的，若能提前檢測到駕駛人員的疲勞狀態，給駕駛人員提出相應的警告，可以有效減少因疲勞駕駛造成的交通事故。

解決方案

可以采集圖像或視頻，將采集的內容解析后傳輸到后臺，通過處理后將結果反饋給用戶。該系統首先通過車載攝像頭獲取圖像，進行人臉檢測，檢測駕駛員是否在位，若駕駛員在位，即可檢測到人臉。為了保證每一次駕駛的適應性，需要先引導司機進行簡單的樣本采集，以方便后續的采集圖像。比對采集圖像分為面部姿勢的采集和眼序列采集，及相關的頭部姿勢采集。

在汽車行駛途中該系統不斷進行對比采集，從而得出相關的圖像并判斷是否達到閾值。系統首先進行頭部姿態采集，采集得到的樣本如果若達到閾值，說明駕駛員出現疲勞姿態，這是則立即反饋給用戶，如果沒有達到閾值將重復以上操作。

系統功能

面部識別

自從2006年，深度學習被Geoffrey E. Hinton教授提出以后，在各行各業，特別是互聯網行業，得到了廣泛的應用，目前深度學習已經成為機器學習領域中最熱門的研究領域，并且在人工智能領域也取得很大突破。因此可以采取深度學習的方法進行人臉識別，深度學習就是不斷地用大量的標準數據集進行訓練，以提高機器識別的準度與精度。但是在駕駛室環境中進行識別，需要排除的干擾因素很多，比如夜晚行車光照、駕駛員的姿態，以及是否有墨鏡或口罩的遮擋等，實時性會提高識別難度。而基于深度學習的模型通常內部網絡參數眾多、運行速度緩慢，同時不能移植到移動設備上，從而使實際的檢測跟理想模型有較大偏差。

在傳統的人臉識別過程中，一般是先進行面部檢測，再進行人臉的矯正，最后根據訓練的數據集提取面部特征進行人臉識別。但是當駕駛人員佩戴墨鏡或口罩時，面部特征存在遮擋，會導致特征提取不準確，此時可以結合黑夜增強算法、紅外線攝像頭、卷積神經網絡算法對圖像進行修復，使特征提取變得更加準確。最后再進行特征檢測，將人臉檢測與人臉對齊整合到一起，通過設計精巧的三級網絡結構，達到檢測性能和實時性之間的平衡，使人臉識別達到最優解。

通過對駕駛環境分析，確定使用基于深度學習的方式進行駕駛人員的面部特征檢測，可以成功識別人臉圖像，并精確定位。

面部特征檢測

面部特征檢測最重要的是檢測眼部與嘴部，疲勞駕駛時的面部特征主要通過眨眼與打哈欠表現出來。眼部檢測可采取灰度投影的方法，使用RGB通道將原圖轉換成灰度圖像，之后利用積分計算得到不同的色區積分投影，根據眼睛與皮膚顏色區別較大的特點，可以對眼睛狀態進行準確判斷。

在人臉面部的色區劃分中，嘴唇的顏色跟其他地方的顏色有明顯區別，從而可先利用Harr級聯訓練，提取大量嘴唇局部樣本在色區數據集中多次迭代聚類，最后成功得到駕駛員嘴唇在顏色空間中的數據原模型。然后再根據唇色模型對原模型不斷進行相似度計算，最后根據最大類間方差自適應閾值二值化運算，便可以得到精準的嘴部邊界輪廓。

頭部姿勢估計

當人們出現疲勞狀態時頭部往往會向前傾，這是因為肌肉處于完全放松的狀態，導致肌肉對頭部的支撐也處于放松的狀態。在實際駕駛過程中，當駕駛人員出現疲勞狀態時，也是會導致頭部向下傾斜，當頭部下垂過久，駕駛人員還會將脖子進行轉動，使頸椎放松緩解。因此，可以依據駕駛人員頭部的變化、狀態、頻率判斷其是否進入疲勞狀態。

疲勞狀態檢測與判定

眨眼頻率

人處于駕駛狀態下眨眼速度相對較快，可達到<400 ms，但是當駕駛人員處于疲勞狀態時眨眼速度將會超過1 s，為了緩解疲勞，駕駛人的眨眼頻率也會增加。所以，駕駛人的眨眼頻率與眨眼的速度能直觀地反映出駕駛人的疲勞程度。

在2017出現了眼睛縱橫比的概念，通過計算EAR數值，就可以對眼睛狀態進行準確判斷。運用眼睛縱橫比概念，通過對眼睛數據結果不斷迭代比對，可得到駕駛人員在某一瞬間的眼睛縱橫比。當眼睛處于睜開時EAR值會處于一個閾值范圍內，當眼睛閉合時EAR值會在極短時間快速降低到一個極小的值。通過對正常數據集的反復迭代得出EAR值閾值為0.2，當計算結果小于閾值時就能夠判定駕駛人員的眼睛處于閉合狀態，反之則為睜開狀態。

需要注意的是，不同的人閾值可能不一樣，因此還需要前面的信息采集來確定相關的閾值，再判定眨眼頻率。

哈欠頻率

與眨眼頻率相似，也可以采用計算EAR值來檢測哈欠的頻率。哈欠頻率也是評價疲勞程度的重要指標，當駕駛人員處于疲勞狀態下，打哈欠的頻率會提高幾十上百倍。這里需要對面部嘴型進行數據集迭代訓練計算閾值，然后得到哈欠頻率從而判斷駕駛人是否處于疲勞駕駛。

頭部姿態的疲勞判定

利用頭的轉動幅度來進一步確定駕駛人員是否處于疲勞狀態，當駕駛人員的頸椎長時間得不到放松和緩解，便會在一定時間后進行頭部的轉動，以便活動頸椎。利用雙攝像頭拍攝頭部姿，包括俯仰角、偏航角和滾轉角等3個維度的轉動角度。當駕駛人員出現疲勞狀態時，映射到數據源上表現為閾值的大小變化，通過對三維空間中3個坐標角度變化的監測就可以得到相對應的閾值。

駕駛人員在正常駕駛過程中需要不斷觀察左右后視鏡以及車輛周圍環境，這可能導致在水平方向上的閾值確定出現錯誤結果，為了使結果精準，需要添加時間參數進入測量，提高系統檢測的準確性。

實現目標

以上設計實現了一個實時的疲勞駕駛檢測系統，該系統通過使用紅外雙攝像頭拍攝頭部與面部圖像，然后利用機器學習的方法對標準數據集進行訓練，得到原模型。

該系統能根據面部特征與頭部姿態實時檢測駕駛人員是否存在疲勞駕駛，就算是駕駛人員戴著口罩、墨鏡等遮擋物，也可以通過紅外攝像以及Harr與黑夜增強算法精準地檢測出結果。

最后根據檢測結果綜合迭代判斷駕駛人員是否存在疲勞駕駛行為，如果存在便發出警告。

本系統運用基于深度學習的人臉檢測算法與卷積神經網絡算法，結合黑夜增強算法與Harr算法，使用Python語言進行系統開發。同時使用了由谷歌人工智能團隊開發和維護的深度學習庫TensorFlow，以及其他機器學習庫，如Opencv等，大大提高了系統通用性、可移植性，能夠在Windows、Android、IOS等多種系統上運行。

此系統的優點是：

1.傳統疲勞駕駛的測試需要在用戶身上佩戴儀器，給用戶造成了不適，而通過深度學習的方法不會給用戶造成不適，同時提高了檢測的精確度。

2.避免了因佩戴眼鏡等遮擋，而不能檢測出正確結果。

3.通過綁定微信接口，當司機發生疲勞駕駛時將會給乘客或聯系人發送提示，并且可以接入汽車的安全系統。

4.不是一次檢測就會判定司機是否存在疲勞駕駛，而是通過多組次的權重分析，才會將結果反饋，多次的權重檢測提高了準確率。