基于面部特征融合的駕駛員疲勞檢測

廖明明， 趙 波

（上海工程技術大學 機械與汽車工程學院， 上海 201620）

0 引 言

疲勞駕駛引起的道路交通事故是造成人員傷亡的重要原因之一［1］。 因此，研究疲勞檢測方法并開發自動檢測預警系統具有重要意義。 疲勞檢測的方法可分為：基于生理、基于行為、基于視覺三種。 相對前兩種方法，基于視覺的方法有成本低、檢測精度高和非侵入的優點，是現在疲勞檢測的主流方法。視覺的疲勞檢測方法包括2 個步驟：人臉檢測、特征提取以及疲勞分析。

對于人臉檢測，Viola 等人提出利用Haar 特征和Adaboost 訓練級聯分類器進行人臉檢測，但是該方法在頭部姿態偏轉情況下的檢測精度有待提高［2］。 Zhang 等人［3］提出了一種多任務的卷積神經網絡模型MTCNN，將人臉檢測分為3 層網絡進行訓練，從而提高了檢測的準確率和魯棒性。 對于面部特征提取以及疲勞分析，眼部和嘴部包含豐富的信息，且不易受外界干擾和人為因素影響。 Ursulescu等人［4］使用眨眼檢測來檢測眼睛所表征的睡意，并測量每一次連續眨眼之間的持續時間。 在Bhone 的工作中［5］，通過計算每幀圖像眼睛的縱橫比（EAR）判斷眼睛狀態，如果低于閾值，則表明眼睛處于閉合狀態。 文獻［6］提出一種兩級神經網絡的檢測方法。 該算法通過訓練第一級網絡對人眼和非人眼進行分類，用第二級網絡檢測眼睛特征點的位置，根據特征點來計算眼睛張開程度，用PERCLOS進行疲勞狀態評估。 打哈欠被認是疲勞的突出表現之一，大量研究致力于使用打哈欠來判斷疲勞狀態。Knapik 等人［7］利用熱圖像和平均溫度分析的方法對駕駛員打哈欠進行檢測，但是在駕駛員臉部快速運動的情況下可能會檢測失敗。 Yang 等人［8］提出使用三維卷積網絡以及雙向長短期記憶網絡對嘴部進行時空特征提取，采用SoftMax 對嘴部狀態進行分類，然而低分辨率的圖形會降低該方法的有效性。Anund 等人［9］首先通過視頻捕捉設備獲取嘴部的圖像，然后輸入嘴部的開合特征，神經網絡系統根據嘴部開合的持續時間來判斷疲勞。

為減小真實駕駛場景下光照變化、頭部姿態變化等不利因素的影響。 本文采用MTCNN 進行實時人臉檢測，并獲取眼部和嘴部區域。 在此基礎上，考慮到眼部和嘴部形狀以及動態特征的差異，分別設計了眼部和嘴部狀態識別網絡，有效地提高了檢測的準確性。

1 總體框架

提出的疲勞檢測方法包括數據采集及預處理、人臉檢測、口眼特征提取、疲勞狀態識別。 具體工作流程為：首先通過相機實時捕獲駕駛員圖像；然后將原始圖像灰度化處理并進行直方均衡化。 接著使用MTCNN 進行人臉檢測，并定位眼睛和嘴部區域；然后，使用設計的SOE-Net 和SOM-Net 分別對眼睛和嘴部的狀態進行識別；最后，根據PERCLOS 和持續張嘴時間（COMT）對眼部和嘴部的狀態進行量化分析，再結合以上2 個疲勞判別準則對駕駛員的疲勞狀況進行綜合性評估。 算法流程如圖1 所示。

圖1 算法流程Fig.1 The flow chart of the algorithm

2 人臉檢測及特征提取

駕駛過程中駕駛室內的光照強度發生變化會影響圖像的質量，導致人臉的特征變得模糊。 這通常發生在某些特殊場景下（陰天、下雨天、晚上）。 為了提高檢測的準確性，在對駕駛員面部進行檢測之前，采用光照增強的方法對圖像進行預處理，使用直方均衡化來提高圖像幀的亮度以及對比度。

相對于傳統的人臉檢測的算法，深度學習的算法具有精度高、魯棒性好的優勢。 因此，本文采用目前比較先進的MTCNN 來開展人臉檢測的工作。MTCNN 主要包括3 個子網絡：P-Net、R-Net 和ONet，具體結構如圖2 所示。 對此擬展開分述如下。

圖2 MTCNN 網絡Fig.2 MTCNN network

（1）P-Net。 利用邊界框的回歸向量校正候選窗口， 然后利用非極大抑制（non - maximum suppression， NMS）方法合并高度重疊的候選幀。 此外，為了解決多尺度目標的問題，構造了圖像金字塔，然后將不同大小的圖像依次送入級聯網絡中。

（2）R-Net。 主要通過邊界框回歸和非最大抑制消除假陽性樣本。 將P-Net 生成的候選人臉框架大小調整為24×24，輸出仍然是人臉分類和邊界框回歸的結果。

（3）O-Net。 對經過R-Net 濾波后的候選框區域再次濾波，將圖像的大小調整為48×48，并計算特征點在每一幀人臉上的位置。

通過圖像的預處理極大地消除了較差光照條件對面部特征提取的影響。 MTCNN 具有很強的魯棒性，能夠適應頭部姿態變化特殊的駕駛場景，其在駕駛員頭部左右、上下旋轉一定角度時，也能實現精準人臉定位。 通過MTCNN 網絡可以得到人臉5 個關鍵點，可根據關鍵點獲得眼睛和嘴部區域。 檢測效果如圖3 所示。

圖3 MTCNN 檢測結果Fig.3 Detection results of MTCNN

3 面部特征狀態識別網絡

3.1 眼部狀態識別

通過MTCNN 定位得到眼部區域后，需要進行眼部狀態的識別。 本文構建了一個眼睛狀態識別網絡（SOE-Net）對眼睛狀態進行分類，網絡結構如圖4（a）所示。 首先需要將輸入圖像的大小調整為42×30；所有卷積層的卷積核大小均為3×3，無填充且步長為1；所有池化層的卷積核大小均為2×2，步長為2。 池化層可以在保留主要特征的同時減小圖像尺寸，并將圖像尺寸減小到原始圖像的一半，這極大減少了模型的參數量，可以有效防止模型過擬合。全連接層匯集了先前層提取的特征，然后通過Softmax分類器實現二分類任務，即眼睛的睜開或閉合。Softmax 函數表達式為：

其中，pi為第i類的概率，zi為全連接層的輸出，zi公式為： 激活函數采用收斂速度較快ReLU 函數，以減小反向傳播過程中梯度消失問題帶來的不利影響。網絡使用帶動量的梯度下降法進行訓練。 損失函數為交叉熵損失函數，具體表達式為：

其中，yi為樣本i的標簽，正例為1，負類為0；pi表示樣本預測為正的概率。

3.2 嘴部狀態識別

構建嘴部狀態識別網絡（SOM-Net）對提取的嘴部特征進行分類，網絡結構如圖4（b）所示。 與眼部狀態識別網絡不同，SOM-Net 的輸入圖像大小是48×48，并且加深了神經網絡的層數，采用3 層卷積層和3 層池化層的網絡。 相同的是，SOM-Net 采用ReLU 作為激活函數，并且仍使用交叉熵損失函數來衡量模型的質量。

圖4 面部特征識別網絡Fig.4 Network of facial feature recognition

3.3 多指標融合的疲勞判別模型

駕駛員在疲勞的時候經常會表現出眨眼頻率增加、閉眼持續時間延長和持續張嘴等特征。 在前人研究中，根據眼睛和嘴部狀態來識別疲勞的常用指標有：PERCLOS［10］、持續閉眼時間［11］、嘴巴張 合頻率［12］、持續張嘴時間［11］。 本文使用PERCLOS值進行眼部狀態評估。PERCLOS為1，表示在單位時間內持續閉眼的情況。 雖然嘴巴張合頻率能夠一定程度反映出駕駛員的疲勞狀況，但是在說話、唱歌、大笑的情況下可能會出現誤判，而用持續張嘴時間來評估能避免這類誤判。 所以結合PERCLOS和持續張嘴時間兩個指標來進行疲勞判定。 具體研究論述如下。

（1）PERCLOS。 正常情況下，一個司機每60 s平均會眨眼10 次，每2～6 s 眨眼一次，每次耗時0.2～0.4 s。PERCLOS是眼睛在特定時間段內閉合幀數占總幀數的比率，能夠反映駕駛員疲勞程度，PERCLOS的計算公式可表示為：

其中，Nc是指在單位時間內眼睛閉合狀態的總幀數，Nt是指單位時間內的總幀數。

（2）持續張嘴時間。 在疲勞的駕駛條件下，司機經常表現出打哈欠的特征。 一般情況下，一個人打呵欠的時候，嘴巴會張大且會保持幾秒鐘。 提出的SOM-Net 能判斷嘴部是張開、還是閉合的狀態。在打哈欠、說話和大笑時，人的嘴部均會變為張開的狀態，但研究表明，在正常情況下，司機打哈欠約5 s，然而在說話和大笑的場景下，人嘴部張開的時間很短且相對于打哈欠嘴張開的時間會很少。 因此，本文通過持續張嘴時間（COMT） 來判斷打哈欠，COMT表達式如下：

其中，Fstart表示開始閉合嘴部時圖像幀的序號；Fend表示結束閉合嘴部時圖像幀的序號；f表示采集圖像的幀率。

（3）疲勞狀態檢測。 對于PERCLOS的研究，Wierwille 等人［13］提出當進入疲勞時，PERCLOS ＞0.15；Chu 等人［14］通將PERCLOS閾值設為0.25。本文通過實驗，為避免因強光導致的駕駛員瞇眼造成對疲勞誤判，將PERCLOS的閾值設定為0.4，這表示當PERCLOS超過0.4 的時候，即視為駕駛員表現出疲勞的狀態。 對于嘴部張開持續時間，實驗中視頻幀率為20 幀／s，每幀的時長為50 ms，當張嘴幀數連續超過80 幀（4 s）時，駕駛員出現打哈欠的情況。為提高疲勞檢測準確性，需要同時考慮到PERCLOS和持續張嘴時間（COMT） 兩個指標，所以提出一種疲勞判定的方案：當PERCLOS≥0.4 或者COMT≥4 s，判定為疲勞狀態；其它情況皆為正常非疲勞狀態。

4 實驗結果與分析

4.1 實驗平臺與數據集

本節將介紹實驗配置及結果分析，主要包括疲勞特征識別網絡性能評估和整體疲勞檢測性能分析。 實驗的硬件環境為：Intel（R） Core（TM） i7-9800X CPU（3.80 GHz），32 GB 內存，RTX2080 顯卡，實驗在Ubuntu 18.04 下進行。

網絡訓練的數據來源于自采集數據和YawDD［15］數據集截取的有效部分。 數據集內容包括：清醒狀態、大笑、說話、打哈欠、瞌睡的駕駛場景。

4.2 眼睛和嘴部狀態識別

從數據集中獲取眼睛和嘴部的圖片共16 500張作為實驗樣本。 訓練前需要將正負樣本進行灰度處理，并將眼睛圖片歸一化尺寸為42×30，將嘴部圖片歸一化尺寸為48×48。

在訓練過程中，學習率設為0.01。 為了提高評估模型的性能，防止過擬合，采用交叉驗證法來劃分數據集，訓練集和測試集的比例為9 ∶1。 如圖5（a）所示，SOE-Net 在訓練的最初損失率約為0.29，在經過1 500 次迭代以后，損失值基本上穩定在0.02。SOM-Net 訓練的過程與SOE-Net 類似，如圖5（b）所示，在訓練的最初損失率約為0.24，在經過1 000次迭代以后，損失值基本上穩定在0.01。

圖5 損失函數曲線Fig.5 Curves of loss functions

由實驗結果可知，SOE-Net 在測試集的分類平均準確率高達90.4%，結果見表1。 SOM-Net 在平均準確率高達90.7%，結果見表2。

表1 眼睛狀態識別結果Tab.1 The result of eye state recognition

表2 嘴部狀態識別結果Tab.2 The result of mouth state recognition

4.3 疲勞檢測

為進一步驗證面部疲勞識別網絡的性能，使用自采數據集的3 段視頻樣本進行測試。 視頻為實驗人員在極度疲勞的狀態下采集的，用于進一步驗證SOE-Net 和SOM-Net 的泛化能力以及實時疲勞檢測的魯棒性，檢測結果見表3。

表3 疲勞檢測結果Tab.3 The result of fatigue detection

視頻1 中一部分疲勞檢測分析如圖6 所示。 由圖6 可知，在第80～220 幀，由于持續張嘴的時間超過4 s，所以被判定為打哈欠；而在第395 ～415 幀，持續張嘴的時間不超過4 s，為駕駛員說話的場景。在第600～700 幀，PERCLOS值達到了0.78，為駕駛員瞌睡的場景。

圖6 疲勞檢測分析Fig.6 Analysis of fatigue detection

5 結束語

本文提出了一種基于卷積神經網絡的疲勞駕駛檢測方法，該方法通過融合了駕駛員眼部和嘴部的特征來判斷駕駛員疲勞狀況。 采用MTCNN 定位駕駛員臉部、眼部和嘴部區域；將眼部和嘴部的特征分別輸入SOE-Net 和SOM-Net 進行狀態識別。 最后，結合PERCLOS和持續張嘴時間進行疲勞判定。該方法能夠適應光照變化和駕駛員頭部姿態變化的復雜駕駛環境。 在滿足實時檢測的需求的前提下，疲勞檢測的平均準確率可達90.8%。 提出的神經網絡模型結構簡單，便于未來在移動端部署。