基于面部多特征融合的駕駛員疲勞駕駛監測系統

摘 要：文章介紹了一種基于面部多特征融合的駕駛員疲勞駕駛監測系統。該系統通過分析駕駛員的駕駛行為，包括方向盤操作、車輛速度和駕駛員面部表情等，利用機器學習算法、標定算法、中值濾波算法對駕駛員的疲勞狀態進行實時監測，并在發現駕駛員疲勞時給予提醒，從而降低因疲勞駕駛引發的交通事故的風險。文章詳細闡述了系統的設計原理、實現方法和實驗結果，并討論了該系統的優缺點以及在實際應用中的適用性。

關鍵詞：機器學習 中值濾波算法 疲勞駕駛 監測系統

1 緒論

隨著我國經濟持續高速發展，汽車保有量逐年攀升。然而，交通事故頻發，引起了廣泛的關注[1]。在這些事故中，疲勞駕駛是一個主要的誘發因素。研究表明，疲勞駕駛不僅會顯著增加交通事故的風險，而且還可能導致嚴重的人員傷亡和財產損失[2]。疲勞駕駛狀態下的駕駛員常常反應遲緩，注意力不集中，容易產生誤判和失誤，進而增加了交通事故的發生概率。根據公安部一項調查顯示：6月以來全國一次死亡3人以上交通事故中疲勞駕駛肇事占17.5%。由于駕駛人長時間駕駛車輛極容易導致注意力分散和反應遲鈍等行為，在發生交通事故之前不能及時采取正確的操作，同時由于疲勞引發的交通事故的后果更加嚴重[3]。因此對駕駛人的疲勞駕駛監測研究具有重大意義。近年來，機器學習技術的發展為解決這一問題提供了新的思路[4]。通過分析駕駛員的駕駛行為，機器學習算法可以訓練出能夠識別駕駛員疲勞狀態的模型，從而實現實時監測[5]。

2 系統設計

2.1 軟件架構

系統的軟件部分包括數據采集、數據預處理、特征提取、分類器、預警和可視化界面六個部分。數據采集負責從攝像頭等設備采集數據，包括駕駛員的面部狀態等。數據預處理對采集到的原始數據進行清洗、過濾和標準化處理，以去除異常值和噪聲，提高數據分析的準確性。特征提取從預處理的數據中提取出與駕駛員疲勞狀態相關的特征。分類器可以對使用機器學習算法對提取的特征進行分類，判斷駕駛員的疲勞狀態。根據分類器的結果，預警可以在發現駕駛員處于疲勞狀態時發出警報，提醒駕駛員停車休息或采取其他措施。

2.2 機器學習算法

在本系統中采用了深度學習中的卷積神經網絡（CNN）和時序模型（RNN）相結合的方法來訓練識別駕駛員疲勞狀態的模型。CNN用于處理圖像數據，在駕駛員疲勞檢測中，RNN用于處理時間序列數據，從駕駛員的駕駛行為中提取出與疲勞狀態相關的特征。通過將CNN和RNN提取出的特征進行融合，得到最終用于訓練模型的輸入數據。

3 系統實現

3.1 數據收集與處理

需要收集駕駛員的行為數據。將收集到的原始數據進行預處理，包括數據清洗、去除異常值、標準化等操作，以提高數據分析的準確性，同時從預處理的數據中提取出與駕駛員疲勞狀態相關的特征。

在驗證集上評估模型的性能，包括準確率、召回率、F1得分等指標。將訓練好的模型部署到實時的監測系統中，對駕駛員的行為數據進行實時分析，并預測其疲勞狀態。如果發現駕駛員處于疲勞狀態，系統可以發出警報，提醒駕駛員停車休息或采取其他措施。

3.2 特征提取

在疲勞駕駛識別中，眼部特征是最能反映駕駛員是否疲勞的[6]。根據眼部信息都能識別疲勞狀態，但是根據單一的眼部特征存在一定的局限性，因此采用多個特征來判斷疲勞狀態。由于人在困倦時面部表情會有明顯的變化，如會伴有眼睛閉合、不斷打哈欠及連續點頭等現象。本文主要根據眼部、嘴部及頭部的狀態來提取疲勞信息，然后綜合這些疲勞信息建立疲勞狀態識別模型，采用多特征加權和值來判斷駕駛員的疲勞狀態。

在數據預處理后，采用CNN和RNN相結合的方法從駕駛員的面部表情和駕駛行為中提取出與疲勞狀態相關的特征。特征提取可以從面部特征進行。面部特征提取主要通過視頻監控系統完成，可以提取駕駛員的眼部、嘴部和頭部區域信息等特征。可以通過提取駕駛員的眨眼頻率、眼睛閉合程度、頭部姿態等特征，這些特征可以反映駕駛員的疲勞狀態。

在人臉特征點定位的基礎上使用特征點的位置對人眼進行進一步精確定位，提出了一種基于支持向量機的人眼識別方法。進而從眼睛定位及跟蹤流程進行干預處理。再用基于EAR算法的眨眼檢測，當人眼睜開時，EAR在某個值域范圍內波動，當人眼閉合時，EAR迅速下降。當EAR低于某個閾值時，眼睛處于閉合狀態；當EAR由某個值迅速下降至小于該閾值，再迅速上升至大于該閾值，則判斷為一次眨眼。為檢測眨眼次數，需要設置同一次眨眼的連續幀數。

EAR計算公式如下：

當后幀眼睛寬高比與前一幀差值的絕對值（EAR）大于0.2時，認為駕駛員在疲勞駕駛。使用基于MAR算法的哈欠檢測，提取嘴部的6個特征點，通過這6個特征點的坐標來計算打哈欠時嘴巴的張開程度當一個人說話時，從而使MAR值迅速增大反之，當一個人閉上嘴巴時，MAR值迅速減小。嘴部主要取六個參考點

通過公式計算MAR來判斷是否張嘴及張嘴時間，從而確定駕駛員是否在打哈欠。通過分析嘴部參數的變化趨勢，可以判斷駕駛員的疲勞狀態。在人臉面部的特征定位實驗如圖3。

3.3 模型訓練

利用提取出的特征，通過訓練一個能夠識別駕駛員疲勞狀態的模型。該模型采用支持向量機（SVM）算法進行分類。對收集到的原始數據進行預處理，包括數據清洗、去除異常值、標準化等操作，以提高數據分析的準確性。從預處理的數據中提取出與駕駛員疲勞狀態相關的特征。其次使用訓練數據集訓練SVM模型，將不同狀態的駕駛員數據分隔開，從而進行分類。實驗證明實驗該算法最終得到的模型能夠準確識別出駕駛員的疲勞狀態，并具有較高的實時性。

3.4 實時監測

實時監測駕駛員疲勞駕駛的方法主要是通過攝像頭對駕駛員的面部特征進行實時采集，然后使用圖像處理和機器學習的方法，提取得到駕駛員的眼部、嘴部以及頭部區域信息等特征信息，從而對駕駛員的疲勞狀態進行實時監測。基于行為特征的方法主要是通過分析駕駛員的操作行為來判斷其疲勞狀態，再結合機器學習和深度學習等技術，從而實現對駕駛員疲勞狀態的實時監測。

4 系統測試

4.1 系統測試結果

系統測試環境：處理器：Intel（R） Core（TM） i5-10200H CPU @ 2.40GHz 2.40 GHz；機帶 RAM：16.0 GB。視頻采集設備：HUAWEI Kirin ISP 5.0圖像處理技術，可以通過從攝像頭捕獲的人臉圖像數據。

通過對本系統進行了大量的實驗驗證其有效性和可靠性。實驗結果表明該系統能夠準確識別出駕駛員的疲勞狀態，并在發現駕駛員疲勞時及時發出提醒信號。此外，還對該系統的實時性進行了評估實驗。結果表明該系統能夠在短時間內完成對駕駛員疲勞狀態的識別和判斷，從而保證了其實時性。

為了演示算法的可靠性，在安全封閉道路上記錄了駕駛員駕駛車輛的實時視頻，在記錄駕駛過程中，讓駕駛員分別模擬不同狀態駕駛車輛，視頻控制在大約5分鐘。最后根據記錄的視頻數據，綜合一系列算法進行計算分析，實驗結果如表1所示。

4.2 系統創新點

（1）多特征融合：該系統不僅僅采用了眼睛狀態、頭部姿態等單一特征，而是綜合了多種面部特征，如眼睛、嘴巴等多個部位的狀態，利用深度學習技術將這些特征融合在一起，從而提高了疲勞駕駛檢測的準確性和可靠性。

（2）實時監測：該系統能夠實時監測駕駛員的面部特征，及時發現駕駛員的疲勞狀態，并通過報警系統提醒駕駛員及時停車休息，從而有效預防交通事故的發生。

（3）系統可靠性高：該系統具有高度的可靠性和穩定性，能夠適應不同光線和環境條件下的疲勞駕駛檢測，同時還能夠實現多任務處理，保證了系統的效率和穩定性。

系統的創新點和特色主要體現在多特征融合、實時監測、精度高和系統可靠性高等方面，這些特點使得該系統在疲勞駕駛監測領域具有較大的應用價值。

5 結論與展望

本系統在一定程度上解決了駕駛員疲勞駕駛的問題，通過實時監測駕駛員的面部表情和駕駛行為來識別其疲勞狀態并發出提醒信號降低因疲勞駕駛引發的交通事故的風險。然而該系統仍存在一些不足之處，例如對于一些特殊情況如駕駛員佩戴墨鏡或使用藍牙耳機等情況下該系統的識別準確性可能會受到影響。因此未來可以考慮在這些特殊情況下對該系統進行改進和完善，以提高其適用性和準確性。

基金項目：2023年陜西國家級大學生創新創業訓練計劃項目（S202313121005）。

參考文獻：

[1]李忠慧，李進，高健，等.2016-2021年全國重特大道路運輸事故原因分析及對策研究[J].中國應急救援，2023（05）：53-57.

[2]Wang， J.， Zhang，W.， Zhao， J.， Guo， J. （2024）. Driver Fatigue Monitoring Based on Facial Multifeature Fusion. In： Zhang， M.， Xu， B.， Hu， F.， Lin， J.， Song， X.， Lu， Z. （eds） Computer Applications. CCF NCCA 2023. Communications in Computer and Information Science， vol 1960. Springer， Singapore.

[3]冉險生，賀帥，蘇山杰，等.融合特征增強與DeepSort的疲勞駕駛檢測跟蹤算法[J].國外電子測量技術，2023，42（08）：54-62.

[4]王暢，李雷孝，楊艷艷.基于面部多特征融合的疲勞駕駛檢測綜述[J/OL].計算機工程：1-14[2023-10-29].

[5]張博熠，者甜甜，趙新旭，等.基于眼嘴狀態識別網絡的疲勞駕駛檢測[J].計算機工程，2023，49（05）：310-320.

[6]楊錫亮.基于EEG核心腦網絡的駕駛疲勞檢測方法[D].杭州：杭州電子科技大學，2023.

[7]郭高超.面向疲勞駕駛的設備管理平臺設計與實現[D].武漢：華中科技大學，2022.

[8]張芳婷.基于面部特征的實時疲勞駕駛檢測方法研究[D].武漢：華中科技大學，2022.