基于面部多特征融合的駕駛員疲勞駕駛監(jiān)測系統(tǒng)

摘 要：文章介紹了一種基于面部多特征融合的駕駛員疲勞駕駛監(jiān)測系統(tǒng)。該系統(tǒng)通過分析駕駛員的駕駛行為，包括方向盤操作、車輛速度和駕駛員面部表情等，利用機(jī)器學(xué)習(xí)算法、標(biāo)定算法、中值濾波算法對駕駛員的疲勞狀態(tài)進(jìn)行實(shí)時監(jiān)測，并在發(fā)現(xiàn)駕駛員疲勞時給予提醒，從而降低因疲勞駕駛引發(fā)的交通事故的風(fēng)險。文章詳細(xì)闡述了系統(tǒng)的設(shè)計原理、實(shí)現(xiàn)方法和實(shí)驗(yàn)結(jié)果，并討論了該系統(tǒng)的優(yōu)缺點(diǎn)以及在實(shí)際應(yīng)用中的適用性。

關(guān)鍵詞：機(jī)器學(xué)習(xí) 中值濾波算法 疲勞駕駛 監(jiān)測系統(tǒng)

1 緒論

隨著我國經(jīng)濟(jì)持續(xù)高速發(fā)展，汽車保有量逐年攀升。然而，交通事故頻發(fā)，引起了廣泛的關(guān)注[1]。在這些事故中，疲勞駕駛是一個主要的誘發(fā)因素。研究表明，疲勞駕駛不僅會顯著增加交通事故的風(fēng)險，而且還可能導(dǎo)致嚴(yán)重的人員傷亡和財產(chǎn)損失[2]。疲勞駕駛狀態(tài)下的駕駛員常常反應(yīng)遲緩，注意力不集中，容易產(chǎn)生誤判和失誤，進(jìn)而增加了交通事故的發(fā)生概率。根據(jù)公安部一項(xiàng)調(diào)查顯示：6月以來全國一次死亡3人以上交通事故中疲勞駕駛肇事占17.5%。由于駕駛?cè)碎L時間駕駛車輛極容易導(dǎo)致注意力分散和反應(yīng)遲鈍等行為，在發(fā)生交通事故之前不能及時采取正確的操作，同時由于疲勞引發(fā)的交通事故的后果更加嚴(yán)重[3]。因此對駕駛?cè)说钠隈{駛監(jiān)測研究具有重大意義。近年來，機(jī)器學(xué)習(xí)技術(shù)的發(fā)展為解決這一問題提供了新的思路[4]。通過分析駕駛員的駕駛行為，機(jī)器學(xué)習(xí)算法可以訓(xùn)練出能夠識別駕駛員疲勞狀態(tài)的模型，從而實(shí)現(xiàn)實(shí)時監(jiān)測[5]。

2 系統(tǒng)設(shè)計

2.1 軟件架構(gòu)

系統(tǒng)的軟件部分包括數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、特征提取、分類器、預(yù)警和可視化界面六個部分。數(shù)據(jù)采集負(fù)責(zé)從攝像頭等設(shè)備采集數(shù)據(jù)，包括駕駛員的面部狀態(tài)等。數(shù)據(jù)預(yù)處理對采集到的原始數(shù)據(jù)進(jìn)行清洗、過濾和標(biāo)準(zhǔn)化處理，以去除異常值和噪聲，提高數(shù)據(jù)分析的準(zhǔn)確性。特征提取從預(yù)處理的數(shù)據(jù)中提取出與駕駛員疲勞狀態(tài)相關(guān)的特征。分類器可以對使用機(jī)器學(xué)習(xí)算法對提取的特征進(jìn)行分類，判斷駕駛員的疲勞狀態(tài)。根據(jù)分類器的結(jié)果，預(yù)警可以在發(fā)現(xiàn)駕駛員處于疲勞狀態(tài)時發(fā)出警報，提醒駕駛員停車休息或采取其他措施。

2.2 機(jī)器學(xué)習(xí)算法

在本系統(tǒng)中采用了深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)（CNN）和時序模型（RNN）相結(jié)合的方法來訓(xùn)練識別駕駛員疲勞狀態(tài)的模型。CNN用于處理圖像數(shù)據(jù)，在駕駛員疲勞檢測中，RNN用于處理時間序列數(shù)據(jù)，從駕駛員的駕駛行為中提取出與疲勞狀態(tài)相關(guān)的特征。通過將CNN和RNN提取出的特征進(jìn)行融合，得到最終用于訓(xùn)練模型的輸入數(shù)據(jù)。

3 系統(tǒng)實(shí)現(xiàn)

3.1 數(shù)據(jù)收集與處理

需要收集駕駛員的行為數(shù)據(jù)。將收集到的原始數(shù)據(jù)進(jìn)行預(yù)處理，包括數(shù)據(jù)清洗、去除異常值、標(biāo)準(zhǔn)化等操作，以提高數(shù)據(jù)分析的準(zhǔn)確性，同時從預(yù)處理的數(shù)據(jù)中提取出與駕駛員疲勞狀態(tài)相關(guān)的特征。

在驗(yàn)證集上評估模型的性能，包括準(zhǔn)確率、召回率、F1得分等指標(biāo)。將訓(xùn)練好的模型部署到實(shí)時的監(jiān)測系統(tǒng)中，對駕駛員的行為數(shù)據(jù)進(jìn)行實(shí)時分析，并預(yù)測其疲勞狀態(tài)。如果發(fā)現(xiàn)駕駛員處于疲勞狀態(tài)，系統(tǒng)可以發(fā)出警報，提醒駕駛員停車休息或采取其他措施。

3.2 特征提取

在疲勞駕駛識別中，眼部特征是最能反映駕駛員是否疲勞的[6]。根據(jù)眼部信息都能識別疲勞狀態(tài)，但是根據(jù)單一的眼部特征存在一定的局限性，因此采用多個特征來判斷疲勞狀態(tài)。由于人在困倦時面部表情會有明顯的變化，如會伴有眼睛閉合、不斷打哈欠及連續(xù)點(diǎn)頭等現(xiàn)象。本文主要根據(jù)眼部、嘴部及頭部的狀態(tài)來提取疲勞信息，然后綜合這些疲勞信息建立疲勞狀態(tài)識別模型，采用多特征加權(quán)和值來判斷駕駛員的疲勞狀態(tài)。

在數(shù)據(jù)預(yù)處理后，采用CNN和RNN相結(jié)合的方法從駕駛員的面部表情和駕駛行為中提取出與疲勞狀態(tài)相關(guān)的特征。特征提取可以從面部特征進(jìn)行。面部特征提取主要通過視頻監(jiān)控系統(tǒng)完成，可以提取駕駛員的眼部、嘴部和頭部區(qū)域信息等特征。可以通過提取駕駛員的眨眼頻率、眼睛閉合程度、頭部姿態(tài)等特征，這些特征可以反映駕駛員的疲勞狀態(tài)。

在人臉特征點(diǎn)定位的基礎(chǔ)上使用特征點(diǎn)的位置對人眼進(jìn)行進(jìn)一步精確定位，提出了一種基于支持向量機(jī)的人眼識別方法。進(jìn)而從眼睛定位及跟蹤流程進(jìn)行干預(yù)處理。再用基于EAR算法的眨眼檢測，當(dāng)人眼睜開時，EAR在某個值域范圍內(nèi)波動，當(dāng)人眼閉合時，EAR迅速下降。當(dāng)EAR低于某個閾值時，眼睛處于閉合狀態(tài)；當(dāng)EAR由某個值迅速下降至小于該閾值，再迅速上升至大于該閾值，則判斷為一次眨眼。為檢測眨眼次數(shù)，需要設(shè)置同一次眨眼的連續(xù)幀數(shù)。

EAR計算公式如下：

當(dāng)后幀眼睛寬高比與前一幀差值的絕對值（EAR）大于0.2時，認(rèn)為駕駛員在疲勞駕駛。使用基于MAR算法的哈欠檢測，提取嘴部的6個特征點(diǎn)，通過這6個特征點(diǎn)的坐標(biāo)來計算打哈欠時嘴巴的張開程度當(dāng)一個人說話時，從而使MAR值迅速增大反之，當(dāng)一個人閉上嘴巴時，MAR值迅速減小。嘴部主要取六個參考點(diǎn)

通過公式計算MAR來判斷是否張嘴及張嘴時間，從而確定駕駛員是否在打哈欠。通過分析嘴部參數(shù)的變化趨勢，可以判斷駕駛員的疲勞狀態(tài)。在人臉面部的特征定位實(shí)驗(yàn)如圖3。

3.3 模型訓(xùn)練

利用提取出的特征，通過訓(xùn)練一個能夠識別駕駛員疲勞狀態(tài)的模型。該模型采用支持向量機(jī)（SVM）算法進(jìn)行分類。對收集到的原始數(shù)據(jù)進(jìn)行預(yù)處理，包括數(shù)據(jù)清洗、去除異常值、標(biāo)準(zhǔn)化等操作，以提高數(shù)據(jù)分析的準(zhǔn)確性。從預(yù)處理的數(shù)據(jù)中提取出與駕駛員疲勞狀態(tài)相關(guān)的特征。其次使用訓(xùn)練數(shù)據(jù)集訓(xùn)練SVM模型，將不同狀態(tài)的駕駛員數(shù)據(jù)分隔開，從而進(jìn)行分類。實(shí)驗(yàn)證明實(shí)驗(yàn)該算法最終得到的模型能夠準(zhǔn)確識別出駕駛員的疲勞狀態(tài)，并具有較高的實(shí)時性。

3.4 實(shí)時監(jiān)測

實(shí)時監(jiān)測駕駛員疲勞駕駛的方法主要是通過攝像頭對駕駛員的面部特征進(jìn)行實(shí)時采集，然后使用圖像處理和機(jī)器學(xué)習(xí)的方法，提取得到駕駛員的眼部、嘴部以及頭部區(qū)域信息等特征信息，從而對駕駛員的疲勞狀態(tài)進(jìn)行實(shí)時監(jiān)測。基于行為特征的方法主要是通過分析駕駛員的操作行為來判斷其疲勞狀態(tài)，再結(jié)合機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等技術(shù)，從而實(shí)現(xiàn)對駕駛員疲勞狀態(tài)的實(shí)時監(jiān)測。

4 系統(tǒng)測試

4.1 系統(tǒng)測試結(jié)果

系統(tǒng)測試環(huán)境：處理器：Intel（R） Core（TM） i5-10200H CPU @ 2.40GHz 2.40 GHz；機(jī)帶 RAM：16.0 GB。視頻采集設(shè)備：HUAWEI Kirin ISP 5.0圖像處理技術(shù)，可以通過從攝像頭捕獲的人臉圖像數(shù)據(jù)。

通過對本系統(tǒng)進(jìn)行了大量的實(shí)驗(yàn)驗(yàn)證其有效性和可靠性。實(shí)驗(yàn)結(jié)果表明該系統(tǒng)能夠準(zhǔn)確識別出駕駛員的疲勞狀態(tài)，并在發(fā)現(xiàn)駕駛員疲勞時及時發(fā)出提醒信號。此外，還對該系統(tǒng)的實(shí)時性進(jìn)行了評估實(shí)驗(yàn)。結(jié)果表明該系統(tǒng)能夠在短時間內(nèi)完成對駕駛員疲勞狀態(tài)的識別和判斷，從而保證了其實(shí)時性。

為了演示算法的可靠性，在安全封閉道路上記錄了駕駛員駕駛車輛的實(shí)時視頻，在記錄駕駛過程中，讓駕駛員分別模擬不同狀態(tài)駕駛車輛，視頻控制在大約5分鐘。最后根據(jù)記錄的視頻數(shù)據(jù)，綜合一系列算法進(jìn)行計算分析，實(shí)驗(yàn)結(jié)果如表1所示。

4.2 系統(tǒng)創(chuàng)新點(diǎn)

（1）多特征融合：該系統(tǒng)不僅僅采用了眼睛狀態(tài)、頭部姿態(tài)等單一特征，而是綜合了多種面部特征，如眼睛、嘴巴等多個部位的狀態(tài)，利用深度學(xué)習(xí)技術(shù)將這些特征融合在一起，從而提高了疲勞駕駛檢測的準(zhǔn)確性和可靠性。

（2）實(shí)時監(jiān)測：該系統(tǒng)能夠?qū)崟r監(jiān)測駕駛員的面部特征，及時發(fā)現(xiàn)駕駛員的疲勞狀態(tài)，并通過報警系統(tǒng)提醒駕駛員及時停車休息，從而有效預(yù)防交通事故的發(fā)生。

（3）系統(tǒng)可靠性高：該系統(tǒng)具有高度的可靠性和穩(wěn)定性，能夠適應(yīng)不同光線和環(huán)境條件下的疲勞駕駛檢測，同時還能夠?qū)崿F(xiàn)多任務(wù)處理，保證了系統(tǒng)的效率和穩(wěn)定性。

系統(tǒng)的創(chuàng)新點(diǎn)和特色主要體現(xiàn)在多特征融合、實(shí)時監(jiān)測、精度高和系統(tǒng)可靠性高等方面，這些特點(diǎn)使得該系統(tǒng)在疲勞駕駛監(jiān)測領(lǐng)域具有較大的應(yīng)用價值。

5 結(jié)論與展望

本系統(tǒng)在一定程度上解決了駕駛員疲勞駕駛的問題，通過實(shí)時監(jiān)測駕駛員的面部表情和駕駛行為來識別其疲勞狀態(tài)并發(fā)出提醒信號降低因疲勞駕駛引發(fā)的交通事故的風(fēng)險。然而該系統(tǒng)仍存在一些不足之處，例如對于一些特殊情況如駕駛員佩戴墨鏡或使用藍(lán)牙耳機(jī)等情況下該系統(tǒng)的識別準(zhǔn)確性可能會受到影響。因此未來可以考慮在這些特殊情況下對該系統(tǒng)進(jìn)行改進(jìn)和完善，以提高其適用性和準(zhǔn)確性。

基金項(xiàng)目：2023年陜西國家級大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃項(xiàng)目（S202313121005）。

參考文獻(xiàn)：

[1]李忠慧，李進(jìn)，高健，等.2016-2021年全國重特大道路運(yùn)輸事故原因分析及對策研究[J].中國應(yīng)急救援，2023（05）：53-57.

[2]Wang， J.， Zhang，W.， Zhao， J.， Guo， J. （2024）. Driver Fatigue Monitoring Based on Facial Multifeature Fusion. In： Zhang， M.， Xu， B.， Hu， F.， Lin， J.， Song， X.， Lu， Z. （eds） Computer Applications. CCF NCCA 2023. Communications in Computer and Information Science， vol 1960. Springer， Singapore.

[3]冉險生，賀帥，蘇山杰，等.融合特征增強(qiáng)與DeepSort的疲勞駕駛檢測跟蹤算法[J].國外電子測量技術(shù)，2023，42（08）：54-62.

[4]王暢，李雷孝，楊艷艷.基于面部多特征融合的疲勞駕駛檢測綜述[J/OL].計算機(jī)工程：1-14[2023-10-29].

[5]張博熠，者甜甜，趙新旭，等.基于眼嘴狀態(tài)識別網(wǎng)絡(luò)的疲勞駕駛檢測[J].計算機(jī)工程，2023，49（05）：310-320.

[6]楊錫亮.基于EEG核心腦網(wǎng)絡(luò)的駕駛疲勞檢測方法[D].杭州：杭州電子科技大學(xué)，2023.

[7]郭高超.面向疲勞駕駛的設(shè)備管理平臺設(shè)計與實(shí)現(xiàn)[D].武漢：華中科技大學(xué)，2022.

[8]張芳婷.基于面部特征的實(shí)時疲勞駕駛檢測方法研究[D].武漢：華中科技大學(xué)，2022.