基于面部多特征融合的駕駛員疲勞駕駛監(jiān)測(cè)系統(tǒng)

摘 要：文章介紹了一種基于面部多特征融合的駕駛員疲勞駕駛監(jiān)測(cè)系統(tǒng)。該系統(tǒng)通過(guò)分析駕駛員的駕駛行為，包括方向盤(pán)操作、車輛速度和駕駛員面部表情等，利用機(jī)器學(xué)習(xí)算法、標(biāo)定算法、中值濾波算法對(duì)駕駛員的疲勞狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)測(cè)，并在發(fā)現(xiàn)駕駛員疲勞時(shí)給予提醒，從而降低因疲勞駕駛引發(fā)的交通事故的風(fēng)險(xiǎn)。文章詳細(xì)闡述了系統(tǒng)的設(shè)計(jì)原理、實(shí)現(xiàn)方法和實(shí)驗(yàn)結(jié)果，并討論了該系統(tǒng)的優(yōu)缺點(diǎn)以及在實(shí)際應(yīng)用中的適用性。

關(guān)鍵詞：機(jī)器學(xué)習(xí) 中值濾波算法 疲勞駕駛 監(jiān)測(cè)系統(tǒng)

1 緒論

隨著我國(guó)經(jīng)濟(jì)持續(xù)高速發(fā)展，汽車保有量逐年攀升。然而，交通事故頻發(fā)，引起了廣泛的關(guān)注[1]。在這些事故中，疲勞駕駛是一個(gè)主要的誘發(fā)因素。研究表明，疲勞駕駛不僅會(huì)顯著增加交通事故的風(fēng)險(xiǎn)，而且還可能導(dǎo)致嚴(yán)重的人員傷亡和財(cái)產(chǎn)損失[2]。疲勞駕駛狀態(tài)下的駕駛員常常反應(yīng)遲緩，注意力不集中，容易產(chǎn)生誤判和失誤，進(jìn)而增加了交通事故的發(fā)生概率。根據(jù)公安部一項(xiàng)調(diào)查顯示：6月以來(lái)全國(guó)一次死亡3人以上交通事故中疲勞駕駛肇事占17.5%。由于駕駛?cè)碎L(zhǎng)時(shí)間駕駛車輛極容易導(dǎo)致注意力分散和反應(yīng)遲鈍等行為，在發(fā)生交通事故之前不能及時(shí)采取正確的操作，同時(shí)由于疲勞引發(fā)的交通事故的后果更加嚴(yán)重[3]。因此對(duì)駕駛?cè)说钠隈{駛監(jiān)測(cè)研究具有重大意義。近年來(lái)，機(jī)器學(xué)習(xí)技術(shù)的發(fā)展為解決這一問(wèn)題提供了新的思路[4]。通過(guò)分析駕駛員的駕駛行為，機(jī)器學(xué)習(xí)算法可以訓(xùn)練出能夠識(shí)別駕駛員疲勞狀態(tài)的模型，從而實(shí)現(xiàn)實(shí)時(shí)監(jiān)測(cè)[5]。

2 系統(tǒng)設(shè)計(jì)

2.1 軟件架構(gòu)

系統(tǒng)的軟件部分包括數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、特征提取、分類器、預(yù)警和可視化界面六個(gè)部分。數(shù)據(jù)采集負(fù)責(zé)從攝像頭等設(shè)備采集數(shù)據(jù)，包括駕駛員的面部狀態(tài)等。數(shù)據(jù)預(yù)處理對(duì)采集到的原始數(shù)據(jù)進(jìn)行清洗、過(guò)濾和標(biāo)準(zhǔn)化處理，以去除異常值和噪聲，提高數(shù)據(jù)分析的準(zhǔn)確性。特征提取從預(yù)處理的數(shù)據(jù)中提取出與駕駛員疲勞狀態(tài)相關(guān)的特征。分類器可以對(duì)使用機(jī)器學(xué)習(xí)算法對(duì)提取的特征進(jìn)行分類，判斷駕駛員的疲勞狀態(tài)。根據(jù)分類器的結(jié)果，預(yù)警可以在發(fā)現(xiàn)駕駛員處于疲勞狀態(tài)時(shí)發(fā)出警報(bào)，提醒駕駛員停車休息或采取其他措施。

2.2 機(jī)器學(xué)習(xí)算法

在本系統(tǒng)中采用了深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)（CNN）和時(shí)序模型（RNN）相結(jié)合的方法來(lái)訓(xùn)練識(shí)別駕駛員疲勞狀態(tài)的模型。CNN用于處理圖像數(shù)據(jù)，在駕駛員疲勞檢測(cè)中，RNN用于處理時(shí)間序列數(shù)據(jù)，從駕駛員的駕駛行為中提取出與疲勞狀態(tài)相關(guān)的特征。通過(guò)將CNN和RNN提取出的特征進(jìn)行融合，得到最終用于訓(xùn)練模型的輸入數(shù)據(jù)。

3 系統(tǒng)實(shí)現(xiàn)

3.1 數(shù)據(jù)收集與處理

需要收集駕駛員的行為數(shù)據(jù)。將收集到的原始數(shù)據(jù)進(jìn)行預(yù)處理，包括數(shù)據(jù)清洗、去除異常值、標(biāo)準(zhǔn)化等操作，以提高數(shù)據(jù)分析的準(zhǔn)確性，同時(shí)從預(yù)處理的數(shù)據(jù)中提取出與駕駛員疲勞狀態(tài)相關(guān)的特征。

在驗(yàn)證集上評(píng)估模型的性能，包括準(zhǔn)確率、召回率、F1得分等指標(biāo)。將訓(xùn)練好的模型部署到實(shí)時(shí)的監(jiān)測(cè)系統(tǒng)中，對(duì)駕駛員的行為數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，并預(yù)測(cè)其疲勞狀態(tài)。如果發(fā)現(xiàn)駕駛員處于疲勞狀態(tài)，系統(tǒng)可以發(fā)出警報(bào)，提醒駕駛員停車休息或采取其他措施。

3.2 特征提取

在疲勞駕駛識(shí)別中，眼部特征是最能反映駕駛員是否疲勞的[6]。根據(jù)眼部信息都能識(shí)別疲勞狀態(tài)，但是根據(jù)單一的眼部特征存在一定的局限性，因此采用多個(gè)特征來(lái)判斷疲勞狀態(tài)。由于人在困倦時(shí)面部表情會(huì)有明顯的變化，如會(huì)伴有眼睛閉合、不斷打哈欠及連續(xù)點(diǎn)頭等現(xiàn)象。本文主要根據(jù)眼部、嘴部及頭部的狀態(tài)來(lái)提取疲勞信息，然后綜合這些疲勞信息建立疲勞狀態(tài)識(shí)別模型，采用多特征加權(quán)和值來(lái)判斷駕駛員的疲勞狀態(tài)。

在數(shù)據(jù)預(yù)處理后，采用CNN和RNN相結(jié)合的方法從駕駛員的面部表情和駕駛行為中提取出與疲勞狀態(tài)相關(guān)的特征。特征提取可以從面部特征進(jìn)行。面部特征提取主要通過(guò)視頻監(jiān)控系統(tǒng)完成，可以提取駕駛員的眼部、嘴部和頭部區(qū)域信息等特征。可以通過(guò)提取駕駛員的眨眼頻率、眼睛閉合程度、頭部姿態(tài)等特征，這些特征可以反映駕駛員的疲勞狀態(tài)。

在人臉特征點(diǎn)定位的基礎(chǔ)上使用特征點(diǎn)的位置對(duì)人眼進(jìn)行進(jìn)一步精確定位，提出了一種基于支持向量機(jī)的人眼識(shí)別方法。進(jìn)而從眼睛定位及跟蹤流程進(jìn)行干預(yù)處理。再用基于EAR算法的眨眼檢測(cè)，當(dāng)人眼睜開(kāi)時(shí)，EAR在某個(gè)值域范圍內(nèi)波動(dòng)，當(dāng)人眼閉合時(shí)，EAR迅速下降。當(dāng)EAR低于某個(gè)閾值時(shí)，眼睛處于閉合狀態(tài)；當(dāng)EAR由某個(gè)值迅速下降至小于該閾值，再迅速上升至大于該閾值，則判斷為一次眨眼。為檢測(cè)眨眼次數(shù)，需要設(shè)置同一次眨眼的連續(xù)幀數(shù)。

EAR計(jì)算公式如下：

當(dāng)后幀眼睛寬高比與前一幀差值的絕對(duì)值（EAR）大于0.2時(shí)，認(rèn)為駕駛員在疲勞駕駛。使用基于MAR算法的哈欠檢測(cè)，提取嘴部的6個(gè)特征點(diǎn)，通過(guò)這6個(gè)特征點(diǎn)的坐標(biāo)來(lái)計(jì)算打哈欠時(shí)嘴巴的張開(kāi)程度當(dāng)一個(gè)人說(shuō)話時(shí)，從而使MAR值迅速增大反之，當(dāng)一個(gè)人閉上嘴巴時(shí)，MAR值迅速減小。嘴部主要取六個(gè)參考點(diǎn)

通過(guò)公式計(jì)算MAR來(lái)判斷是否張嘴及張嘴時(shí)間，從而確定駕駛員是否在打哈欠。通過(guò)分析嘴部參數(shù)的變化趨勢(shì)，可以判斷駕駛員的疲勞狀態(tài)。在人臉面部的特征定位實(shí)驗(yàn)如圖3。

3.3 模型訓(xùn)練

利用提取出的特征，通過(guò)訓(xùn)練一個(gè)能夠識(shí)別駕駛員疲勞狀態(tài)的模型。該模型采用支持向量機(jī)（SVM）算法進(jìn)行分類。對(duì)收集到的原始數(shù)據(jù)進(jìn)行預(yù)處理，包括數(shù)據(jù)清洗、去除異常值、標(biāo)準(zhǔn)化等操作，以提高數(shù)據(jù)分析的準(zhǔn)確性。從預(yù)處理的數(shù)據(jù)中提取出與駕駛員疲勞狀態(tài)相關(guān)的特征。其次使用訓(xùn)練數(shù)據(jù)集訓(xùn)練SVM模型，將不同狀態(tài)的駕駛員數(shù)據(jù)分隔開(kāi)，從而進(jìn)行分類。實(shí)驗(yàn)證明實(shí)驗(yàn)該算法最終得到的模型能夠準(zhǔn)確識(shí)別出駕駛員的疲勞狀態(tài)，并具有較高的實(shí)時(shí)性。

3.4 實(shí)時(shí)監(jiān)測(cè)

實(shí)時(shí)監(jiān)測(cè)駕駛員疲勞駕駛的方法主要是通過(guò)攝像頭對(duì)駕駛員的面部特征進(jìn)行實(shí)時(shí)采集，然后使用圖像處理和機(jī)器學(xué)習(xí)的方法，提取得到駕駛員的眼部、嘴部以及頭部區(qū)域信息等特征信息，從而對(duì)駕駛員的疲勞狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)測(cè)。基于行為特征的方法主要是通過(guò)分析駕駛員的操作行為來(lái)判斷其疲勞狀態(tài)，再結(jié)合機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等技術(shù)，從而實(shí)現(xiàn)對(duì)駕駛員疲勞狀態(tài)的實(shí)時(shí)監(jiān)測(cè)。

4 系統(tǒng)測(cè)試

4.1 系統(tǒng)測(cè)試結(jié)果

系統(tǒng)測(cè)試環(huán)境：處理器：Intel（R） Core（TM） i5-10200H CPU @ 2.40GHz 2.40 GHz；機(jī)帶 RAM：16.0 GB。視頻采集設(shè)備：HUAWEI Kirin ISP 5.0圖像處理技術(shù)，可以通過(guò)從攝像頭捕獲的人臉圖像數(shù)據(jù)。

通過(guò)對(duì)本系統(tǒng)進(jìn)行了大量的實(shí)驗(yàn)驗(yàn)證其有效性和可靠性。實(shí)驗(yàn)結(jié)果表明該系統(tǒng)能夠準(zhǔn)確識(shí)別出駕駛員的疲勞狀態(tài)，并在發(fā)現(xiàn)駕駛員疲勞時(shí)及時(shí)發(fā)出提醒信號(hào)。此外，還對(duì)該系統(tǒng)的實(shí)時(shí)性進(jìn)行了評(píng)估實(shí)驗(yàn)。結(jié)果表明該系統(tǒng)能夠在短時(shí)間內(nèi)完成對(duì)駕駛員疲勞狀態(tài)的識(shí)別和判斷，從而保證了其實(shí)時(shí)性。

為了演示算法的可靠性，在安全封閉道路上記錄了駕駛員駕駛車輛的實(shí)時(shí)視頻，在記錄駕駛過(guò)程中，讓駕駛員分別模擬不同狀態(tài)駕駛車輛，視頻控制在大約5分鐘。最后根據(jù)記錄的視頻數(shù)據(jù)，綜合一系列算法進(jìn)行計(jì)算分析，實(shí)驗(yàn)結(jié)果如表1所示。

4.2 系統(tǒng)創(chuàng)新點(diǎn)

（1）多特征融合：該系統(tǒng)不僅僅采用了眼睛狀態(tài)、頭部姿態(tài)等單一特征，而是綜合了多種面部特征，如眼睛、嘴巴等多個(gè)部位的狀態(tài)，利用深度學(xué)習(xí)技術(shù)將這些特征融合在一起，從而提高了疲勞駕駛檢測(cè)的準(zhǔn)確性和可靠性。

（2）實(shí)時(shí)監(jiān)測(cè)：該系統(tǒng)能夠?qū)崟r(shí)監(jiān)測(cè)駕駛員的面部特征，及時(shí)發(fā)現(xiàn)駕駛員的疲勞狀態(tài)，并通過(guò)報(bào)警系統(tǒng)提醒駕駛員及時(shí)停車休息，從而有效預(yù)防交通事故的發(fā)生。

（3）系統(tǒng)可靠性高：該系統(tǒng)具有高度的可靠性和穩(wěn)定性，能夠適應(yīng)不同光線和環(huán)境條件下的疲勞駕駛檢測(cè)，同時(shí)還能夠?qū)崿F(xiàn)多任務(wù)處理，保證了系統(tǒng)的效率和穩(wěn)定性。

系統(tǒng)的創(chuàng)新點(diǎn)和特色主要體現(xiàn)在多特征融合、實(shí)時(shí)監(jiān)測(cè)、精度高和系統(tǒng)可靠性高等方面，這些特點(diǎn)使得該系統(tǒng)在疲勞駕駛監(jiān)測(cè)領(lǐng)域具有較大的應(yīng)用價(jià)值。

5 結(jié)論與展望

本系統(tǒng)在一定程度上解決了駕駛員疲勞駕駛的問(wèn)題，通過(guò)實(shí)時(shí)監(jiān)測(cè)駕駛員的面部表情和駕駛行為來(lái)識(shí)別其疲勞狀態(tài)并發(fā)出提醒信號(hào)降低因疲勞駕駛引發(fā)的交通事故的風(fēng)險(xiǎn)。然而該系統(tǒng)仍存在一些不足之處，例如對(duì)于一些特殊情況如駕駛員佩戴墨鏡或使用藍(lán)牙耳機(jī)等情況下該系統(tǒng)的識(shí)別準(zhǔn)確性可能會(huì)受到影響。因此未來(lái)可以考慮在這些特殊情況下對(duì)該系統(tǒng)進(jìn)行改進(jìn)和完善，以提高其適用性和準(zhǔn)確性。

基金項(xiàng)目：2023年陜西國(guó)家級(jí)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目（S202313121005）。

參考文獻(xiàn)：

[1]李忠慧，李進(jìn)，高健，等.2016-2021年全國(guó)重特大道路運(yùn)輸事故原因分析及對(duì)策研究[J].中國(guó)應(yīng)急救援，2023（05）：53-57.

[2]Wang， J.， Zhang，W.， Zhao， J.， Guo， J. （2024）. Driver Fatigue Monitoring Based on Facial Multifeature Fusion. In： Zhang， M.， Xu， B.， Hu， F.， Lin， J.， Song， X.， Lu， Z. （eds） Computer Applications. CCF NCCA 2023. Communications in Computer and Information Science， vol 1960. Springer， Singapore.

[3]冉險(xiǎn)生，賀帥，蘇山杰，等.融合特征增強(qiáng)與DeepSort的疲勞駕駛檢測(cè)跟蹤算法[J].國(guó)外電子測(cè)量技術(shù)，2023，42（08）：54-62.

[4]王暢，李雷孝，楊艷艷.基于面部多特征融合的疲勞駕駛檢測(cè)綜述[J/OL].計(jì)算機(jī)工程：1-14[2023-10-29].

[5]張博熠，者甜甜，趙新旭，等.基于眼嘴狀態(tài)識(shí)別網(wǎng)絡(luò)的疲勞駕駛檢測(cè)[J].計(jì)算機(jī)工程，2023，49（05）：310-320.

[6]楊錫亮.基于EEG核心腦網(wǎng)絡(luò)的駕駛疲勞檢測(cè)方法[D].杭州：杭州電子科技大學(xué)，2023.

[7]郭高超.面向疲勞駕駛的設(shè)備管理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D].武漢：華中科技大學(xué)，2022.

[8]張芳婷.基于面部特征的實(shí)時(shí)疲勞駕駛檢測(cè)方法研究[D].武漢：華中科技大學(xué)，2022.