基于MediaPipe 的疲勞檢測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

摘要：針對(duì)疲勞駕駛、講話分心等問題，文章提出了一種基于MediaPipe框架，結(jié)合人眼和嘴部特征的疲勞駕駛檢測(cè)算法。相比傳統(tǒng)單一面部特征檢測(cè)，該算法首先采用MediaPipe框架對(duì)人面部區(qū)域進(jìn)行快速定位，確定人眼和嘴部區(qū)域特征點(diǎn)。通過計(jì)算眼部縱橫比及其持續(xù)時(shí)間和嘴部開合度及其動(dòng)作頻率作為判斷疲勞駕駛的參數(shù)，因打哈欠、說話、頻繁眨眼或閉眼等危險(xiǎn)駕駛行為均會(huì)導(dǎo)致眼部和嘴部發(fā)生動(dòng)作。最后對(duì)多參數(shù)進(jìn)行加權(quán)平均計(jì)算與邏輯判斷，確定目標(biāo)是否處于疲勞駕駛狀態(tài)。實(shí)驗(yàn)結(jié)果表明，基于MediaPipe框架結(jié)合人眼和嘴部特征的疲勞駕駛檢測(cè)算法響應(yīng)耗時(shí)為0.17毫秒，檢測(cè)準(zhǔn)確率達(dá)99.11%，較單一參數(shù)檢測(cè)提高1.12個(gè)百分點(diǎn)。該算法提高了檢測(cè)效率，具有較高的準(zhǔn)確率和魯棒性，滿足駕駛員疲勞檢測(cè)報(bào)警應(yīng)用需求。

關(guān)鍵詞：疲勞駕駛；狀態(tài)檢測(cè)；人臉識(shí)別；眼部縱橫比

中圖分類號(hào)：TP391.9 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2025）05-0011-04 開放科學(xué)（資源服務(wù)） 標(biāo)識(shí)碼（OSID） ：

0 引言

疲勞會(huì)影響人的精神狀態(tài)，降低其汽車駕駛能力，疲勞駕駛會(huì)使駕駛員的反應(yīng)變慢，從而極易引發(fā)交通事故。2023年我國共發(fā)生交通事故25.5萬起，數(shù)據(jù)表明21%的交通事故是由疲勞駕駛引起，占特大交通事故的40%以上，占交通事故死亡率的83%。因此，為駕駛員開發(fā)一套疲勞檢測(cè)系統(tǒng)十分必要，以減少因疲勞引起的交通事故[1]。目前常用的檢測(cè)方法有基于生理信號(hào)的檢測(cè)，如腦電信號(hào)EEG、心電信號(hào)ECG、呼吸頻率[2]等。這些方法具有較好的檢測(cè)實(shí)時(shí)性，但需要佩戴儀器進(jìn)行檢測(cè)，檢測(cè)成本較高，且對(duì)駕駛會(huì)造成一定的不便。隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，可以獲取駕駛員的行為特征作為數(shù)據(jù)來源進(jìn)行分析，但目前檢測(cè)的特征較為單一，容易造成誤檢和漏檢。本研究考慮到打哈欠、說話等嘴部動(dòng)作也是疲勞駕駛的表現(xiàn)之一，結(jié)合疲勞閉眼動(dòng)作，設(shè)計(jì)了一個(gè)基于Me?diaPipe框架，結(jié)合眼部和嘴部特征共同檢測(cè)的疲勞駕駛檢測(cè)算法。基于該算法開發(fā)高可信度的疲勞駕駛檢測(cè)系統(tǒng)，能夠?qū)︸{駛員的眼睛、嘴巴區(qū)域進(jìn)行數(shù)據(jù)采集分析，相互印證補(bǔ)充，避免因單一特征檢測(cè)出現(xiàn)誤報(bào)警現(xiàn)象，實(shí)現(xiàn)駕駛員疲勞檢測(cè)報(bào)警應(yīng)用功能，從而減少交通事故的發(fā)生。

1 系統(tǒng)設(shè)計(jì)

MediaPipe是一款開源的多媒體機(jī)器學(xué)習(xí)模型應(yīng)用框架，內(nèi)置了機(jī)器學(xué)習(xí)模型和功能塊，可以快速、輕松地在程序中實(shí)現(xiàn)復(fù)雜的機(jī)器學(xué)習(xí)功能[3]。MediaPipe人臉檢測(cè)除了提供面部邊界框外，還可以輸出6雙眼中央、耳垂、嘴部中央與鼻尖等特征點(diǎn)的坐標(biāo)，其輕量級(jí)特征提取網(wǎng)絡(luò)使其在保持高精度的同時(shí)，能夠在移動(dòng)設(shè)備上快速運(yùn)行。PERCLOS（Percentage of EyelidClosure over the Pupil over Time） 是指眼睛閉合時(shí)間占某一特定時(shí)間的百分率[4]，其計(jì)算公式見式（1） 。駕駛員張開嘴可能有兩種情況：一種是駕駛員打哈欠，處于疲勞狀態(tài)；另一種是駕駛員不停地說話，處于分心狀態(tài)。這兩種情況都可能導(dǎo)致交通事故，因此口型運(yùn)動(dòng)的頻率可以作為疲勞判斷的依據(jù)。

PERCLOS = （眼睛閉合時(shí)間/總時(shí)間段） × 100% （1）

疲勞檢測(cè)系統(tǒng)利用攝像頭實(shí)時(shí)捕捉駕駛員臉部畫面，并通過MediaPipe 框架進(jìn)行人臉特征點(diǎn)檢測(cè)。眼部區(qū)域通過計(jì)算眼睛的縱橫比判斷眼睛是否閉合，利用等效PERCLOS值判斷人眼疲勞狀態(tài)；嘴部區(qū)域則通過嘴巴的類圓度判斷嘴巴是否張開，當(dāng)張嘴狀態(tài)持續(xù)超過閾值時(shí)判定為危險(xiǎn)疲勞狀態(tài)；最后對(duì)兩者狀態(tài)進(jìn)行加權(quán)計(jì)算，從而判斷駕駛員是否處于疲勞駕駛狀態(tài)。系統(tǒng)流程如圖1所示。

2 系統(tǒng)實(shí)現(xiàn)

系統(tǒng)利用普通攝像頭進(jìn)行視頻獲取，基于Media?Pipe框架，使用其提供的預(yù)訓(xùn)練模型和庫，采用Python 編程進(jìn)行圖像檢測(cè)處理。

2.1 模型的選擇

人臉檢測(cè)采用MediaPipe框架中的“Face Mesh”模型[5]，該模型能夠在單個(gè)攝像機(jī)輸入下實(shí)時(shí)估計(jì)468個(gè)3D臉部界標(biāo)，提供高效的實(shí)時(shí)性能。同時(shí)，該模型采用輕量級(jí)架構(gòu)，減少計(jì)算負(fù)擔(dān)，適合在資源有限的設(shè)備上運(yùn)行。相比Dlib庫檢測(cè)人臉的68個(gè)關(guān)鍵點(diǎn)定位，MediaPipe可以估計(jì)468個(gè)人臉關(guān)鍵點(diǎn)。其內(nèi)置了預(yù)訓(xùn)練模塊及庫，可以實(shí)時(shí)通過機(jī)器學(xué)習(xí)推斷人臉表面幾何形狀，無需專門的深度攝像頭進(jìn)行檢測(cè)，僅需普通攝像機(jī)輸入圖像即可，既降低了疲勞檢測(cè)系統(tǒng)的硬件要求，又保證了視頻圖像處理效率。

使用MediaPipe進(jìn)行人臉特征點(diǎn)檢測(cè)的基本步驟如下：

1） 安裝項(xiàng)目環(huán)境：項(xiàng)目采用Python 編程語言、OpenCV庫、MediaPipe框架，首先須安裝對(duì)應(yīng)插件，命令如下：

pip install opencv-python

#0.10.13為本項(xiàng)目中所使用的版本，用戶可以根據(jù)實(shí)際使用情況進(jìn)行修改

pip install mediapipe== 0.10.13

2） 圖像輸入：視頻數(shù)據(jù)的輸入可以來自攝像頭，也可以是視頻，此次項(xiàng)目實(shí)驗(yàn)中，直接讀取攝像頭傳入的視頻圖像數(shù)據(jù)，命令如下：

cap = cv2.VideoCapture（0）

3） 人臉關(guān)鍵點(diǎn)檢測(cè)：初始化FaceMesh模塊，讀取攝像頭傳入的BGR彩色視頻圖像，轉(zhuǎn)成RGB彩色圖像，并調(diào)用庫中的函數(shù)進(jìn)行人臉特征點(diǎn)檢測(cè)，命令如下：

imgRGB = cv2. cvtColor（img， cv2. COLOR_BGR2RGB）

#檢測(cè)人臉關(guān)鍵點(diǎn)

results = faceMesh.process（imgRGB）

4） 關(guān)鍵點(diǎn)獲取與繪制。

檢測(cè)完人臉關(guān)鍵點(diǎn)后數(shù)據(jù)存入results中，通過循環(huán)遍歷繪制特征點(diǎn)和邊界框；為了后續(xù)方便得到特征點(diǎn)的坐標(biāo)，同樣通過循環(huán)輸出關(guān)鍵點(diǎn)坐標(biāo)，命令如下：

for faceLms in results.multi_face_landmarks：

mpDraw.draw_landmarks（img， faceLms， mpFaceMesh.FACEMESH_CONTOURS， drawSpec， drawSpec） # 繪制關(guān)鍵點(diǎn)

for id， lm in enumerate（faceLms.landmark）：

ih， iw， ic = img.shape

x， y = int（lm.x * iw）， int（lm.y * ih）

print（id， x， y）

人臉檢測(cè)關(guān)鍵點(diǎn)繪制最終如圖2所示。

利用“FaceMesh”模型可以檢測(cè)人臉中的468個(gè)關(guān)鍵點(diǎn)，包括眼睛、鼻子、嘴巴、顴骨等部位，可根據(jù)需要選擇特定的關(guān)鍵點(diǎn)進(jìn)行使用[6]。

2.2 眼部區(qū)域狀態(tài)檢測(cè)及疲勞識(shí)別

根據(jù)人臉的468個(gè)特征點(diǎn)可獲取人眼區(qū)域的特征點(diǎn)坐標(biāo)信息。由于閉眼動(dòng)作通常由兩只眼睛同時(shí)發(fā)生，本節(jié)僅對(duì)左眼檢測(cè)進(jìn)行說明，實(shí)際項(xiàng)目中對(duì)兩只眼睛均進(jìn)行檢測(cè)。眼部區(qū)域狀態(tài)檢測(cè)及疲勞識(shí)別步驟如下：

1） 標(biāo)定左眼：確定左眼關(guān)鍵點(diǎn)的索引，通過循環(huán)遍歷左眼的位置，以關(guān)鍵點(diǎn)為圓心進(jìn)行標(biāo)記，繪制出眼部區(qū)域，命令如下：

idList = [22， 23， 24， 26， 110， 157， 158， 159， 160，161， 130， 243] # 左眼坐標(biāo)

for id in idList：

cv2.circle（img， tuple（face[id]）， 4， （0，255，255）， cv2.FILLED）

2） 計(jì)算人眼距離及縱橫比：人在閉眼時(shí)，眼睛的上下邊界距離會(huì)發(fā)生變化，而左右邊界距離基本保持不變。由于人臉距離攝像頭的遠(yuǎn)近會(huì)影響邊界距離，人臉越靠近攝像機(jī)，眼眶間的距離就越小[7]，因此不能僅通過距離判斷是否閉眼。系統(tǒng)采用縱橫比進(jìn)行判斷，即眼睛上下距離與左右距離之比。為提高計(jì)算效率與準(zhǔn)確率，選取了6個(gè)眼部特征點(diǎn)，如圖3所示。

眼睛縱橫比公式見式（2） 。

EAR = ||P2 - P6|| + ||P3 - P5||／2||P1 - P4|| （2）

部分代碼如下：

leftUp1 = face[158]

leftDown1 = face[22]

leftUp2 = face[160]

leftDown2 = face[24]

leftLeft = face[130]

leftRight = face[243]

cv2.line（img， leftUp1， leftDown1， （0， 200， 0）， 3）

cv2.line（img， leftUp2， leftDown2， （0， 200， 0）， 3）

cv2.line（img， leftLeft， leftRight， （0， 200， 0）， 3）

lengthVer1 = int（detector.findDistance（leftUp1， left?Down1）[0]）

lengthVer2 = int（detector.findDistance（leftUp2， left?Down2）[0]）

lengthHor = int（detector.findDistance（leftLeft，leftRight）[0]）

ratio = int（（（lengthVer1+ lengthVer2） /（2* length?Hor）） * 100）

3） 眨眼判斷及繪制圖像：當(dāng)眼睛發(fā)生閉合動(dòng)作時(shí)，人眼距離縱橫比會(huì)變小，達(dá)到30%時(shí)瞇眼動(dòng)作已十分明顯。由于系統(tǒng)會(huì)對(duì)每一幀圖像進(jìn)行人眼距離縱橫比計(jì)算，且正常的閉眼動(dòng)作會(huì)持續(xù)多幀時(shí)間，為防止縱橫比曲線波動(dòng)較大，經(jīng)過調(diào)試，系統(tǒng)設(shè)置當(dāng)縱橫比低于30%且持續(xù)時(shí)間超過10幀圖像時(shí)則判定為閉眼疲勞動(dòng)作，從而防止誤檢測(cè)。系統(tǒng)的眼部區(qū)域狀態(tài)檢測(cè)效果如圖4所示。

2.3 嘴部區(qū)域狀態(tài)檢測(cè)及疲勞識(shí)別

根據(jù)人臉檢測(cè)得到的特征點(diǎn)可獲取嘴部區(qū)域的特征點(diǎn)坐標(biāo)信息，無論是說話還是打哈欠均會(huì)引起嘴巴的開合。嘴部的特征點(diǎn)包括上唇內(nèi)外側(cè)、下唇內(nèi)外側(cè)共40個(gè)關(guān)鍵點(diǎn)，為簡化計(jì)算，系統(tǒng)僅選取上下唇內(nèi)側(cè)部分特征點(diǎn)進(jìn)行標(biāo)記[8]，如圖5所示。

嘴部開合度計(jì)算的公式見公式（3） 。

MOUTH = |P2 - P6| + |P3 - P5|／2|P1 - P4| （3）

打哈欠時(shí)嘴巴會(huì)張開至相對(duì)較大的程度。根據(jù)相關(guān)研究和實(shí)踐經(jīng)驗(yàn)，嘴巴開合度閾值通常設(shè)定在0.5或0.6左右。由于打哈欠通常是一個(gè)持續(xù)時(shí)間較長的動(dòng)作，可通過設(shè)置時(shí)長閾值來進(jìn)一步確認(rèn)是否發(fā)生打哈欠。根據(jù)實(shí)踐經(jīng)驗(yàn)，時(shí)長閾值通常設(shè)定在3秒或5秒左右。本系統(tǒng)經(jīng)過調(diào)試，將嘴巴開合度閾值設(shè)為0.6，時(shí)長閾值設(shè)定為4秒。當(dāng)計(jì)算結(jié)果大于0.6且持續(xù)時(shí)間超過4秒時(shí)，系統(tǒng)判定為疲勞駕駛并發(fā)出報(bào)警提醒，檢測(cè)效果如圖6所示。

3 實(shí)驗(yàn)結(jié)果與分析

醫(yī)學(xué)數(shù)據(jù)統(tǒng)計(jì)表明，在正常情況下人每分鐘眨眼10～15 次，每次眨眼和閉合的持續(xù)時(shí)間為0.1～0.2 秒；說話時(shí)每0.3～0.5秒發(fā)出一個(gè)音節(jié)，打哈欠時(shí)嘴巴張開持續(xù)時(shí)間為4～5秒[9]。系統(tǒng)采用加權(quán)平均方法，結(jié)合PERCLOS參數(shù)和嘴部動(dòng)作頻率參數(shù)共同檢測(cè)疲勞狀態(tài)，以最大限度地利用數(shù)據(jù)之間的冗余性和互補(bǔ)性。系統(tǒng)算法通過在不同情況下模擬駕駛疲勞狀態(tài)進(jìn)行測(cè)試，測(cè)試數(shù)據(jù)如表1所示。算法主要針對(duì)不同光照條件和不同駕駛員姿態(tài)進(jìn)行測(cè)試，測(cè)試數(shù)據(jù)表明在光線充足的情況下準(zhǔn)確率較高，而攝像頭拍攝人臉的角度也會(huì)影響檢測(cè)效果。同時(shí)，算法存在的誤檢和漏檢現(xiàn)象可能與疲勞狀態(tài)的持續(xù)時(shí)間有關(guān)。

項(xiàng)目測(cè)試通過采集封閉道路行駛的司機(jī)駕駛畫面，通過Python編程，采用OpenCV庫進(jìn)行仿真測(cè)試，模擬眨眼、打哈欠、說話等動(dòng)作，檢測(cè)效果如圖7所示。

4 結(jié)論

本項(xiàng)目提出了一種基于眼口信息的駕駛員疲勞實(shí)時(shí)檢測(cè)算法。首先，通過識(shí)別面部區(qū)域?qū)ρ劬妥彀瓦M(jìn)行定位和提取，繼而計(jì)算眼睛的PERCLOS參數(shù)和嘴巴運(yùn)動(dòng)的頻率，利用數(shù)據(jù)融合原理判斷駕駛員是否處于疲勞狀態(tài)。與傳統(tǒng)的單眼或單口檢測(cè)方法相比，該算法檢測(cè)準(zhǔn)確率更高，能夠?qū)崿F(xiàn)疲勞狀態(tài)下的駕駛檢測(cè)報(bào)警功能。然而，本項(xiàng)目的檢測(cè)測(cè)試類別尚不夠全面，需要考慮各種極端情況，未來將增加不同場(chǎng)景下的疲勞駕駛檢測(cè)研究。此外，算法在移動(dòng)端部署測(cè)試時(shí)，還須考慮功耗和檢測(cè)效果等問題。

參考文獻(xiàn)：

[1] 孫巖，董恒，梁西博，等.一種信息融合的駕駛員疲勞檢測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].電子設(shè)計(jì)工程，2024，32（11）：71-75，81.

[2] CASEY G J，MILES-JOHNSON T，STEVENS G J.Heavy vehicledriver fatigue：Observing work and rest behaviours of truck driv?ers in Australia[J].Transportation Research Part F：Traffic Psy?chology and Behaviour，2024，104：136-153.

[3] 吳天昊，張震，王家曜.一種基于注意力原型學(xué)習(xí)的疲勞駕駛檢測(cè)方法[J/OL].控制工程，1-8. [2024-06-22].DOI：10.14107/j.cnki.kzgc.20240205.

[4] LI X G，LI X Y，SHEN Z Q，et al.Correction：Driver fatigue detec?tion based on improved YOLOv7[J].Journal of Real-Time Im?age Processing，2024，21（4）：104.

[5] LI R L，HU M H，GAO R B，et al.TFormer：a time–frequencyTransformer with batch normalization for driver fatigue recogni?tion[J].Advanced Engineering Informatics，2024，62：102575.

[6] 羅通強(qiáng)，李仰光，劉堅(jiān)堅(jiān)，等.駕駛員疲勞監(jiān)測(cè)技術(shù)研究現(xiàn)狀及發(fā)展趨勢(shì)[J].中國汽車，2024，34（5）：25-31.

[7] SAMEREI S A，AGHABAYK K.Interpretable machine learningfor evaluating risk factors of freeway crash severity[J].Interna?tional Journal of Injury Control and Safety Promotion，2024，31（3）：534-550.

[8] THEIVADAS J R， PONNAN S. VigilEye： Machine learningpowereddriver fatigue recognition for safer roads[J].Measure?ment：Sensors，2024，33：101186.

[9] XU W Y，HE J B，JIANG B.Not just more，but more diverse：greenlandscapes along urban roads may significantly reduce drivers'psychophysiological fatigue[J].Transportation Research Part F：Traffic Psychology and Behaviour，2024，103：273-289.

【通聯(lián)編輯：謝媛媛】

基金項(xiàng)目：浙江省教育廳一般科研項(xiàng)目（項(xiàng)目編號(hào)：Y202353165）