基于面部多特征融合的疲勞駕駛檢測綜述

王 暢，李雷孝，楊艷艷

（1.內(nèi)蒙古工業(yè)大學 數(shù)據(jù)科學與應用學院，呼和浩特 010080；2.內(nèi)蒙古自治區(qū)科學技術(shù)廳 內(nèi)蒙古自治區(qū)基于大數(shù)據(jù)的軟件服務工程技術(shù)研究中心，呼和浩特 010080）

0 概述

隨著我國經(jīng)濟的高速發(fā)展，汽車已成為公民最常用的交通運輸工具，近年來，公路上的實際車流量一直在急速提升。據(jù)公安部統(tǒng)計，截止到2022 年3 月底我國機動車保有量已達4.02 億輛，其中汽車保有量為3.07 億輛，占機動車總量的76.37%［1］。汽車在給生活提供便利的同時也帶來了一系列問題，比如交通事故的頻發(fā)。有報告統(tǒng)計，在導致交通事故的諸多原因中，疲勞駕駛是肇事致死數(shù)量最多的因素之一，其每年造成的事故死亡人數(shù)占機動車事故死亡人數(shù)的10.9%以上［2］。因此，疲勞駕駛一直是國家交管部門及駕駛員非常重視的問題。若能在駕駛員疲勞駕駛跡象發(fā)生時及時提醒駕駛員進行休息，則能有效減少因駕駛員疲勞駕駛而導致的交通事故發(fā)生。

基于單一特征的檢測方法存在一些不足，如現(xiàn)實中駕駛員面部可能出現(xiàn)部分遮擋，此時基于單一特征的判別準確率不夠穩(wěn)定。因此，大量學者開始研究多特征融合的疲勞駕駛檢測方法。基于面部多特征的疲勞駕駛檢測方法主要分為4 個步驟，即人臉檢測、特征提取、單特征狀態(tài)判別及多特征融合判別。本文分析不同的面部特征提取方法，探究在不同方法下對單一特征狀態(tài)和單一特征疲勞的判別，歸納不同特征融合方式下進行疲勞判別的差異性，分析討論當前檢測方法中存在的不足并對未來的研究方向進行展望。

1 疲勞駕駛

1.1 疲勞駕駛的概念

疲勞駕駛一般是指駕駛員在長時間精神高度集中的連續(xù)行車后，因腦力和體力消耗而產(chǎn)生的一種生理、心理機能衰退現(xiàn)象。疲勞駕駛會造成肌肉上的松弛和精神上的疲倦，導致手腳反應能力和預判能力下降，會影響到駕駛員的注意力、感覺、知覺、思維、判斷、意志、決定和運動等諸多方面，進而使駕駛員產(chǎn)生反應遲鈍以及對外界環(huán)境的感知、判斷能力和控制車輛的能力下降的現(xiàn)象。在早期疲勞駕駛的定義中，文獻［3］認為疲勞是一種從清醒到睡眠狀態(tài)的過渡，疲勞狀態(tài)下駕車更容易引發(fā)交通事故，給自身安全帶來巨大隱患。

1.2 面部疲勞特征

駕駛員面部的部分特征信息及頭部姿態(tài)變化信號可以很好地表征疲勞狀態(tài)，在研究中，主要通過眼部、嘴部和頭部姿態(tài)進行分析。輕微疲勞的特征體現(xiàn)為眨眼次數(shù)增多、間歇式打哈欠等；中度疲勞的特征體現(xiàn)為頻繁眨眼且經(jīng)常性揉眼睛、經(jīng)常性點頭、頭部有輕微昏沉等；重度疲勞的特征體現(xiàn)為眼睛干澀且閉合時間較長、頻繁打哈欠、反應遲鈍或無法集中注意力等。疲勞駕駛判別所需的具體特征行為如圖1 所示。

圖1 疲勞駕駛判別所需的面部特征Fig.1 Facial features required for fatigue driving discrimination

1.3 疲勞駕駛檢測流程

基于駕駛員面部特征的疲勞駕駛檢測是通過車內(nèi)攝像頭記錄駕駛員駕駛時的面部狀態(tài)，隨后使用疲勞駕駛檢測系統(tǒng)對采集到的面部視頻數(shù)據(jù)進行分析并做出結(jié)論的過程。疲勞駕駛檢測在實際情況下具有方便、直觀和非侵入性等優(yōu)點，因此得到了廣泛的研究與應用。基于面部多特征的疲勞駕駛檢測流程如圖2 所示。

圖2 基于面部多特征的疲勞駕駛檢測流程Fig.2 Fatigue driving detection procedure based on facial multiple features

首先，通過車內(nèi)攝像頭獲取駕駛員駕駛時的視頻圖像；然后，使用算法實現(xiàn)對視頻的人臉檢測和跟蹤；隨后，對面部不同區(qū)域進行特征提取，并判別特征狀態(tài)；最后，根據(jù)特征狀態(tài)判別是否疲勞，對疲勞情況發(fā)出預警，提醒駕駛員及時休息，注意駕駛安全。

2 特征提取

由于駕駛員疲勞狀態(tài)的判別主要通過其面部特征區(qū)域信息分析，因此在檢測到人臉圖像的基礎上，首先需要利用不同方法提取相應區(qū)域的特征。本節(jié)分別對不同區(qū)域的特征提取方法進行深入分析，整理不同提取方法下提取到的信息，進而分析不同方法的優(yōu)缺點。由于疲勞行為主要分布在眼部、嘴部和頭部，因此本文重點關注這3 個方面。

2.1 眼部區(qū)域特征提取

駕駛員在疲勞狀態(tài)下眼部會出現(xiàn)眨眼和長時間閉眼的現(xiàn)象，這些現(xiàn)象明顯、直觀且便于提取和判別，因此，大量學者研究眼部特征在疲勞駕駛檢測中的應用。通過對大量文獻的調(diào)研發(fā)現(xiàn)，當前研究中眼部疲勞狀態(tài)的判別主要通過2 種不同的方法實現(xiàn)：一是獲取眼部關鍵點信息，根據(jù)數(shù)學計算判別眼部狀態(tài)；二是獲取眼部感興趣區(qū)域（Region of Interest，ROI）圖像，通過算法分類判別眼部狀態(tài)。表1 整理了以面部特征點為核心的眼部特征提取方法。

表1 基于面部特征點的眼部特征提取方法Table 1 Eye features extraction methods based on facial feature points

從表1 可以看出，大多數(shù)方法使用Dlib 和多種算法檢測人臉特征點，提取眼部關鍵點直接參與眼部狀態(tài)判別。此外，文獻［24-26］中還介紹了另外的檢測方法。文獻［24］介紹的方法中使用的眼部特征信息由兩部分構(gòu)成，分別是眼部關鍵點信息和由眼部關鍵點經(jīng)橢圓擬合后的虹膜圖像。文獻［26］也介紹了一種眼部特征信息由兩部分構(gòu)成的方法，分別是通過眼部關鍵點曲線擬合的眼部曲線和眼部曲線對應的外接圓。文獻［25］介紹的方法中眼部特征信息是眼部關鍵點經(jīng)橢圓擬合后提取的虹膜圖像，通過虹膜圖像判別駕駛員眼部狀態(tài)。

在提取眼部ROI 圖像時通常需要在預先已經(jīng)檢測到的人臉區(qū)域上找到眼部位置，再提取眼部ROI。在獲取到眼部ROI圖像后，通常還會進行一些后續(xù)處理，突出眼部特征，便于后續(xù)對眼部狀態(tài)進行判別。判別方法都是通過算法判別圖像上的眼部狀態(tài)。

表2 總結(jié)了近年來提取眼部ROI 的方法，并整理了對提取出的眼部ROI 圖像進行處理的方法。

表2 眼部ROI 信息提取和處理方法Table 2 Methods of eye ROI information extraction and processing

通過表2 可知，對眼部位置的定位可以通過面部特征點和多種算法獲取，進而提取眼部ROI 圖像和眼部窗口信息。表2 中主要介紹獲取眼部ROI 圖像的方法，獲取到的眼部ROI 圖像要進行后續(xù)處理才能判別眼睛狀態(tài)。文獻［31-32］介紹了提取眼部窗口信息的方法，通過信息計算眼睛張開度從而判別眼睛狀態(tài)。值得關注的是，文獻［28］方法提取眼部橢圓擬合圖像，文獻［29-30］方法則通過眼部區(qū)域像素點數(shù)目判別眼睛狀態(tài)，文獻［29］方法還提取了眼部窗口信息，綜合2 種信息判別眼部狀態(tài)。

通過上述總結(jié)發(fā)現(xiàn)，大部分研究成果都是對駕駛員正臉圖像上的特征進行提取。文獻［27］介紹了基于駕駛員側(cè)臉圖像的疲勞判別方法，此方法提取了駕駛員側(cè)臉輪廓線，然后提取側(cè)臉各區(qū)域特征以判別疲勞。但是，該方法停留在提取特征信息這一步，提取的特征信息在疲勞判別時的準確性和實時性等未作實驗驗證，實際可行性仍需進一步驗證。

綜上所述，當前提取眼部區(qū)域特征的技術(shù)主要分為基于面部特征點和人臉對齊算法這兩種。本節(jié)根據(jù)2 種技術(shù)整理分析了近些年眼部特征提取方法，發(fā)現(xiàn)提取到的特征也分為眼部關鍵點信息和眼部ROI 圖像2 類。表3 對2 種眼部特征在不同方法下的優(yōu)點、缺點和適用場景進行了總結(jié)。

綜上所述，眼部關鍵點信息的優(yōu)點是便于數(shù)學計算，通過數(shù)值直觀展示眼部特征信息，在判別狀態(tài)的方法上簡明扼要；缺點主要是遮擋、光照、眼睛大小等因素對數(shù)值影響較大。缺點產(chǎn)生的原因是特征信息反饋為數(shù)值，數(shù)字波動非常敏感，任何輕微的變化都會直接反饋在數(shù)字上。此外，不同人眼睛的差異對數(shù)值影響較大，相同數(shù)值對不同人可能代表不同含義。這些缺點導致了其更適用于正面角度和小角度下的正常光照。但也有學者研究了適用于夜間環(huán)境提取眼部關鍵點信息的方法，雖然準確率低于正常光照時的情況，但是結(jié)果已得到了提升。至于眼鏡遮擋產(chǎn)生的影響，當前研究成果中主要通過調(diào)節(jié)閾值標準實現(xiàn)對眼鏡佩戴者的眼部狀態(tài)判別。

眼部ROI 圖像中包含的眼部窗口信息等可通過數(shù)學計算判別狀態(tài)，其優(yōu)點是提取方法簡單，計算結(jié)果簡明扼要；缺點是提取信息單一，眼睛大小對計算結(jié)果影響較大，判別準確率較低。眼部ROI 圖像通過算法分類判別的優(yōu)點是遮擋、光照、眼睛大小等因素對判別結(jié)果影響較小，算法準確率高；缺點是提取到圖像后還需后續(xù)處理，流程更繁瑣，并且算法分類的方法對模型預訓練要求較高。在適用場景方面，眼部ROI 圖像在多角度視頻、正常光照、夜間環(huán)境、眼鏡遮擋等場景中都適用，但是在夜間環(huán)境和遮擋情況下準確率低于正常情況。

任何方法都無法在墨鏡遮擋下提取眼部特征，因此，上述方法適用場景的前提是無墨鏡遮擋。

2.2 嘴部區(qū)域特征提取

除眼部區(qū)域特征外，多種疲勞駕駛檢測方法中也會使用嘴部特征作為輔助信息來判別疲勞。因此，嘴部區(qū)域的特征信息也非常重要。本節(jié)將總結(jié)整理疲勞駕駛檢測系統(tǒng)中對嘴部區(qū)域特征的提取方法，分析不同方法下提取到的不同特征信息及其優(yōu)缺點。

與眼部相似，嘴部特征信息也劃分為嘴部關鍵點信息和嘴部ROI 圖像。表4 整理了以面部特征點為核心的嘴部特征提取方法。

表4 基于面部特征點的嘴部特征提取方法Table 4 Mouth features extraction method based on facial feature points

通過表4 可以發(fā)現(xiàn)，和眼部關鍵點信息提取相似，在嘴部關鍵點信息提取的過程中，也主要使用Dlib 獲取人臉全部特征點后定位提取嘴部關鍵點信息。除Dlib 外，還可以使用多種算法模型檢測人臉特征點。

在檢測到人臉特征點之后，嘴部特征的獲取除文獻［26］外都是直接將嘴部關鍵點信息作為特征信息通過計算判別嘴部狀態(tài)。文獻［26］介紹的方法中，嘴部關鍵點信息與其眼部信息處理方法相同，也是通過擬合嘴部曲線及曲線對應的外接圓作為嘴部特征用于后續(xù)判別使用，在判別時的方法也相同。

提取嘴部ROI 圖像的方法和表2 中眼部ROI 圖像提取方法相似，通常需要在預先已經(jīng)檢測到的人臉區(qū)域上找到嘴部位置，從而將嘴部ROI 圖像劃分出來。表5 總結(jié)了近年來提取嘴部窗口信息的各種方法。通過表5 可以發(fā)現(xiàn)，當前學者們通常使用算法模型在人臉圖像上獲取所需的嘴部位置并提取嘴部ROI 圖像或嘴部窗口信息，其方法與表2 中獲取眼部ROI 圖像和眼部窗口信息的方法相同。而且，大部分方法直接將提取到的嘴部ROI 圖像或嘴部窗口信息作為嘴部特征，少量方法使用其他信息作為嘴部特征。文獻［27］介紹了獲取駕駛員側(cè)臉嘴部區(qū)域輪廓線并作為特征的方法，其他文獻中都是獲取駕駛員正臉圖像上的嘴部特征。文獻［30］介紹了通過嘴部區(qū)域像素點數(shù)目判別嘴部狀態(tài)的方法。

表5 嘴部ROI 信息提取和處理方法Table 5 Methods of mouth ROI information extraction and processing

本節(jié)整理分析了近些年對嘴部特征提取的研究成果，發(fā)現(xiàn)當前提取嘴部特征的技術(shù)、提取的特征信息及其優(yōu)缺點都和眼部相似。表6 對2 種嘴部特征在不同方法下的優(yōu)點、缺點和適用場景進行了總結(jié)。

表6 2 種嘴部特征在不同方法下的優(yōu)點、缺點及適用場景Table 6 Advantages，disadvantages and application scenarios of the two mouth features in different methods

總體來說，嘴部特征的優(yōu)缺點與適用場景和眼部相似。因此，嘴部關鍵點也更適用于正面和小角度的正常光照，嘴部ROI 圖像也更適用于多角度視頻、正常光照等。兩者在夜間環(huán)境下準確率都低于正常情況。除此之外，嘴部特征要在無遮擋情況下才能提取，因此，所有適用場景的前提都是無遮擋。

每種嘴部特征的提取和判別方法都會因說話等張嘴行為而影響嘴部狀態(tài)判別的準確率。因此，在嘴部狀態(tài)判別中，將張嘴準確判別為打哈欠或說話等行為，是嘴部狀態(tài)判別的重難點。

2.3 頭部姿態(tài)特征提取

除眼部和嘴部區(qū)域的特征外，還會使用頭部姿態(tài)輔助判別疲勞。因此，頭部姿態(tài)信息也很重要。本節(jié)將總結(jié)整理頭部姿態(tài)提取方法，分析不同方法下提取到的不同信息及其優(yōu)缺點。

文獻［48］介紹了人頭部姿態(tài)的變化情況，將其分為Pitch、Yaw 和Roll 3 個角度。頭部姿態(tài)的變動方向如圖3 所示。

圖3 頭部姿態(tài)的變動方向Fig.3 Change direction of head posture

在圖3 中，Pitch、Yaw、Roll 分別對應三維空間中的x、y、z軸。駕駛員的點頭行為可以理解為頭部繞x和z軸運動，對應Pitch 和Roll 軸的變化；頭部左右晃動的行為是繞y軸的運動，對應Yaw 軸變化。在疲勞駕駛檢測系統(tǒng)中通過計算頭部姿態(tài)在各角度上的變化，結(jié)合其他特征來判別疲勞。表7 中整理了頭部姿態(tài)提取方法和提取出的各種信息。

表7 頭部姿態(tài)提取方法和提取的信息Table 7 Head pose extraction methods and extracted information

通過表7 可以發(fā)現(xiàn)，學者們通常使用頭部在三維各角度的姿態(tài)變化。此外，文獻［27］介紹了獲取側(cè)臉下頜區(qū)域輪廓線以判別頭部姿態(tài)的方法，文獻［20，49］介紹了使用面部特征點計算相關數(shù)據(jù)以對應各角度變化的方法。

駕駛員頭部在三維各角度的特征提取方法是獲取到人臉特征點后，通過算法或者計算求解得出頭部姿態(tài)的變化。雖然目前在頭部姿態(tài)上的提取方法不多，但是綜合來看，大多以坐標系轉(zhuǎn)換為核心，并且在選取多角度變化上，大多選取Pitch 軸的變化來判別疲勞，這是因為Pitch 軸反映點頭行為，疲勞判別準確性最高。其中，文獻［8，14-15］介紹的方法中還選取了Roll 軸輔助Pitch 軸判別，文獻［16］介紹的方法則選取Yaw 軸輔助Pitch 軸判別，文獻［41］介紹的方法選取3 個軸的變化來判別。還有方法不使用Pitch 軸，文獻［10］選取單Yaw 軸判別，文獻［23］選取Roll、Yaw 這2 個軸上的變化判別疲勞。

本節(jié)整理分析了近些年對頭部特征提取的研究成果，表8 總結(jié)了不同特征信息在不同方法下的優(yōu)點、缺點和適用場景。

表8 不同頭部特征信息在不同方法下的優(yōu)點、缺點及適用場景Table 8 Advantages，disadvantages and application scenarios of different head feature information in different methods

綜上所述，因為頭部特征信息都是數(shù)值信息，所以都具有清晰直觀的優(yōu)點和數(shù)字變化敏感、閾值判別易失誤的缺點，而且都是在獲取到人臉關鍵點后提取特征，適用場景都相同。

除此之外，提取的特征信息是頭部在3 個角度上的變化情況時，特征信息直接體現(xiàn)頭部狀態(tài)，有利于提高判別準確率；缺點是提取方法復雜、繁瑣。而特征信息是人臉關鍵點計算所得的數(shù)值信息時，因為數(shù)據(jù)為直接計算所得，所以提取更簡潔；缺點是它間接反映頭部姿態(tài)，判別準確率不夠穩(wěn)定，還需進一步提升。

3 特征狀態(tài)判別

從不同特征區(qū)域提取出相應的關鍵信息后，需要對提取的信息做出判斷以得到結(jié)論，然后根據(jù)不同部位的特征結(jié)論分析駕駛員的疲勞狀態(tài)。本節(jié)分別整理總結(jié)不同特征區(qū)域?qū)?shù)據(jù)的判別方法。

3.1 眼部特征狀態(tài)判別

眼部特征區(qū)域要根據(jù)提取到的眼部特征信息判別眼睛的開閉狀態(tài)。在判別時由于提取的特征信息不同，判別方法也有所差異。根據(jù)特征信息類別可將判別方法分為2 種：一是根據(jù)關鍵點信息或眼部窗口信息等，采用數(shù)學計算的方法進行判別；二是根據(jù)眼部ROI 圖像等，采用不同算法進行分類判別。

3.1.1 數(shù)學計算判別

關于關鍵點信息和眼部窗口信息，通過公式計算得出相關數(shù)值，根據(jù)預先設置的閾值判斷眼睛狀態(tài)。提取出的6 個人眼關鍵點信息如圖4 所示。

圖4 眼部關鍵點信息Fig.4 Eye key point information

在圖4 中，Pi(i=1,2,…,6)為眼部6 個關鍵點的坐標信息。根據(jù)坐標信息計算得到眼部縱橫比（Eye Aspect Ratio，EAR），其計算公式如下：

為了確定眼睛在不同狀態(tài)下EAR 值的變化情況，根據(jù)駕駛員駕駛視頻進行疲勞判別實驗，實時記錄一段時間內(nèi)駕駛員眼部視頻流數(shù)據(jù)的EAR 值變化情況，結(jié)果如圖5、圖6 所示，圖5 為駕駛員正常狀態(tài)下EAR 值的變化情況，圖6 為駕駛員疲勞狀態(tài)下EAR 值的變化情況。

圖5 正常狀態(tài)下EAR 值的變化情況Fig.5 Changes of EAR values under normal conditions

圖6 疲勞狀態(tài)下EAR 值的變化情況Fig.6 Changes of EAR values under fatigue conditions

從中可以看出，駕駛員眼睛閉合與張開狀態(tài)下EAR 值有顯著差異，在閉眼時EAR 值會顯著下降。在圖5 的正常狀態(tài)下，閉眼次數(shù)很少，大部分時候EAR 值在0.28～0.32 之間，只記錄到1 次閉眼，其EAR 值顯著下降至0.18 以下；在圖6 的疲勞狀態(tài)下，發(fā)生了長時間持續(xù)閉眼和多次眨眼，圖中EAR 值長時間連續(xù)低于0.15，還記錄到了3 次EAR 值下降到0.15 之下的變化。因此得出結(jié)論，EAR 值在判別眼睛開閉狀態(tài)上具有很高的參考意義，但是在當前研究中，閾值標準在不同方法中各有不同。

對于眼部窗口信息，需要計算窗口縱橫比來判別眼部狀態(tài)。眼部窗口縱橫比計算公式如下：

其中：Ymax-Ymin為眼部窗口信息中的高度；Xmax-Xmin為長度；Z為高度與長度的比值。

此外，還有研究方法［34］通過計算眼部縱向差值，根據(jù)閾值標準判別眼睛的開閉狀態(tài)。

3.1.2 算法分類判別

除數(shù)學計算的方法外，眼部ROI 圖像等根據(jù)不同算法分類判別眼睛開閉狀態(tài)。表9 總結(jié)了根據(jù)眼部ROI 圖像判別眼部狀態(tài)的方法。

表9 眼部ROI 圖像分類判別方法Table 9 Classification and discrimination methods of eye ROI images

通過表9 的總結(jié)可知，當前研究中主要通過不同算法實現(xiàn)對輸入眼部ROI 圖像的分類判別，最終得到眼部開閉狀態(tài)。此外，文獻［28］介紹了通過橢圓擬合方法對眼球圖像擬合，再根據(jù)由預先實驗總結(jié)的標準判斷擬合圖像狀態(tài)的方法。文獻［4］介紹的方法也不同于大部分研究，其輸入信息并非常用的眼部ROI 圖像，而是眼部特征向量。

3.2 嘴部特征狀態(tài)判別

嘴部特征狀態(tài)判別和眼部相似。嘴部區(qū)域提取到的特征信息為嘴部關鍵點信息和嘴部ROI 窗口信息，嘴部區(qū)域?qū)烧叩呐袆e與眼部判別也相似，即針對關鍵點信息或ROI 窗口信息，根據(jù)數(shù)學計算方法判別嘴部閉合程度。

針對嘴部關鍵點信息和嘴部ROI 窗口信息，都是利用其坐標數(shù)據(jù)根據(jù)公式計算得出數(shù)值，然后依據(jù)設置的不同閾值來判斷嘴部閉合程度。提取出的嘴部關鍵點信息如圖7 所示。

圖7 嘴部關鍵點信息Fig.7 Mouth key point information

在圖7 中，Mi(i=1,2,…,6)為嘴部6 個關鍵點的坐標信息。根據(jù)圖中關鍵點坐標計算得出嘴部縱橫比（Mouth Aspect Ratio，MAR），其計算公式如下：

為了確定在不同狀態(tài)下嘴部MAR 值的變化情況，根據(jù)駕駛員駕駛視頻進行嘴部疲勞判別實驗，實時記錄一段時間內(nèi)駕駛員嘴部視頻流數(shù)據(jù)的MAR值變化情況，結(jié)果如圖8、圖9 所示。圖8 為駕駛員正常狀態(tài)下MAR 值的變化情況，圖9 為駕駛員疲勞狀態(tài)下MAR 值的變化情況。

圖8 正常狀態(tài)下MAR 值的變化情況Fig.8 Changes of MAR values under normal conditions

圖9 疲勞狀態(tài)下MAR 值的變化情況Fig.9 Changes of MAR values under fatigue conditions

從中可以看出，駕駛員在嘴部閉合和張開狀態(tài)下MAR 值具有顯著差異，且不同狀態(tài)下嘴巴的張開程度也不同，如在說話、吃東西和打哈欠狀態(tài)下嘴巴張開程度都不一樣，在MAR 值上也體現(xiàn)出了差異。圖8 中正常狀態(tài)下MAR 值雖然因說話發(fā)生了提高，但其最高值未超過0.55；圖9 中有說話和打哈欠2 種情況造成的MAR 值提升，其中打哈欠時MAR 值超過了0.8，說話時MAR 值最高不超過0.6。綜合2 張圖可以明顯發(fā)現(xiàn)，在說話和打哈欠的狀態(tài)下MAR 值均會顯著提升，但是說話時MAR 值的提升程度不足打哈欠的一半，因此，可以根據(jù)MAR 值判斷嘴部張開程度，從而判別疲勞狀態(tài)。但是在當前研究中，閾值標準在不同方法中也不同。

與眼部窗口信息相同，對于駕駛員的嘴部窗口信息，同樣計算窗口的縱橫比，通過與閾值的對比來判定嘴部狀態(tài)。嘴部窗口縱橫比計算公式如下：

其中：Ymax-Ymin為嘴部窗口信息中的高度；Xmax-Xmin為長度；Z為高度與長度的比值。

3.3 頭部姿態(tài)狀態(tài)判別

當駕駛員處于疲勞狀態(tài)時，頭部通常表現(xiàn)為頻繁點頭和姿態(tài)異常。通過表7 的總結(jié)可知，多數(shù)方法都會觀察頭部姿態(tài)在Pitch 軸上的變化，通過點頭情況判別疲勞狀態(tài)。但是，文獻［48］發(fā)現(xiàn)正常情況下頭部姿態(tài)的變化范圍有一個固定值，研究后給定了一般頭部在3 個角度上的最大變化范圍。因此，很多學者通過多角度變化判斷頭部姿態(tài)的異常情況，從而判斷駕駛員的疲勞狀態(tài)。

在頭部姿態(tài)的判別中，不同方法中判別疲勞狀態(tài)的閾值標準設定也有所不同。如文獻［12］方法判別點頭的Pitch 軸變化標準為30°，而文獻［14］方法中Pitch 軸的變化標準為25°。因此，在參考他人研究成果的同時，還要通過預先實驗確定判別標準，保證疲勞判別的準確率。

4 疲勞判別

在疲勞狀態(tài)下，眼部、嘴部和頭部都可能會出現(xiàn)一些癥狀。因此，疲勞狀態(tài)的判別就是通過眼部、嘴部和頭部姿態(tài)信息進行判別。部分研究通過單特征即可分析判別疲勞，但是大多數(shù)還是根據(jù)多特征信息綜合判別疲勞。本節(jié)首先總結(jié)單特征疲勞判別方法，然后整理分析多特征融合的疲勞判別方法。

4.1 單特征疲勞判別

單特征判別疲勞根據(jù)提取到的駕駛員特征分為單眼部特征疲勞判別、單嘴部特征疲勞判別和單頭部姿態(tài)疲勞判別。

4.1.1 眼部特征疲勞判別

通過駕駛員眼部特征判別疲勞采取的方法是對駕駛員的眨眼頻率和眼部閉合時間進行計算。利用文獻［51］經(jīng)過大量實驗和驗證提出的測量疲勞的PERCLOS 參數(shù)來判別駕駛員疲勞程度，是當前根據(jù)眼部特征判別疲勞最可靠、最有效、最常用的方法。PERCLOS 指單位時間內(nèi)閉眼時間占總時間的百分比，計算方法如下：

在PERCLOS 方法中，有3 種較為常用的標準，分別為P70、P80、EM。EM、P70、P80 分別指當眼睛閉合程度超過50%、70%、80%時即看作眼睛閉合。其中，P80 最為常用，在多篇通過眼部特征判別疲勞的文獻中都使用了P80 標準作為指標。

眨眼頻率也可作為疲勞判別的指標，其計算公式如下：

其中：NTB是單位時間內(nèi)的眨眼次數(shù)；NT是單位時間內(nèi)的總幀數(shù)；fB是單位時間內(nèi)的眨眼頻率。

最長持續(xù)閉眼時長也經(jīng)常作為一個判別指標，其通過記錄連續(xù)閉眼幀數(shù)獲取。

根據(jù)調(diào)研發(fā)現(xiàn)，不同方法中判定標準不盡相同，但是均采用了PERCLOS、眨眼頻率、最長持續(xù)閉眼時長等指標中的一個或多個來判別疲勞狀態(tài)。而且，大部分方法通過眼部特征結(jié)合其他特征來綜合判別疲勞，僅少數(shù)方法是通過單眼部特征進行判別，包括文獻［28-29，31，34，52-56］中的方法。

4.1.2 嘴部特征疲勞判別

嘴部特征判別疲勞是通過對駕駛員在單位時間內(nèi)打哈欠次數(shù)、頻率等數(shù)據(jù)的計算來判別疲勞。打哈欠頻率的計算公式如下：

其中：NTY是單位時間內(nèi)打哈欠的次數(shù)；NT是單位時間內(nèi)的總幀數(shù)；fY是單位時間內(nèi)打哈欠的頻率。

單位時間內(nèi)打哈欠的幀數(shù)占總幀數(shù)的百分比可用式（8）表示：

最長持續(xù)打哈欠時長有時也會作為嘴部的疲勞判別指標，通過記錄連續(xù)張嘴圖像幀數(shù)獲取。

通過調(diào)研大量文獻發(fā)現(xiàn)，嘴部特征通常是輔助眼部特征來判別駕駛員疲勞。嘴部特征雖然不是主要成分，但是加入后準確率得到了提升。在2020年后發(fā)表的研究中，很多都綜合了眼部與嘴部的特征來判別疲勞，由此可見嘴部特征在疲勞判別中的重要性。

4.1.3 頭部姿態(tài)疲勞判別

駕駛員疲勞時通常會伴隨頻繁點頭和頭部傾斜、晃動等現(xiàn)象。因此，頭部姿態(tài)疲勞判別時可以根據(jù)單位時間內(nèi)點頭次數(shù)、點頭頻率、姿態(tài)異常頻率等指標進行判斷。點頭頻率的計算公式如下：

其中：NTN是單位時間內(nèi)點頭的次數(shù)；NT是單位時間內(nèi)的總幀數(shù)；fN是單位時間內(nèi)點頭的頻率。

姿態(tài)異常頻率根據(jù)式（10）計算所得：

其中：NTP是單位時間內(nèi)姿態(tài)異常的次數(shù)；fP是單位時間內(nèi)姿態(tài)異常的頻率。

頭部姿態(tài)一般也僅作為輔助標準，結(jié)合其他區(qū)域特征來共同判別駕駛員疲勞狀態(tài)。

4.2 多特征融合疲勞判別

由于多特征融合的疲勞判別方法比單特征判別方法考慮的因素更多、更全面，因此近年來更多的疲勞駕駛檢測方法是基于多特征融合來判別的。本節(jié)對不同特征的融合判別進行深入分析，研究各種方法的內(nèi)在聯(lián)系與差異。

4.2.1 眼部與嘴部特征融合

表10 總結(jié)了一些眼部與嘴部特征融合的疲勞判別方法，在不同判別方法下使用的判別疲勞特征信息有所差異。

表10 眼部與嘴部特征融合的疲勞判別方法Table 10 Fatigue discrimination method based on fusion of eye and mouth features

在融合眼部特征與嘴部特征判別疲勞的方法研究中，都是根據(jù)眼部和嘴部特征判別疲勞的多種參數(shù)，綜合判別駕駛員疲勞狀態(tài)，主要利用眼部的PERCLOS 參數(shù)、眨眼頻率、眨眼次數(shù)和嘴部的打哈欠頻率、打哈欠次數(shù)。其中，大多數(shù)研究還停留在綜合考慮階段，只有少數(shù)文獻介紹了將多特征融合落實到具體數(shù)學公式上的疲勞判別方法，這種落實在具體數(shù)學公式上的疲勞判別方法更具直觀性，將來更具研究價值。

4.2.2 眼部與頭部特征融合

眼部特征與頭部姿態(tài)融合的疲勞判別研究比較少見，當前僅文獻［23］使用眼部特征結(jié)合頭部姿態(tài)綜合判別駕駛員疲勞狀態(tài)，它根據(jù)眼部的PERCLOS參數(shù)、眨眼頻率融合頭部的點頭頻率和姿態(tài)異常頻率，綜合判斷駕駛員疲勞狀態(tài)。

4.2.3 眼部、嘴部和頭部特征融合

眼部、嘴部和頭部3 種特征信息融合的疲勞判別方法在近年來有了少量的研究成果，其與眼部、嘴部特征融合相似，在眼部、嘴部融合的基礎上結(jié)合頭部特征判別疲勞。

表11 總結(jié)了當前眼部、嘴部、頭部3 種特征融合的疲勞判別方法。

表11 眼部、嘴部和頭部特征融合的疲勞判別方法Table 11 Fatigue discrimination method based on fusion of eye，mouth，and head features

可以發(fā)現(xiàn)，3 個特征融合和2 個特征融合相似，主要都是綜合考慮多種參數(shù)來判別駕駛員疲勞狀態(tài)。只有文獻［16，26］方法通過數(shù)學公式加權(quán)計算多特征參數(shù)的綜合疲勞指數(shù)，這種體現(xiàn)在具體數(shù)學關系上的方法相較于其他方法更具參考性，但是各參數(shù)對應的具體權(quán)重還需進一步研究。

4.3 不同特征疲勞判別分析

在當前研究中，眼部、嘴部和頭部特征成為疲勞判別的重要標準。在疲勞判別時，3 種不同特征發(fā)揮的作用不同，對判別結(jié)果產(chǎn)生的影響也不同。表12針對當前研究成果總結(jié)了3 種特征單獨使用和多特征融合的優(yōu)缺點及適用范圍，并分析了其對疲勞判別產(chǎn)生的影響。從表12 可以看出，多特征融合判別較單一特征判別方法更復雜，流程更繁瑣，算法理解難度和模型預訓練要求都更高。雖然這些缺點導致多特征融合的實現(xiàn)難度高于單一特征，但是多特征融合較單一特征考慮得更加全面，準確率更高。因此，多特征融合成為近年來疲勞判別的重要研究方向。眼部、嘴部和頭部這3 種特征有一些共性，都受光照影響較大，但是憑借多年的技術(shù)進步和研究，也都實現(xiàn)了夜間環(huán)境下的疲勞判別，只是準確率仍有提升空間。3 種特征提取方法和疲勞判別方法也都較為成熟，強有力的技術(shù)支撐使得各種疲勞判別方法都易實現(xiàn)。

在3 種特征中，眼部特征對疲勞判別最為重要，這主要是由于駕駛員容易出現(xiàn)佩戴口罩和帽子的情況，對嘴部和頭部特征的提取影響更大，存在提取特征失敗的可能。而眼部特征在受遮擋情況下大多只是因為佩戴眼鏡而影響準確率，少數(shù)情況下才會因配戴墨鏡而使得特征提取失敗。適用場景方面也充分證明了這一點，眼部特征只需保證無墨鏡遮擋，其他都要保證完全無遮擋。因此，在面部特征中眼部特征對疲勞判別最為重要，其他特征主要用于輔助眼部特征。

5 未來展望

當前學者們在基于面部多特征融合的疲勞駕駛檢測領域開展了大量研究工作，并得到了一定成果，但是在以下方面還需要進行發(fā)展或改進：

1）近年來，多特征融合較單特征方法更流行，其中，融合眼部與嘴部特征較融合眼部和頭部特征成果更多，融合3 種特征的方法也逐漸展示出成果。因此，本文認為基于多特征融合判別疲勞仍是該領域的熱點，值得進一步研究。

2）在多特征融合的疲勞判別方法中，有部分使用多特征加權(quán)計算來判別疲勞，但是當前成果較少，主要還只是對多特征的綜合考慮，未體現(xiàn)到具體的數(shù)學關系上。而且，研究成果中計算多特征指標的權(quán)重各有不同，難以確定最優(yōu)結(jié)果。因此，通過數(shù)學公式體現(xiàn)多特征與疲勞之間的關系并確定合適的權(quán)重，需要進行探索。

3）當前研究對現(xiàn)實中可能存在的問題考慮不夠充分。在現(xiàn)實中，駕駛員車內(nèi)攝像頭位置是隨機的，圖像并非都是正面的，而當前成果主要是對正面圖像進行處理與判別，對側(cè)面圖像的研究很少，僅文獻［27］意圖對側(cè)面圖像提取特征并判別疲勞，但其止步于提取側(cè)臉特征信息，未通過實驗驗證其特征判別疲勞的準確性。因此，通過駕駛員側(cè)面判別疲勞值得進一步探索。

4）當駕駛員頭部姿態(tài)快速變化、處于大角度的側(cè)面狀態(tài)或佩戴墨鏡時，當前方法容易出現(xiàn)無法追蹤到人臉或是無法檢測到人臉關鍵點的情況。因此，提高在各種情況下人臉追蹤和人臉關鍵點定位技術(shù)的穩(wěn)定性是一個重要的研究方向。

6 結(jié)束語

基于面部多特征的疲勞駕駛檢測方法對駕駛員具有非侵入性的優(yōu)點，便于在實際中應用。本文調(diào)研大量疲勞駕駛檢測方法的相關研究，總結(jié)分析依據(jù)不同面部特征判別疲勞的方法，歸納不同特征在疲勞駕駛狀態(tài)判別時使用的參數(shù)，介紹基于單一特征和多特征融合的疲勞判別方法。同時，總結(jié)當前基于面部多特征融合的疲勞駕駛檢測領域面臨的一些挑戰(zhàn)。未來可重點關注多特征融合的疲勞判別和駕駛員側(cè)面狀態(tài)下的疲勞判別，推動疲勞判別方法在實際中的應用和發(fā)展。