基于深度學(xué)習(xí)的車載疲勞檢測(cè)研究

摘要：為了準(zhǔn)確、快速地檢測(cè)駕駛員疲勞狀態(tài)，設(shè)計(jì)一種基于深度學(xué)習(xí)和ERT算法的車載疲勞檢測(cè)系統(tǒng)。該系統(tǒng)采用MTCNN算法進(jìn)行人臉定位，使用KCF算法進(jìn)行人臉追蹤，應(yīng)用ERT算法進(jìn)行人臉特征點(diǎn)檢測(cè)。獲得特征點(diǎn)后，測(cè)定了眨眼動(dòng)作的EAR閾值與哈欠動(dòng)作的MAR閾值，在YawDD數(shù)據(jù)集上眨眼識(shí)別的準(zhǔn)確率達(dá)到88.07%，哈欠識(shí)別的[F1-measure]達(dá)到了92.31。通過(guò)計(jì)算眨眼時(shí)的PERCLOS值與檢測(cè)嘴巴張度MAR的大小來(lái)判斷眼部與嘴部狀態(tài)，使用決策樹(shù)進(jìn)行多特征融合疲勞判斷，進(jìn)而決定是否進(jìn)行預(yù)警。

關(guān)鍵詞：疲勞檢測(cè);PERCLOS;人臉特征點(diǎn);ERT算法;人臉檢測(cè)

中圖分類號(hào)：TP391.41? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）04-0066-04

1 引言

2020年共發(fā)生244671起交通事故，其中機(jī)動(dòng)車事故211074起，造成55950人死亡[1]。復(fù)雜交通環(huán)境與極端天氣是交通事故發(fā)生的客觀因素，駕駛員的危險(xiǎn)駕駛行為是交通事故發(fā)生的主觀因素，疲勞駕駛就屬于危險(xiǎn)駕駛行為的一種。駕駛員在連續(xù)長(zhǎng)時(shí)間行車后，由于長(zhǎng)期保持固定姿勢(shì)，血液循環(huán)不暢引起肢體疲勞，長(zhǎng)時(shí)間觀察路況，缺少放松時(shí)間引起注意力渙散。生理與心理狀態(tài)的惡化導(dǎo)致駕駛員在遭遇緊急情況時(shí)反應(yīng)能力下降，進(jìn)而造成交通事故。在中國(guó)，疲勞駕駛為主要誘因的交通事故占總數(shù)的20%，占特大交通事故的40%以上[2]。

針對(duì)疲勞狀態(tài)的檢測(cè)，國(guó)內(nèi)外研究人員提出了三種基于不同技術(shù)的解決方案：基于駕駛員生理特征的疲勞檢測(cè)，通過(guò)檢測(cè)肌電波、腦電波和心電波等來(lái)判斷疲勞狀態(tài);基于駕駛行為特征的疲勞檢測(cè)，通過(guò)安置在車輛上的傳感器，檢測(cè)車輛加速度、方向盤偏轉(zhuǎn)角度和航道偏移角度等來(lái)判斷駕駛員疲勞狀態(tài);基于駕駛員生理反應(yīng)特征的疲勞檢測(cè)，通過(guò)檢測(cè)眼部動(dòng)作、哈欠動(dòng)作和頭部姿態(tài)等數(shù)據(jù)來(lái)判斷疲勞狀態(tài)。如文獻(xiàn)[3]中研究發(fā)現(xiàn)疲勞時(shí)中央?yún)^(qū)和額葉的腦電疲勞信號(hào)復(fù)雜度下降。文獻(xiàn)[4]使用長(zhǎng)途客車的駕駛員反應(yīng)能力參數(shù)、車輛轉(zhuǎn)向速度參數(shù)以及方向盤參數(shù)建立了長(zhǎng)途客車的疲勞駕駛檢測(cè)模型。文獻(xiàn)[5]使用HOG特征和SVM分類器提取人臉區(qū)域，使用人臉特征點(diǎn)檢測(cè)算法得到駕駛員面部信息，判斷駕駛員疲勞程度。

以上方法雖然能夠得到駕駛員疲勞信息，但都有各自的局限性?；隈{駛員的生理特征檢測(cè)得到的結(jié)果最精確，但生理特征如腦電波測(cè)量所需的設(shè)備會(huì)對(duì)駕駛員產(chǎn)生影響，使其本身成為造成危險(xiǎn)的因素;基于駕駛行為特征的疲勞檢測(cè)不會(huì)干擾駕駛?cè)藛T，但其易受到車載量、道路情況及天氣等因素影響，難以保證檢測(cè)精度;HOG特征對(duì)噪點(diǎn)敏感，在成像質(zhì)量不佳時(shí)容易出錯(cuò)。本文采取魯棒性更好的深度學(xué)習(xí)算法來(lái)檢測(cè)人臉，同時(shí)為了彌補(bǔ)深度學(xué)習(xí)算法速度慢的缺點(diǎn)，獲得人臉區(qū)域后采取KCF跟蹤算法進(jìn)行人臉追蹤以獲得實(shí)時(shí)臉部區(qū)域，使用人臉特征點(diǎn)檢測(cè)算法得到眼部與嘴部信息，計(jì)算PERCLOS值與判斷哈欠動(dòng)作，最終使用這兩種特征得到疲勞檢測(cè)結(jié)果。

2 系統(tǒng)主要算法介紹

2.1 人臉檢測(cè)

進(jìn)行人臉關(guān)鍵點(diǎn)檢測(cè)之前需要得到人臉區(qū)域，本系統(tǒng)采取文獻(xiàn)[6]中提出的MTCNN（多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)）算法進(jìn)行人臉檢測(cè)。MTCNN算法是一種使用卷積網(wǎng)絡(luò)的人臉檢測(cè)與對(duì)齊的方法。算法采用級(jí)聯(lián)CNN結(jié)構(gòu)，將三個(gè)卷積神經(jīng)網(wǎng)絡(luò)P-Net、R-Net與O-Net級(jí)聯(lián)到一起構(gòu)成強(qiáng)分類器。該算法先使用輸入圖像構(gòu)建圖像金字塔，將不同尺寸的圖像輸入P-Net以對(duì)不同大小的人臉進(jìn)行預(yù)測(cè)，P-Net將快速產(chǎn)生大量人臉候選框，將這些人臉候選框送入R-Net，R-Net將去除大部分低可信度的人臉候選框，O-Net最為復(fù)雜，會(huì)對(duì)R-Net篩選后的人臉框進(jìn)行更嚴(yán)格的識(shí)別，輸出最終人臉區(qū)域。MTCNN通過(guò)設(shè)計(jì)精巧的三級(jí)網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)了檢測(cè)準(zhǔn)確率與運(yùn)算速度之間的平衡，在FDDB、WIDER FACE和AFLW數(shù)據(jù)集上取得了當(dāng)時(shí)最好的成績(jī)，性能表現(xiàn)提高明顯，是目前在人臉檢測(cè)方面性能最好的算法之一。

MTCNN算法輸出如圖1所示。

2.2 人臉跟蹤

基于卷積神經(jīng)網(wǎng)絡(luò)的MTCNN算法消耗的算力資源較大，對(duì)硬件要求較高，難以做到跟隨攝像頭輸入進(jìn)行實(shí)時(shí)檢測(cè)。機(jī)動(dòng)車正常行駛途中駕駛員不會(huì)發(fā)生變更且頭部姿態(tài)變化不大，人臉在每幀之間的移動(dòng)幅度小，在獲取人臉區(qū)域后，采用文獻(xiàn)[7]中提出的KCF跟蹤算法對(duì)人臉區(qū)域進(jìn)行追蹤，從而減少算力消耗。

KCF是一種差分追蹤方法，初始幀使用指定的目標(biāo)得到一個(gè)檢測(cè)器，在每一幀上，在上一幀目標(biāo)的坐標(biāo)附近搜尋目標(biāo)現(xiàn)坐標(biāo)，使檢測(cè)器置信度最大的區(qū)域即被標(biāo)記為目標(biāo)，之后使用當(dāng)前目標(biāo)信息更新檢測(cè)器，從而得到連續(xù)的目標(biāo)位置。若KCF算法得到的區(qū)域置信度過(guò)低，則采取MTCNN算法重新進(jìn)行人臉定位。

對(duì)一段自制的包含單一人臉的視頻使用MTCNN和MTCNN+KCF進(jìn)行人臉定位操作，并記錄數(shù)據(jù)。視頻時(shí)長(zhǎng)91s，兩種方法花費(fèi)時(shí)間對(duì)比如表1所示。

由表1可知，使用KCF算法進(jìn)行人臉追蹤可以節(jié)省一半以上時(shí)間，同時(shí)也小于視頻時(shí)間，可以做到實(shí)時(shí)檢測(cè)。

2.3 人臉特征點(diǎn)檢測(cè)

使用MTCNN與KCF相結(jié)合后，可以得到實(shí)時(shí)穩(wěn)定的人臉圖像區(qū)域。為了能夠快速計(jì)算PERCLOS值與MAR值，在此區(qū)域上使用文獻(xiàn)[8]提出的ERT算法（基于回歸樹(shù)集合的人臉特征點(diǎn)檢測(cè)算法）得到人臉關(guān)鍵點(diǎn)。該算法檢測(cè)效果如圖2所示，在眼部與嘴部邊緣得到一圈特征點(diǎn)以表示其形狀。

3 疲勞特征檢測(cè)

日常生活中，人們可以通過(guò)觀察他人的行為，尤其是面部行為判斷其疲勞狀態(tài)。駕駛員進(jìn)入疲勞狀態(tài)后，一次閉眼動(dòng)作花費(fèi)的時(shí)間相比正常狀態(tài)有所增加，睜眼時(shí)眼睛睜開(kāi)的程度也有一定減小[9]。若進(jìn)入深度疲勞狀態(tài)，可能出現(xiàn)駕駛員眼睛長(zhǎng)時(shí)間閉合的嚴(yán)重情況，并伴隨哈欠動(dòng)作。據(jù)此，可以通過(guò)檢測(cè)駕駛員的閉眼時(shí)間、哈欠動(dòng)作來(lái)判斷其疲勞程度。

3.1 基于 PERCLOS 的人眼疲勞檢測(cè)

PERCLOS（Percentage of Eyelid Closure over the Pupil Over Time）指的是在一段時(shí)間內(nèi)眼睛閉合時(shí)間占總時(shí)間的比值，是在疲勞檢測(cè)中被廣泛使用的判斷指標(biāo)。其計(jì)算公式（1）如下。

其中：tclsoe為單位時(shí)間內(nèi)閉眼的時(shí)間， t為單位時(shí)間。一般認(rèn)為當(dāng)PERCLOS大于0.4時(shí)認(rèn)為駕駛員處于疲勞狀態(tài)。

判斷當(dāng)前圖像駕駛員是否閉眼可以使用EAR（眼睛縱橫比）值來(lái)判斷。EAR能夠直觀地反映人眼的睜閉狀態(tài)，使用比例而非絕對(duì)距離可以避免人眼大小對(duì)判斷結(jié)果的影響，結(jié)合人臉特征點(diǎn)，可以快速、精準(zhǔn)的反應(yīng)人眼狀態(tài)。如圖3所示，通過(guò)人臉特征點(diǎn)檢測(cè)算法得到右眼周圍的6個(gè)二維坐標(biāo)位置，在ERT算法中被標(biāo)記為37～42，同理，左眼周圍被標(biāo)記為43～48，將這些點(diǎn)按從小到大的順序記為p1～p6。由此可得到EAR計(jì)算公式（2）。

如圖4所示，在一定時(shí)間內(nèi)，EAR值相對(duì)變化不大，表明此時(shí)駕駛員處于睜眼狀態(tài)，在某一時(shí)刻 EAR 值迅速下降，然后又再次返回到之前持續(xù)穩(wěn)定的范圍，表明此時(shí)駕駛員進(jìn)行了眨眼動(dòng)作。

獲得眨眼信息后，計(jì)算PERCLOS值還要確定眼睛閉合的EAR閾值。[p80]指標(biāo)規(guī)定眼瞼遮住瞳孔面積的80%時(shí)眼睛處于完全閉合狀態(tài)。大多數(shù)研究認(rèn)為[p80]指標(biāo)能夠較好地反映駕駛員疲勞程度。將[p80]指標(biāo)與EAR值相結(jié)合，PERCLOS的計(jì)算公式在本系統(tǒng)中被轉(zhuǎn)化為公式（3）。

其中Fclsoe表示眨眼過(guò)程中EAR值低于閾值的幀數(shù)，F(xiàn)表示眨眼過(guò)程總幀數(shù)。

3.2 MAR檢測(cè)哈欠時(shí)長(zhǎng)

MAR即為嘴部縱橫比，仿照EAR的原理，通過(guò)對(duì)嘴部縱橫比的檢測(cè)來(lái)判斷嘴張開(kāi)的大小。如圖5所示，通過(guò)人臉特征點(diǎn)檢測(cè)算法得到嘴部外側(cè)的8個(gè)二維坐標(biāo)位置，在ERT中被標(biāo)記為49、51、52、53、55、57、58、59，將這些點(diǎn)按從小到大順序標(biāo)記為p1～p8，由此可得到MAR計(jì)算公式（4）。

考慮到當(dāng)張嘴時(shí)內(nèi)部特征點(diǎn)標(biāo)注容易受牙齒、舌頭的影響出現(xiàn)偏移，選取外部特征點(diǎn)作為檢測(cè)對(duì)象。

選取了一名測(cè)試人員錄制了一段視頻，其中測(cè)試人員按時(shí)間順序分別進(jìn)行說(shuō)話、唱歌和哈欠動(dòng)作，其MAR變化如圖6所示。由圖6可知，當(dāng)測(cè)試人員說(shuō)話或唱歌時(shí)MAR快速上下波動(dòng)，打哈欠時(shí)MAR峰值明顯高于前兩者，且會(huì)維持一段時(shí)間。故可測(cè)定哈欠動(dòng)作與非打哈欠動(dòng)作分界的MAR閾值，當(dāng)MAR高于閾值并維持幾秒時(shí)認(rèn)為駕駛員打哈欠，處于疲勞狀態(tài)。

4 實(shí)驗(yàn)與分析

4.1 EAR閾值確定實(shí)驗(yàn)

本文使用YawDD進(jìn)行眨眼檢測(cè)實(shí)驗(yàn)。YawDD共包含29段正面拍攝的車載駕駛員正面短視頻，選取其中佩戴眼鏡與未佩戴眼鏡的男女視頻各一份，總計(jì)318s，眨眼109次。實(shí)驗(yàn)結(jié)果如表2所示。由表2可知，取EAR閾值為0.205的眨眼檢測(cè)效果較好。

本文實(shí)驗(yàn)結(jié)果與Hough變換圓檢測(cè)在YawDD上的對(duì)比結(jié)果如表3所示。

由指標(biāo)可以得到眼睛閉合時(shí)EAR閾值的計(jì)算公式（5）。

取θ=0.8、EARmin=0.1及EARopen=0.205，可以計(jì)算出EARopen=0.184。即當(dāng)檢測(cè)到EAR低于0.205時(shí)開(kāi)始眨眼，低于0.184是認(rèn)為眼睛閉合。

4.2 MAR閾值確定實(shí)驗(yàn)

哈欠行為的MAR均值與說(shuō)話、唱歌行為的MAR均值區(qū)別較大，可以確定一個(gè)閾值來(lái)區(qū)分哈欠行為與其他行為。此外，哈欠行為通常持續(xù)2～3s，因此低于1s的高M(jìn)AR值區(qū)間應(yīng)被視為檢測(cè)失誤或說(shuō)話、唱歌行為的特異點(diǎn)。本文使用YawDD來(lái)測(cè)定哈欠行為的MAR閾值，YawDD包含不同性別、不同人種以及佩戴眼鏡的駕駛員在不同光照下模擬駕駛的視頻。選取其中8段視頻，共計(jì)哈欠26次。

為更好地描述檢測(cè)效果，引入精確率（precision） 、召回率（recall）和F1-measure來(lái)對(duì)檢測(cè)結(jié)果進(jìn)行評(píng)估，其計(jì)算公式如下。

其中P表示精確率，R表示召回率，F(xiàn)1表示F1-measure。F1是對(duì)精確率和召回率的加權(quán)平均，能更好地反映整體效果，越高，說(shuō)明整體效果越好。TP表示哈欠行為被檢測(cè)為哈欠的次數(shù);FP表示非哈欠行為被檢測(cè)為哈欠的次數(shù);FN表示哈欠行為被檢測(cè)為非哈欠行為的次數(shù)，即漏檢次數(shù)。

實(shí)驗(yàn)結(jié)果如表4所示。分析實(shí)驗(yàn)數(shù)據(jù)：閾值設(shè)定過(guò)[F1]高會(huì)導(dǎo)致部分哈欠無(wú)法被檢測(cè)到，使得漏檢次數(shù)過(guò)多;設(shè)置在0.8左右會(huì)在一次哈欠行為進(jìn)行中出現(xiàn)MAR低于閾值的情況，從而導(dǎo)致系統(tǒng)將一次哈欠判定為兩次，誤檢次數(shù)明顯上升;設(shè)置在0.75可以獲得較高的F1值，即獲得較好的效果。

4.3 疲勞檢測(cè)

通過(guò)前文的方法，系統(tǒng)已經(jīng)獲得了PERCLOS值與哈欠狀態(tài)。傳統(tǒng)方法給PERCLOS和哈欠次數(shù)一定的權(quán)值，形成一個(gè)線性公式得到疲勞值，再根據(jù)疲勞值判斷疲勞結(jié)果容易出現(xiàn)一方權(quán)重過(guò)高直接決定判斷結(jié)果的情況。本文采取特征融合的方式來(lái)綜合判斷疲勞狀態(tài)，使用決策樹(shù)取代線性公式。在本文的檢測(cè)方法中，使用可隨時(shí)獲取的PERCLOS值作為優(yōu)先判斷條件，再查詢是否有哈欠行為。該判斷的決策樹(shù)如圖7所示。

本文從YawDD數(shù)據(jù)集中選取戴眼鏡與不戴眼鏡的男女駕車視頻各一份進(jìn)行疲勞檢測(cè)實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表5所示。由表5可以看出本系統(tǒng)能在駕駛員進(jìn)入疲勞狀態(tài)時(shí)進(jìn)行預(yù)警，且對(duì)光照、性別及眼鏡遮擋有較好的魯棒性。

5 結(jié)束語(yǔ)

本文通過(guò)MTCNN算法檢測(cè)人臉，再通過(guò)KCF算法跟蹤人臉區(qū)域，最后通過(guò)人臉特征點(diǎn)檢測(cè)算法ERT得到EAR與MAR值，由此計(jì)算PERCLOS值與判斷是否哈欠，最后通過(guò)多特征融合判斷方法得到駕駛員疲勞信息。在通過(guò)實(shí)驗(yàn)表明，本系統(tǒng)在YawDD數(shù)據(jù)集上對(duì)眨眼動(dòng)作進(jìn)行檢測(cè)的準(zhǔn)確度達(dá)到89.91%，對(duì)哈欠動(dòng)作進(jìn)行檢測(cè)的[F1-measure]指標(biāo)為92.31，能夠準(zhǔn)確地在檢測(cè)到哈欠動(dòng)作與PERCLOS值大于0.4的時(shí)候進(jìn)行預(yù)警，且對(duì)光照、性別及眼鏡遮擋有較好的魯棒性。

參考文獻(xiàn)：

[1] 中華人民共和國(guó)國(guó)家統(tǒng)計(jì)局.中國(guó)統(tǒng)計(jì)年鑒.2004[M].北京：中國(guó)統(tǒng)計(jì)出版社，2004.

[2] 劉夢(mèng)佳.基于卷積神經(jīng)網(wǎng)絡(luò)的疲勞駕駛檢測(cè)系統(tǒng)設(shè)計(jì)[D].鄭州：鄭州大學(xué)，2020.

[3] Azarnoosh M，Nasrabadi A M，Mohammadi M R，et al.Investigation of mental fatigue through EEG signal processing based on nonlinear analysis：symbolic dynamics[J].Chaos，Solitons & Fractals，2011，44（12）：1054-1062.

[4] 柴萌.長(zhǎng)途客車駕駛員疲勞狀態(tài)辨識(shí)與預(yù)警[D].長(zhǎng)春：吉林大學(xué)，2019.

[5] 朱名流，李頂根.基于人臉特征點(diǎn)的疲勞檢測(cè)方法研究[J].計(jì)算機(jī)應(yīng)用研究，2020，37（S2）：305-307.

[6] Zhang K P，Zhang Z P，Li Z F，et al.Joint face detection and alignment using multitask cascaded convolutional networks[J].IEEE Signal Processing Letters，2016，23（10）：1499-1503.

[7] Henriques J F，Caseiro R，Martins P，et al.High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（3）：583-596.

[8] Kazemi V，Sullivan J.One millisecond face alignment with an ensemble of regression trees[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition.June 23-28，2014，Columbus，OH，USA.IEEE，2014：1867-1874.

[9] 王迪.基于人眼狀態(tài)的疲勞檢測(cè)算法研究與應(yīng)用[D].成都：電子科技大學(xué)，2020.

收稿日期：2021-10-25

作者簡(jiǎn)介：葉華洲（1999—），男，安徽蕪湖人，碩士，主要研究方向?yàn)閳D像處理。