多特征融合的駕駛員疲勞狀態(tài)檢測方法

方浩杰，董紅召，林少軒，羅建宇，方勇

(1.浙江工業(yè)大學(xué) 智能交通系統(tǒng)聯(lián)合研究所，浙江 杭州 310014；2.杭州金通科技集團(tuán)股份有限公司，浙江 杭州 310014)

利用駕駛員面部圖像進(jìn)行疲勞狀態(tài)分析具有非接觸、易實(shí)現(xiàn)、低成本等優(yōu)點(diǎn)[1-2].人臉關(guān)鍵點(diǎn)算法的應(yīng)用較廣泛，目前已有的人臉關(guān)鍵點(diǎn)算法包括MCTNN[3]、PFLD[4]、TCDCN[5]等，諸多學(xué)者在此基礎(chǔ)上進(jìn)行改進(jìn)與應(yīng)用.Chen等[6-7]提出利用人眼狀態(tài)檢測算法提取疲勞參數(shù)，開展多特征加權(quán)融合.Adhinata等[8]提出結(jié)合FaceNet算法與k-最近鄰(K-NN)或多類支持向量機(jī)(SVM)，計(jì)算眨眼頻率.上述方法要求輸入圖像盡可能正臉向前，人臉的五官出現(xiàn)圖像中，但駕駛員在行駛過程中會出現(xiàn)大幅度的轉(zhuǎn)頭、低頭、仰頭等姿勢動作，人臉關(guān)鍵點(diǎn)算法針對此類圖像無法精確定位眼睛、嘴巴區(qū)域，存在較大的偏移[9].在疫情防控下，服務(wù)行業(yè)的駕駛員要求全程佩戴口罩，例如公交駕駛員、出租車駕駛員，利用人臉關(guān)鍵點(diǎn)算法無法精確定位嘴部區(qū)域，導(dǎo)致后續(xù)疲勞參數(shù)計(jì)算失準(zhǔn)，無法準(zhǔn)確判斷駕駛員的疲勞狀態(tài).

諸多學(xué)者提出其他面部疲勞狀態(tài)識別方法，Liu等[10-11]提出基于卷積神經(jīng)網(wǎng)絡(luò)和長短時(shí)記憶的駕駛員疲勞實(shí)時(shí)檢測方法，計(jì)算嘴部、眼部疲勞參數(shù).Wei等[12]提出基于sobel算子的邊緣檢測，提取人眼狀態(tài)信息.Noman等[13]提出利用支持向量機(jī)提取眼睛區(qū)域，使用CNN網(wǎng)絡(luò)進(jìn)行眼睛狀態(tài)分類.Worah等[14-16]采用CNN模型檢測眼睛狀態(tài)，計(jì)算閉眼時(shí)間與眨眼頻率.上述方法大部分采用多個(gè)模塊檢測，整體網(wǎng)絡(luò)尺寸較大，導(dǎo)致檢測速度較慢.為了解決檢測速度慢的問題，目標(biāo)檢測網(wǎng)絡(luò)廣泛用于駕駛疲勞檢測.Yu等[17-18]提出基于SSD的檢測網(wǎng)絡(luò)，檢測眼部、嘴部疲勞參數(shù).Xiang等[19-20]提出利用YOLOv3模型對人眼進(jìn)行檢測.該類方法未考慮駕駛員因扶口罩、揉鼻子手部動作導(dǎo)致的臉部特征遮擋，當(dāng)前算法均無法在戴口罩時(shí)進(jìn)行打哈欠檢測，最重要的是單一或獨(dú)立的疲勞特征檢測方法無法綜合評判駕駛員疲勞狀態(tài)，誤判率高.

針對上述問題，本文提出疫情防控下駕駛員多特征融合的疲勞狀態(tài)檢測方法.建立模擬駕駛平臺，利用移動端設(shè)備采集佩戴口罩和未佩戴口罩情況下的圖像數(shù)據(jù).針對駕駛員頭部姿勢、手勢遮擋的問題，對YOLOv5目標(biāo)檢測算法進(jìn)行改進(jìn)，提高被遮擋目標(biāo)和小目標(biāo)的檢測精度.結(jié)合人臉關(guān)鍵點(diǎn)算法，對眨眼和打哈欠幀數(shù)進(jìn)行補(bǔ)償計(jì)算.融合多種疲勞參數(shù)進(jìn)行歸一化處理，開展疲勞等級劃分.在公開數(shù)據(jù)集與自制數(shù)據(jù)集上，開展眨眼、打哈欠次數(shù)及疲勞狀態(tài)等級的驗(yàn)證.

1 提出的方法

該方法主要包含3個(gè)部分，分別是改進(jìn)的YOLOv5目標(biāo)檢測算法、疲勞參數(shù)補(bǔ)償方法以及多特征融合的疲勞狀態(tài)檢測方法.數(shù)據(jù)集的采集及實(shí)驗(yàn)均在模擬駕駛平臺上開展，該平臺由六自由度汽車性能虛擬仿真實(shí)驗(yàn)平臺、駕駛仿真系統(tǒng)及模擬駕駛軟件組成.實(shí)驗(yàn)招募20位志愿者進(jìn)行模擬駕駛，模擬駕駛時(shí)長為55 min.為了更加逼近實(shí)際服務(wù)行業(yè)駕駛員的駕駛情況，為模擬駕駛員設(shè)置多種內(nèi)置場景及任務(wù)，例如模擬疫情防控期間乘客上車掃乘車碼，敦促乘客規(guī)范戴口罩.

1.1 改進(jìn)的YOLOv5目標(biāo)檢測算法

將YOLOv5目標(biāo)檢測模型作為基礎(chǔ)網(wǎng)絡(luò)，并在此基礎(chǔ)上進(jìn)行改進(jìn)，改進(jìn)后的模型結(jié)構(gòu)如圖1所示.圖中，m為檢測層的深度.從圖1可知，模型結(jié)構(gòu)由主干網(wǎng)絡(luò)（backbone）、加強(qiáng)特征提取網(wǎng)絡(luò)（neck）、檢測網(wǎng)絡(luò)（head）3部分組成.Conv模塊中的激活函數(shù)選擇Swish函數(shù)，將CIOU損失函數(shù)作為邊界框回歸損失.

圖1 改進(jìn)后的YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Improved YOLOv5 network structure

1）自適應(yīng)錨框：由于頭部旋轉(zhuǎn)及手部遮擋，會導(dǎo)致眼部、嘴部標(biāo)簽框形狀多變，眼部標(biāo)簽框還會因?yàn)檫h(yuǎn)近的原因?qū)е聝芍谎劬Φ臉?biāo)簽框尺度不一，采用自適應(yīng)錨框方法，錨框即為標(biāo)簽框.在每次訓(xùn)練前，對數(shù)據(jù)集中的標(biāo)注信息進(jìn)行核查，利用遺傳算法隨機(jī)對錨框變異，計(jì)算該數(shù)據(jù)集標(biāo)注信息與錨定框的最佳召回率，并進(jìn)行反復(fù)迭代覆蓋，當(dāng)最佳召回率大于或等于0.98時(shí)，不需要更新錨定框.

2）增加檢測層：不同駕駛員的駕駛習(xí)慣不同，會對座椅進(jìn)行調(diào)節(jié)；在駕駛過程中身體存在前傾或后仰動作，會導(dǎo)致檢測目標(biāo)（人臉、眼睛、嘴巴）變大或縮小，需要提高模型多尺度（較大或較小）目標(biāo)檢測能力.通過增加結(jié)合層、卷積層、C3層的方法，整體分別多進(jìn)行一次上采樣和下采樣，將主干網(wǎng)絡(luò)中包含較多小目標(biāo)特征信息的同尺度特征層輸入結(jié)合層，進(jìn)行特征融合操作，提高對小目標(biāo)的檢測性能.

3）BiFPN網(wǎng)絡(luò)結(jié)構(gòu)：在增加檢測層后，C3層、結(jié)合層、卷積層數(shù)量增加，整體網(wǎng)絡(luò)層數(shù)加深，但每一層網(wǎng)絡(luò)都會在一定程度上造成特征丟失，因此對于不同層級進(jìn)行特征融合尤為重要.當(dāng)戴口罩時(shí)，打哈欠檢測區(qū)域需要對擠眼、挑眉、口罩變化等細(xì)節(jié)進(jìn)行特征提取，且該區(qū)域的特征變化細(xì)微.將主干網(wǎng)絡(luò)多層計(jì)算結(jié)果一次或多次輸入Bi-FPN加強(qiáng)特征提取網(wǎng)絡(luò)，采用BiFPN自下而上的結(jié)構(gòu)時(shí)，對2個(gè)同尺度特征層進(jìn)行融合；采用自上而下的結(jié)構(gòu)時(shí)，利用跳躍連接的方式對3個(gè)同尺度特征進(jìn)行融合.利用BiFPN網(wǎng)絡(luò)，使得預(yù)測網(wǎng)絡(luò)對不同大小的目標(biāo)更敏感，提升了整體模型的檢測能力，降低了漏檢率與誤檢率.

圖像識別流程：輸入圖像會在主干網(wǎng)絡(luò)進(jìn)行特征提取，將獲取到的3個(gè)有效特征層輸入Bi-FPN加強(qiáng)特征提取網(wǎng)絡(luò)，將不同尺度的特征層進(jìn)行融合.在檢測網(wǎng)絡(luò)獲得4個(gè)加強(qiáng)過的有效特征層，對特征圖上的特征點(diǎn)進(jìn)行判斷，實(shí)現(xiàn)多尺度目標(biāo)物檢測，確定目標(biāo)物的類別和位置.

1.2 疲勞參數(shù)的補(bǔ)償方法

在目標(biāo)檢測數(shù)據(jù)集的標(biāo)注過程中，將完全閉眼的圖像數(shù)據(jù)標(biāo)注為閉眼狀態(tài)，其余數(shù)據(jù)均標(biāo)注為睜眼狀態(tài).由于打哈欠是從閉嘴到張嘴打哈欠，再從張嘴狀態(tài)到閉嘴狀態(tài)，難以準(zhǔn)確定義張嘴臨界狀態(tài).取完整打哈欠過程中部X%的圖像標(biāo)記為張嘴.在實(shí)驗(yàn)過程中發(fā)現(xiàn)，駕駛員戴口罩時(shí)打哈欠會出現(xiàn)擠眼、挑眉、皺眉等神情，眼部附近區(qū)域會發(fā)現(xiàn)明顯變化，伴隨著口罩大幅度的張開.戴口罩的打哈欠圖像數(shù)據(jù)從完整時(shí)間序列的角度，對圖像的大面部撐開的口罩、眼部及附近區(qū)域進(jìn)行標(biāo)注，取完整過程中部Y%的圖像標(biāo)記為打哈欠.圖像標(biāo)簽的制作方法如圖2所示.

圖2 圖像標(biāo)注的示意圖Fig.2 Schematic of image annotation

研究表明，P80指標(biāo)與駕駛員眼部疲勞特征的相關(guān)性最高，即根據(jù)人臉關(guān)鍵點(diǎn)算法確定眼部各個(gè)關(guān)鍵點(diǎn)并計(jì)算眼瞼覆蓋度，當(dāng)眼睛瞳孔的整體面部被眼瞼覆蓋超過80%時(shí)認(rèn)為眼睛是閉合的.嘴部根據(jù)關(guān)鍵點(diǎn)定義張嘴與閉嘴.由圖像數(shù)據(jù)預(yù)處理方法的原理可知，當(dāng)前閉眼、張嘴、打哈欠的圖像幀預(yù)測數(shù)量相較于人臉關(guān)鍵點(diǎn)算法偏少，因此提出疲勞參數(shù)補(bǔ)償方法.利用人臉關(guān)鍵點(diǎn)算法計(jì)算出駕駛員在正臉狀態(tài)下閉眼、張嘴的幀數(shù)，與當(dāng)前的數(shù)據(jù)預(yù)處理方法進(jìn)行比較，根據(jù)比值進(jìn)行補(bǔ)償.

1）眼睛縱橫比.EAR為眼睛縱向界標(biāo)與橫向界標(biāo)之間的歐式距離比值，可以直接反映眼睛閉合程度.根據(jù)眼睛的6個(gè)關(guān)鍵點(diǎn)位置（見圖3（a）、（b）），EAR的計(jì)算公式為

圖3 人臉關(guān)鍵點(diǎn)位置的示意圖Fig.3 Diagram of face key point position

當(dāng)駕駛員眼睛睜開時(shí)，EAR保持動態(tài)平衡，即處于小幅波動.當(dāng)駕駛員眼睛閉合時(shí)，EAR會迅速下降，并在眼睛再次睜開時(shí)迅速恢復(fù)到動態(tài)平衡.在結(jié)合P80標(biāo)準(zhǔn)后，EAR可以直接反映眼睛的睜閉狀態(tài).

2）嘴巴縱橫比.參考眼睛縱橫比的定義方法，根據(jù)嘴巴的8個(gè)特征點(diǎn)（見圖3（c）、（d）），嘴巴縱橫比MAR特征點(diǎn)的計(jì)算公式為

嘴巴縱橫比由嘴部內(nèi)輪廓的8個(gè)特征點(diǎn)計(jì)算所得，可以直接反映嘴部的張開程度.由于駕駛員會與乘客進(jìn)行頻繁交流，須設(shè)定MAR閾值區(qū)分打哈欠和正常說話時(shí)的嘴部張開幅度.

3）EAR和MAR閾值的確定.為了確定駕駛員正臉狀態(tài)下EAR和MAR的波動范圍，須計(jì)算駕駛員正臉狀態(tài)下EAR和MAR的最大值、最小值.參考perclos中的P80指標(biāo)確定EAR和MAR閾值，閾值的計(jì)算公式為

式中：X1為眼瞼覆蓋瞳孔面積占比，X2為嘴巴張開程度與最大張度的比值.

4）參數(shù)補(bǔ)償.根據(jù)上述方法確定EAR和MAR閾值，完整截取駕駛員正臉狀態(tài)下的眨眼、打哈欠（未戴口罩）圖像序列幀.根據(jù)閾值確定閉眼和打哈欠幀數(shù)，將該幀數(shù)與目標(biāo)檢測算法標(biāo)簽設(shè)置幀數(shù)比較，計(jì)算比值.比值S的計(jì)算公式為

式中：F為目標(biāo)檢測標(biāo)簽幀數(shù)，f為P80指標(biāo)下利用人臉關(guān)鍵點(diǎn)算法識別駕駛員睜眼或張嘴的幀數(shù).

依次計(jì)算得出眨眼幀數(shù)補(bǔ)償參數(shù)SE、張嘴幀數(shù)補(bǔ)償參數(shù)SM.由于SM是未戴口罩情況，根據(jù)目標(biāo)檢測標(biāo)簽預(yù)處理方法可知，戴口罩情況下打哈欠幀數(shù)補(bǔ)償參數(shù)SY的計(jì)算公式為

1.3 多特征融合的疲勞狀態(tài)檢測方法

結(jié)合上述方法，可以分析的數(shù)據(jù)包括眨眼幀數(shù)、眨眼頻率、張嘴幀數(shù)、打哈欠次數(shù).連續(xù)閉眼幀數(shù)超過2幀計(jì)為眨眼一次，張嘴或打哈欠識別結(jié)果連續(xù)幀超過20幀計(jì)為打哈欠一次.眨眼頻率BF和打哈欠頻率YF表示單位時(shí)間內(nèi)的眨眼次數(shù)和打哈欠次數(shù).定義ECN為連續(xù)閉眼幀數(shù)超過10幀的次數(shù).

結(jié)合補(bǔ)償參數(shù)，定義ECR為計(jì)算單位內(nèi)閉眼幀數(shù)與總幀數(shù)的比例關(guān)系，能夠反映眼睛閉合持續(xù)時(shí)間占檢測時(shí)間的比值及駕駛員疲勞狀態(tài)，公式如下：

式中：tE為眼睛閉合幀數(shù)，TE為單位時(shí)間的總幀數(shù).

根據(jù)單位時(shí)間內(nèi)打哈欠幀數(shù)占總幀數(shù)的比例關(guān)系，定義MOR表示未佩戴口罩情況下單位時(shí)間內(nèi)的張嘴幀數(shù)占比，定義MORM表示佩戴口罩情況下單位時(shí)間內(nèi)的打哈欠幀數(shù)占比，公式如下：

式中：tM為張嘴的幀數(shù)，TM為單位時(shí)間的總幀數(shù)，tY為佩戴口罩情況下的打哈欠幀數(shù)，TY為單位時(shí)間內(nèi)的總幀數(shù).

根據(jù)上述計(jì)算方法，可以得到BF、YF、ECN、ECR、MOR、MORM.由于得到的多個(gè)疲勞參數(shù)指標(biāo)量綱不同，若將疲勞指標(biāo)進(jìn)行綜合評判，則須對所得參數(shù)的結(jié)果進(jìn)行標(biāo)準(zhǔn)化處理.利用最大最小標(biāo)準(zhǔn)化（min-max normalization）的方法進(jìn)行數(shù)據(jù)歸一化處理，轉(zhuǎn)換公式為

式中：x′為歸一化處理后的數(shù)值，xi為實(shí)際檢測到的疲勞參數(shù)數(shù)值，xmin、xmax分別為駕駛員清醒狀態(tài)檢測視頻中疲勞參數(shù)的最小值和最大值.

單一疲勞特征難以綜合駕駛員的真實(shí)疲勞狀態(tài)，易受個(gè)體差異的影響，導(dǎo)致疲勞等級誤判.對各疲勞參數(shù)歸一化后進(jìn)行融合，將融合的值定義為綜合疲勞指標(biāo)Q，以此綜合反映駕駛員的疲勞狀態(tài).綜合疲勞指標(biāo)Q的公式為

式中：Vi為歸一化后的疲勞參數(shù)，Wi為各疲勞參數(shù)的權(quán)重.

2 實(shí)驗(yàn)結(jié)果與分析

基于pytorch深度學(xué)習(xí)框架，搭建改進(jìn)后的YOLOv5模型.硬件配置如下：i5-12600KF CPU、GTX3070、32 GB內(nèi)存.

2.1 數(shù)據(jù)預(yù)處理

數(shù)據(jù)集包括公開數(shù)據(jù)集NTHU及自制數(shù)據(jù)集.公開數(shù)據(jù)集NTHU整體上包含多個(gè)不同種族的受試者，受試者坐在座椅上，控制方向盤和踏板模擬駕駛汽車.視頻記錄多種光照條件下駕駛員正常駕駛、打哈欠、慢眨眼、入睡、大笑等模擬駕駛場景，對每段視頻進(jìn)行疲勞狀態(tài)劃分（清醒、疲勞、重度疲勞）.取場景幀率為30幀/s的AVI格式視頻.部分視頻圖像如圖4所示.

圖4 NTHU數(shù)據(jù)集的部分視頻圖像Fig.4 Partial video images of NTHU dataset

自制數(shù)據(jù)集是在模擬駕駛平臺采集各類情況下的駕駛圖像數(shù)據(jù).建立的圖像數(shù)據(jù)包括駕駛員工作期間的大幅度轉(zhuǎn)頭、低頭、抬頭、前傾、后仰、歪頭情況下的睜眼閉眼和打哈欠圖像，該類均包含戴口罩與不戴口罩的圖像.為了提高駕駛員面部遮擋圖像識別的準(zhǔn)確性，采集駕駛員扶口罩、揉鼻子數(shù)據(jù)集.部分?jǐn)?shù)據(jù)集的圖片如圖5所示.

圖5 自制數(shù)據(jù)集圖像的示意圖Fig.5 Sketch of self-made data set image

在NTHU駕駛員疲勞檢測視頻數(shù)據(jù)集中截取數(shù)據(jù)樣本3 300張，自制數(shù)據(jù)集共計(jì)包含8 700幅分辨率為1 920像素×1 080像素的圖像數(shù)據(jù).將其中10 000張作為訓(xùn)練集，1 000張作為驗(yàn)證集，1 000張為測試集數(shù)據(jù)集.利用標(biāo)注工具，對數(shù)據(jù)集圖片進(jìn)行標(biāo)注及歸一化處理，避免與正常講話交流狀態(tài)混淆.在多次實(shí)驗(yàn)后截取駕駛員未戴口罩時(shí)的打哈欠圖像中部的70%進(jìn)行標(biāo)注，將該段圖像數(shù)據(jù)的嘴部區(qū)域標(biāo)注為張嘴，其余均標(biāo)注為閉嘴狀態(tài)，即X= 70.由于戴口罩后嘴部區(qū)域特征被遮擋，在打哈欠的開始及結(jié)束部分圖像，不再大幅度撐開口罩，面部神情開始恢復(fù)平靜.觀察駕駛員在戴口罩情況下的打哈欠視頻流數(shù)據(jù)，截取戴口罩情況下打哈欠完整時(shí)間序列圖像中部50%的圖像數(shù)據(jù)，將該段圖像數(shù)據(jù)標(biāo)注為打哈欠，即Y= 50.

標(biāo)簽分別是未戴口罩（Um）、戴口罩（Ym）、睜眼（Oe）、閉眼（Ce）、張嘴（Om）、閉嘴（Cm）、打哈欠（Ya）.將標(biāo)簽框參數(shù)定義為(C，rx，ry，L，S)，其中C為類別ID參數(shù)，rx和ry為目標(biāo)中心點(diǎn)的橫、縱坐標(biāo)，L為目標(biāo)框的較長邊，S為目標(biāo)框的較短邊.

2.2 算法改進(jìn)效果比較

模型訓(xùn)練參數(shù)的輸入尺寸為640像素×640像素，BatchSize設(shè)置為16，迭代次數(shù)為300，優(yōu)化器選擇隨機(jī)梯度下降（SGD）法.采用One Cycle方法對學(xué)習(xí)率進(jìn)行調(diào)整，初始學(xué)習(xí)率為10-5，呈余弦變化衰退到10-7.為了提高臉部遮擋情況下的檢測能力及模型泛化能力，增加噪聲數(shù)據(jù)，提升模型的魯棒性，對輸入圖像數(shù)據(jù)進(jìn)行Mosaic數(shù)據(jù)增強(qiáng).對于傳入圖像進(jìn)行隨機(jī)翻轉(zhuǎn)、縮放、裁剪等處理，將得到的圖像進(jìn)行依次拼接.

為了驗(yàn)證改進(jìn)方法的有效性以及改進(jìn)后模型與當(dāng)前主流目標(biāo)檢測算法的優(yōu)劣效果，將其余算法設(shè)置相同的訓(xùn)練參數(shù)進(jìn)行驗(yàn)證.訓(xùn)練結(jié)果如表1所示，表中包括各模型參數(shù)量M、浮點(diǎn)運(yùn)算次數(shù)FLOPs及各檢測類別的AP.AP表示某一檢測類精確率（precision）和召回率（recall）形成PR曲線下的面積，平均精度均值（mAP）是將所有類的AP求平均值.從表1可知，改進(jìn)后的目標(biāo)檢測算法的平均精度最高，達(dá)到99.4%，表明該模型相較于其他模型具有更加理想的檢測效果.Faster-RCNN模型在參數(shù)量、計(jì)算量上大幅度高于其他模型，平均檢測精度未見明顯的優(yōu)勢，但是在面部檢測類別中對于是否戴口罩的檢測精度最高，可見對于大目標(biāo)物體檢測具有優(yōu)勢，但是對于眼部、嘴部目標(biāo)變化多樣，尤其針對睜眼、閉眼類別的檢測精度較低.YOLOv3-tiny、SSD、YOLOv5均為端到端類型的目標(biāo)檢測網(wǎng)絡(luò)，YOLO系列網(wǎng)絡(luò)的參數(shù)量和計(jì)算量更低，檢測精度更高.在YOLOv5-S基礎(chǔ)網(wǎng)絡(luò)上分別增加檢測層和BIFPN網(wǎng)絡(luò)結(jié)構(gòu)，開展消融實(shí)驗(yàn)，驗(yàn)證改進(jìn)方法的有效性.從表1可知，在增加檢測層后，對眼部、嘴部區(qū)域的檢測精度明顯提升，戴口罩情況下的打哈欠檢測精度也有了提高，但戴口罩的檢測精度有小幅下降.可見，在增加檢測層后，對小尺度的目標(biāo)檢測性能和圖像中的細(xì)節(jié)特征提取性能有所提高.在增加BIFPN網(wǎng)絡(luò)結(jié)構(gòu)后，模型的整體性能提升，尤其是對于戴口罩情況下的打哈欠檢測，可見特征層融合后，更多的圖像細(xì)節(jié)信息被保留下來.改進(jìn)后模型的檢測效果如圖6所示.可知，該模型在駕駛員大幅度轉(zhuǎn)頭、低頭、手部遮擋、戴口罩等情況下，均可對眨眼、打哈欠進(jìn)行識別.

表1 不同模型的性能比較Tab.1 Performance comparison of different models

圖6 本文改進(jìn)后模型的檢測效果圖Fig.6 Checking effect chart of improved model

2.3 參數(shù)補(bǔ)償計(jì)算

利用人臉關(guān)鍵點(diǎn)算法計(jì)算駕駛員在正臉狀態(tài)下閉眼、張嘴的幀數(shù)，與當(dāng)前的數(shù)據(jù)預(yù)處理方法進(jìn)行比較，根據(jù)比值進(jìn)行補(bǔ)償.截取多位模擬駕駛員正臉狀態(tài)下的眨眼、打哈欠圖像，利用Dlib庫中的人臉關(guān)鍵點(diǎn)檢測器，計(jì)算駕駛員左、右眼的EAR并取均值.

結(jié)合式（3）、（4）計(jì)算，取X1為0.8，即表示眼睛閉合程度大于眼瞼覆蓋瞳孔的80%時(shí)視為閉眼.同理，X2取0.2，即嘴巴張開程度大于最大張度的80%時(shí)視為打哈欠動作.EAR的最大值和最小值分別為0.48、0.12，閾值為0.19；MAR的最大值和最小值分別為0.66、0.34，閾值為0.60.當(dāng)EAR＜0.19時(shí)視為閉眼，MAR＞ 0.60時(shí)視為打哈欠動作.

根據(jù)所得的閾值，結(jié)合式（5）計(jì)算各補(bǔ)償參數(shù)S.閉眼幀數(shù)的統(tǒng)計(jì)如表2所示.表中，Ne為眨眼次數(shù)，NPe為利用關(guān)鍵點(diǎn)方法識別的閉眼幀數(shù)，NTe為眼部目標(biāo)檢測的標(biāo)簽幀數(shù)，Re為NPe與NTe的比值.分別統(tǒng)計(jì)了眨眼次數(shù)為100、500、1 000時(shí)的關(guān)鍵點(diǎn)幀數(shù)與目標(biāo)檢測標(biāo)簽幀數(shù)，SE為1.31～1.34.通過增加眨眼樣本數(shù)量，可以提高SE的精準(zhǔn)度，本次SE取1.32.

表2 閉眼幀數(shù)的統(tǒng)計(jì)Tab.2 Statistics of closed-eye frames

打哈欠幀數(shù)的統(tǒng)計(jì)如表3所示.表中，Nm為打哈欠次數(shù)，NPm為關(guān)鍵點(diǎn)方法識別打哈欠幀數(shù)，NTm為嘴部目標(biāo)檢測標(biāo)簽幀數(shù)，Rm為NPm與NTm的比值.分別統(tǒng)計(jì)20、40、100次關(guān)鍵點(diǎn)幀數(shù)與目標(biāo)檢測標(biāo)簽幀數(shù)，SM為1.210～1.220，本次SM取1.22.根據(jù)當(dāng)前SM的計(jì)算結(jié)果可知，本次SY取1.71.

表3 打哈欠幀數(shù)統(tǒng)計(jì)Tab.3 Statistics of yawning frames

2.4 多特征融合方法驗(yàn)證

對模擬駕駛視頻中的眨眼和打哈欠次數(shù)進(jìn)行人工核驗(yàn)，與模型識別結(jié)果進(jìn)行比較，結(jié)果如表4、5所示.表中，NDe、NDm分別為算法檢測眨眼、打哈欠次數(shù)，NAe、NAm分別為眨眼、打哈欠算法檢測與人工校驗(yàn)吻合次數(shù)，NFe、NFm分別為眨眼、打哈欠算法檢測的誤檢次數(shù)，NLe、NLm分別為眨眼、打哈欠算法檢測的漏檢次數(shù)，Ae、Am分別為眨眼、打哈欠算法檢測的準(zhǔn)確率.準(zhǔn)確率（Acc）的計(jì)算公式為

表4 眨眼計(jì)數(shù)分析Tab.4 Blink count analysis

表5 哈欠計(jì)數(shù)分析Tab.5 Yawning count analysis

式中：TP為檢測計(jì)數(shù)與人工核驗(yàn)吻合的次數(shù)，F(xiàn)N為檢測計(jì)數(shù)的漏檢次數(shù)，F(xiàn)P為檢測計(jì)數(shù)的誤檢次數(shù).

根據(jù)實(shí)驗(yàn)結(jié)果表明，利用該方法可以對戴口罩和不戴口罩的駕駛員進(jìn)行眨眼和打哈欠計(jì)數(shù)檢測，在目前駕駛?cè)蝿?wù)中眨眼準(zhǔn)確率大于95%，打哈欠計(jì)數(shù)錯誤至多為1次.在當(dāng)前的硬件條件中，單幀圖像檢測僅需0.01 s，滿足實(shí)時(shí)檢測的需求.

結(jié)合式（10）可知，歸一化處理后的數(shù)據(jù)均為無量綱的小數(shù)，且集中在[0, 1.0]區(qū)間內(nèi).各指標(biāo)可以進(jìn)行加權(quán)相加，綜合反映駕駛員的疲勞狀態(tài).結(jié)合模擬駕駛中駕駛員不同疲勞程度下的各疲勞參數(shù)值以及現(xiàn)有研究中各參數(shù)指標(biāo)反映駕駛員疲勞的可靠性程度，設(shè)置不同權(quán)重[25-26].NTHU駕駛員疲勞狀態(tài)檢測視頻中清醒狀態(tài)時(shí)的疲勞參數(shù)指標(biāo)最小值和最大值及權(quán)重如表6所示，參數(shù)統(tǒng)計(jì)的時(shí)長為1 min.表中，Pmin、Pmax為疲勞參數(shù)的最小值、最大值，W為各疲勞參數(shù)的權(quán)重.若眨眼次數(shù)不在設(shè)定范圍中直接計(jì)為1，其余參數(shù)指標(biāo)低于最小值則直接計(jì)為0，高于最大值直接計(jì)為1.

表6 綜合疲勞參數(shù)的最大值以及權(quán)重Tab.6 Maximum value and weight of comprehensive fatigue parameters

Q的取值在[0, 1.0]區(qū)間內(nèi).根據(jù)Q的不同，將狀態(tài)分為3個(gè)等級：清醒、疲勞、重度疲勞.綜合疲勞指標(biāo)的權(quán)重和疲勞等級，將特征參數(shù)加權(quán)值與疲勞等級相對應(yīng)，根據(jù)對應(yīng)關(guān)系能夠判斷駕駛員的駕駛狀態(tài).對應(yīng)關(guān)系如表7所示.

表7 綜合疲勞指標(biāo)與疲勞等級的對應(yīng)關(guān)系Tab.7 Relationship between comprehensive fatigue index and fatigue grade

為了驗(yàn)證模型識別及參數(shù)補(bǔ)償方法的可靠性，利用NTHU駕駛員疲勞檢測視頻數(shù)據(jù)集中的部分?jǐn)?shù)據(jù)進(jìn)行驗(yàn)證.隨機(jī)選取3組數(shù)據(jù)，每組數(shù)據(jù)均包含清醒、疲勞、重度疲勞狀態(tài).結(jié)合疲勞檢測模型計(jì)算單位時(shí)間（1 min）下的疲勞參數(shù)，對眨眼、打哈欠識別幀數(shù)分別乘以參數(shù)補(bǔ)償值，最終計(jì)算結(jié)果、綜合疲勞指標(biāo)以及對應(yīng)的疲勞狀態(tài)如表8所示.可知，利用提出的疲勞狀態(tài)識別方法及定義的疲勞指標(biāo)，可以有效地識別駕駛員行駛狀況下的疲勞狀態(tài)；識別結(jié)果與真實(shí)狀態(tài)全部吻合，設(shè)置的閾值及劃分方法均合理，識別效果良好.

表8 NTHU數(shù)據(jù)集的不同疲勞狀態(tài)識別結(jié)果Tab.8 Different fatigue state identification results of NTHU dataset

根據(jù)工信部發(fā)布的第346批車輛產(chǎn)品公示清單可知，公交車、出租車服務(wù)業(yè)車輛與私家車均屬于M類.將上述方法及預(yù)警機(jī)制直接應(yīng)用至本文的模擬駕駛.截取模擬駕駛實(shí)驗(yàn)中的多段視頻，根據(jù)戴口罩情況分成2組，1組為未戴口罩，2組為戴口罩，計(jì)算單位時(shí)間(1 min)內(nèi)的各疲勞參數(shù).驗(yàn)證結(jié)果如表9所示.表中，真實(shí)狀態(tài)由駕駛員的主觀反應(yīng)及行駛狀態(tài)綜合判定，其中MORM與MOR兩者的差別僅為是否戴口罩，均為單位時(shí)間內(nèi)打哈欠幀數(shù)占比，因此權(quán)重相同.從表9可知，識別結(jié)果與真實(shí)狀態(tài)均吻合，驗(yàn)證了該綜合疲勞指標(biāo)與疲勞等級劃分的魯棒性和可行性，對于未戴口罩和戴口罩的情況均可以進(jìn)行疲勞狀態(tài)識別.

表9 模擬駕駛疲勞狀態(tài)的識別結(jié)果Tab.9 Recognition results of simulating driving fatigue state

3 結(jié) 論

（1）針對服務(wù)行業(yè)駕駛員在實(shí)際工作中會出現(xiàn)的大幅度轉(zhuǎn)頭、遮擋、仰頭、俯視等姿勢變化導(dǎo)致的眨眼、打哈欠檢測精度低及疫情防控下戴口罩后無法進(jìn)行打哈欠檢測的問題，提出利用改進(jìn)后的YOLOv5目標(biāo)檢測算法對眨眼和打哈欠識別.通過增加檢測層及多層次特征層融合的方式，提高對單幀圖像眼部、嘴部區(qū)域及打哈欠檢測區(qū)域的目標(biāo)檢測精度，將多幀檢測結(jié)果放在連續(xù)時(shí)間序列中，利用邏輯方法進(jìn)行眨眼和打哈欠計(jì)數(shù).根據(jù)實(shí)驗(yàn)結(jié)果表明，利用該方法可以對戴口罩和不戴口罩的駕駛員進(jìn)行眨眼和打哈欠計(jì)數(shù)檢測，在目前駕駛?cè)蝿?wù)中眨眼準(zhǔn)確率大于95%，打哈欠計(jì)數(shù)錯誤至多為1次.在當(dāng)前硬件設(shè)備中，單幀圖像檢測僅需0.01 s，滿足實(shí)時(shí)檢測的需求.

（2）結(jié)合人臉關(guān)鍵點(diǎn)算法對疲勞參數(shù)進(jìn)行補(bǔ)償，提高眨眼和打哈欠幀數(shù)的檢測準(zhǔn)確率.對多種疲勞指標(biāo)進(jìn)行歸一化處理，賦予不同權(quán)重，綜合判斷駕駛員的疲勞狀態(tài).公開數(shù)據(jù)集與自制數(shù)據(jù)集驗(yàn)證結(jié)果表明，利用該方法可以準(zhǔn)確判斷駕駛員疲勞狀態(tài)，對疫情防控下的駕駛員疲勞檢測具有重要意義.