基于改進Yolov3的駕駛員疲勞檢測

朱峰， 陳建， 陳靖芯， 嚴明， 向露

(揚州大學機械工程學院， 揚州 225000)

隨著城市化進程不斷加快，中國汽車的需求量和保有量也急劇上升。截至2020年9月，中國汽車保有量達到了2.75億輛，隨著車輛保有量的增加，交通事故的發生率也在逐年上升。2017年交通事故共計20.3萬起，因車禍死亡人數6.3萬人，2018年交通事故較2017年上升20.6%，2019年交通事故較2018年下降18.3%[1]，雖然事故率有所下降但仍不容樂觀。研究表明疲勞駕駛是致使車禍發生的重要原因之一，如果能夠在交通事故前檢測出駕駛員的疲勞行為并及時提醒可以有效減少因疲勞駕駛而導致的車禍的發生，因此研究疲勞檢測算法對改善交通道路安全有著重要意義。

目前疲勞檢測主要分為三大類：基于車輛信息的檢測方法，基于駕駛員信息的檢測方法和基于多信息融合的檢測方法[2]。基于車輛信息的檢測方法包括車輛加速度信息、車輛轉向角信息等來判斷駕駛員的疲勞情況，該方法對于外界環境變化敏感，針對于不同的路況、駕駛員駕駛習慣、天氣等變化因素難以定量分析，所以并不是疲勞駕駛的主要研究方向?；隈{駛員信息的檢測方法分為兩種信息類型，一種是駕駛員的生理參數，主要檢測參數包括腦電信號、心率等；另一種是駕駛員的行為特征，包括眼動特征、嘴部狀態，頭部姿態等，不論是駕駛員的生理參數還是行為特征在當前科技迅速發展的情況下都是容易收集并處理的，由于此方法能夠直接檢測疲勞特征并且駕駛員在駕駛時不需要佩戴接觸式實驗設備，所以目前大量研究都集中于此。基于多信息融合的檢測方法指的是將兩種或兩種以上的特征通過相應的信息融合算法判斷駕駛員的疲勞狀態，該方法雖然較前兩種更為復雜，但是算法融合多種特征準確率高，魯棒性強，更加適用于多變環境，基于多信息融合或將成為疲勞識別的主流方向。

Lang等[3]結合單位時間里眼睛閉合時間所占的百分比(percentage of eyelid closure over the pupil over time，PERCLOS)和平均閉眼速度(average eye-closure speed, AECS)，提出了一種新的駕駛員疲勞檢測算法，并驗證了算法的有效性。Yang等[4]提出了一種基于動態貝葉斯網絡、信息融合和多種背景和生理特征的駕駛員疲勞識別，實驗證明接觸生理特征(特別是心電圖和腦電圖)是判斷駕駛員的重要因素。Wang等[5]提出一種眼睛和嘴巴特征的疲勞檢測算法，該方法有效解決了眼睛被遮擋而無法檢測到相關特征的問題。Wei等[6]提出一種融合多源信息的自適應動態識別模型，該模型在決策級中引入了動態基本概率分布，并且在決策級融合中結合前一時間步上的疲勞狀態，提高疲勞識別的準確率。Zhang等[7]將卡爾曼濾波與專用開源跟蹤學習檢測(track-learning-detection, TLD)濾波器相結合，開發一種鼻子跟送算法，并基于鼻子跟蹤置信度、嘴角周圍梯度特征和人臉運動特征等開發一種用于打哈欠檢測的神經網絡。胡習之等[8]通過改進SSD(single shot multiBox detector)算法的臉部識別并基于面部特征分析對疲勞駕駛進行研究，并取得較好的檢測結果，對將來的疲勞檢測算法研究有重要意義。

為此，結合深度學習和傳統的機器學習實現基于面部特征信息的駕駛員疲勞檢測系統。首先基于改進的Yolov3(you only look once)算法實現人臉識別并結合卡爾曼濾波算法進一步加強算法的準確性。使用一種基于提升樹的關鍵點檢測算法提取臉部關鍵點，同時使用多個臉部特征進行疲勞檢測以達到準確率高魯棒性強的檢測目的。

1 具體研究方法

1.1 基于改Yolov3的人臉檢測算法

Yolo由Redmon等[9]于2016年首次提出。在Yolo提出之前，傳統的檢測算法的流程通常是先通過計算機圖形學(或者深度學習)的方法，對圖片進行查找，找出若干個可能存在物體的區域，將這些區域截取在進行分類。而Yolo不需要提前找到可能存在目標的圖像位置，可以實現端到端的目標檢測。

1.1.1 Yolov3基本結構

Yolov3的主干框架是DarkNet53,相較于其他網絡框架，DarkNet53中大量使用殘差神經網絡，這樣的做法有效解決了由于網絡深度過深而導致在進行梯度下降時候產生的梯度消失的問題。Yolov3還使用了特征金字塔的方法輸出3種尺度的特征層分別對不同尺寸的物體進行檢測，有效解決了小目標物體漏檢的問題，具體的框架如圖1所示。

Residual Block 1x為殘差結構；Conv2D Block為卷積結構；Upsamplling為上采樣Concat為張量拼接圖1 Yolov3結構Fig.1 Yolov3 structure

1.1.2 維度聚集

Yolov3算法在實際預測的過程中并不是直接預測Bounding-box的高和寬，而是通過邊框回歸得來的。其過程可以簡要概述為作者提前設置好anchor box的寬和高，網絡通過不斷學習尺度縮放值進行邊框回歸從而完成預測，具體預測寬和高表達式為

(1)

式(1)中：bw、bh分別為最終預測的邊框寬和高；pw、ph分別為提前設置好的anchor box的寬和高；tw、th分別為從網絡訓練得到的預測值。

由此可見，選擇合適anchor box的尺寸對于整個網絡非常重要，其值影響著目標檢測的準確率和網絡訓練速度。通過K-mean聚類方法選擇合適的邊框寬和高，不同于傳統的聚類算法選擇歐幾里得距離作為聚類的條件，而是使用IOU的值作為條件，具體可表示為

d(Box,Centroid)=1-IOU(Box,Centroid)

(2)

式(2)中：d為將處理后的IOU作為歐氏距離；Centroid為聚類時被選為中心的邊框；Box為樣本邊框；IOU為被選為中的邊框與樣本邊框的重合度。

選取anchor box數量k為2～12分別對訓練樣本進行聚類分析并計算每種情況下平均交并比的值，計算結果如圖2所示。

圖2 Anchor框數與平均交并比關系Fig.2 The connection between the number of Anchor frames and the average IOU

可以看出，隨著k值的增大，曲線逐漸變得平緩，曲線的拐點k=9時可以作為最佳anchor box數量。數據集對應的3個anchor box分別為(33,74)、(40,153)、(56,127)、(63,132)、(90,153)、(109,227)、(122,229)、(131,266)、(174,333)。

1.1.3 模型的訓練

數據集采集于模擬駕駛員駕駛的視頻集。通過安裝在車輛前的攝像頭拍攝模擬駕駛人員的臉部視頻，得到1 200張數據集通過數據增強(旋轉，平移、鏡像等)得到最終數據集2 500張，數據集通過Python自帶的Labelimg庫進行標注，并按照90%的訓練集和10%的驗證集來訓練，部分數據集如圖3所示。訓練時設置Batch size=8，迭代次數Epoch=100，使用Adam梯度下降、自適應學習率衰退、提前停止過擬合等技巧。具體訓練配置如表1所示。

圖3 部分數據集Fig.3 Partial data set

表1 實驗環境配置 Table 1 Experimental environment configuration

1.1.4 模型的評估

目標檢測算法的準確度通常用準確率Precision和召回率Recall來評估，其計算方法分別為

(3)

(4)

式中：TP為識別正確的目標數量；FP為錯誤識別目標的數量；FN為沒有被識別出來的目標數量。

由于目標的檢測準確率和召回率與置信度息息相關，取值不同的置信度，準確率和召回率也隨之改變，所以二者結合后的平均準確率(average precision， AP)可以用來衡量算法的綜合性能，算法改進前后的AP如表2所示。

算法改進前后檢測同一張圖片結果對比如圖4所示?？梢钥闯?，改進后的算法在置信度和邊框定位的準確性度上都優于改進前的算法，能夠較好地完成人臉檢測的任務。

表2 改進前后檢測效果對比Table 2 Comparison of detection effect before and after improvement

圖4 Yolov3改進前后檢測結果對比Fig.4 Comparison of test results before and after Yolov3 improvement

1.2 基于卡爾曼濾波的臉部追蹤

1.2.1 卡爾曼濾波的基本原理

在利用上述相關的算法進行人臉檢測時，若發生遮擋物遮擋或者轉身等復雜情況時，可能會出現檢測失敗的情況，當檢測失敗時就可以利用卡爾曼濾波算法[10]進行人臉的運動預測?？柭鼮V波是對于含有不確定信息的動態系統做出有根據的預測，卡爾曼濾波算法由預測和更新兩個部分組成，狀態預測的表達式為

(5)

先驗估計協方差方程為

(6)

更新部分包括卡爾曼增益，修正估計和更新后驗協方差矩陣，卡爾曼增益更新的表達式為

(7)

修正估計的表達式為

(8)

后驗估計協方差矩陣更新表達式為

(9)

式(9)中：Pt為t時刻后驗估計協方差矩陣；I為單位矩陣；Kt為卡爾曼增益；H為系統測量系數；Pt-為t時刻系統的先驗估計協方差。

基于Yolov3與卡爾曼濾波算法的目標檢測流程如圖5所示。首先使用Yolov3算法進行人臉檢測，若檢測過程中遇到遮擋或者檢測出來的邊框置信度未達到設置的閾值時則卡爾曼濾波算法介入進行邊框左上角和右下角坐標追蹤與預測。

圖5 卡爾曼濾波跟蹤流程圖Fig.5 Kalman filter tracking flow chart

1.2.2 實驗結果

截取一段實驗錄制視頻，每間隔10幀利用卡爾曼濾波進行臉部追蹤，預測結果如圖6所示?？捎^

xmin、ymin、xmax、ymax分別為追蹤框的左上角和右下角坐標圖6 卡爾曼追蹤結果Fig.6 Kalman trace results

測出在初期進行追蹤時，預測值與觀測值有較大的誤差，隨著時間的增加，預測值與實際值愈發接近，最終能夠取得較穩定的結果。

1.3 駕駛員面部特征提取

進行基于面部特征的疲勞研究時，眼睛與嘴巴作為疲勞時特征變化較明顯的部位，通常用來作為評判疲勞的特征參數。選取眼睛和嘴巴為特征同時進行提取相關參數進行進一步分析。

1.3.1 特征點定位

采用一種基于提升樹的人臉對齊算法[11]，算法的主要原理實際采用加法模型與向前分步算法,模型的表達式為

fm(x)=fm-1(x)+T(x;θm)

(10)

式(10)中：fm(x)、fm-1(x)為當前層和上一層的計算結果；T(x;θm)為當前層的提升樹；m為樹的序號；x為輸入圖像；θm為上一級提升樹的更新值。

基于提升樹的人臉對齊算法具體實現過程如下：首先在訓練樣本中隨機挑選一張圖像作為初始形狀，對于所有訓練圖像輸入的初始形狀是相同的，但是不同的是該初始圖像在各個訓練圖片上提取出來的特征是不相同的。作者以提取的不同特征作為輸入從而進行提升樹的分裂，提取的特征就是圖像中隨機兩點的像素差。通過將像素差與閾值對比實現樹的分裂，將圖像分入葉結點時計算平均殘差，并將殘差作為輸入輸出給下一課樹，這樣不斷對提升樹進行更新從而實現最終的形狀預測。利用該方法進行關鍵點檢測得到的結果如圖7所示。共檢測關鍵點68個點，其中點37～42和點61～68分別是眼部和嘴部特征點，用于疲勞特征參數的研究。

圖7 關鍵點檢測Fig.7 Key point detection

1.3.2 疲勞判別參數

(1)PERCLOS準則。在許多研究證明眼部狀態的變化能夠很好地反映當前的疲勞狀態，通常情況下，當人進入疲勞狀態時，眼睛眨動的頻率會變低并且眼睛閉合的時間相對清醒狀態變長。單位時間里眼睛閉合時間所占的百分比(percentage of eyelid closure over the pupil over time，PERCLOS)[12]常作為判別眼部疲勞狀態的參數，指特定時間內眼睛閉合程度超過某一閾值所占時間比，采用P80為評判標準，PERCLOS原理如圖8所示。

圖8 PERCLOS原理圖Fig.8 PERCLOS principle

在實際計算過程中使用某段時間內眼部疲勞的幀數占總幀數的百分比來計算PERCLOS的值，其計算公式為

(11)

式(11)中：f為PERCLOS值；M為特定時間內閉眼幀數；N為特定時間內幀數和。

(2)眼部持續閉合時間。眼部持續閉合時間指在特定時間內眼部維持閉合狀態所持續的時間，在疲勞狀態下，隨著疲勞程度的增加眼部持續閉合時間也會變長，以正常狀態下眼睛閉合持續的最長時間為閾值判斷是否疲勞。

眼部的睜閉情況通常用EAR(eye aspect radio)來計算，EAR表示眼睛縱橫比，即眼睛寬度與長度的比值。正常情況下，人眼睜開時寬度與長度的比值是一個固定的值，當人眼閉合時，眼睛長度不變，寬度迅速變小，縱橫比就會發生變化。眼部周圍特征點P1～P6如圖9所示。

EAR的計算公式為

(12)

式(12)中：P1～P6為眼部周圍的特征點的坐標。

(3) 嘴部開合程度。嘴部的特征變化與疲勞狀態也有著密切關系，通常情況下，當人處于疲勞狀態時，打哈欠的行為也會增加，若某一段時間內打哈欠的頻率超過正常狀態下的頻率，那么可以判斷處于疲勞狀態，通常用嘴部縱橫比(mouth aspect ratio, MAR)來衡量嘴部的開閉程度。嘴部特征點M1～M6如圖10所示。

圖9 眼部特征點 Fig.9 Ocular feature points

圖10 嘴部特征點Fig.10 Mouth feature points

嘴部縱橫比公式為

(13)

式(13)中：M1～M6為嘴部特征點的坐標。

1.3.3 疲勞判別過程

使用單一特征判斷疲勞狀態準確率較低，所以將特征組合進行多特征融合從而使得判別結果效果更佳。

疲勞判別流程如圖11所示，具體過程為：①檢測過程中若PERCLOS超過一定閾值且眼部持續閉合時間大于正常狀態下最長閉眼時間那么則判定為疲勞狀態；②檢測過程中嘴部打哈欠次數超過閾值且滿足眼部疲勞判別條件之一則判定為疲勞狀態。

圖11 疲勞判別流程圖Fig.11 Fatigue identification flow chart

2 實驗與分析

2.1 閾值確定

通過模擬駕駛錄制的視頻數據進行實驗與分析，共錄制8位駕駛員分別在清醒狀態與疲勞狀態下模擬行車的視頻，分別計算樣本在清醒狀態下和疲勞狀態下的ERA和MAR,其中某個樣本分析結果如圖12所示。

圖12 某個樣本在清醒和疲勞狀態下的ERA和MAR分析結果Fig.12 ERA and MAR analysis results of a sample under awake and fatigue conditions

圖12中前500幀是清醒狀態下的EAR與MAR，后200幀是疲勞狀態下的EAR與MAR，可以看出，進入疲勞狀態時眼部處于閉合狀態明顯多于清醒狀態并且哈欠次數增多。選取EAR=0.2，MAR=0.4作為眼睛和嘴巴開閉程度的閾值，當EAR<0.2則說明眼睛處于閉合狀態，當MAR>0.4說明嘴巴處于張開狀態。

2.2 樣本檢測與結果分析

將模擬駕駛錄制的視頻數據分割成20 s為一個樣本，共計108個樣本，將樣本進行人工標定得到共108個實驗樣本，其中清醒樣本85個，疲勞樣本23個。檢測結果如表3所示。結果顯示清醒狀態下檢測正確率為94.1%，疲勞狀態下檢測正確率為86.9%，平均正確率為92.5%，能夠達到較高的檢測水平。

表3 疲勞檢測結果Table 3 Fatigue test results

3 結論

針對臉部特征在疲勞時的變化，基于多信息融合設計了一套疲勞檢測算法，得出如下結論。

(1)首先針對復雜的駕駛環境，對Yolov3算法邊框進行維度聚集生成9個新的Anchor Box，實驗表明改進Yolov3算法在自建的數據集上AP提升了16.7%。

(2)為解決因人臉遮擋或誤判導致的漏檢，結合Yolov3算法與卡爾曼濾波算法進行人臉追蹤，實驗表明結合算法能夠有效地對目標進行跟蹤，具有更強的魯棒性。

(3)基于多信息融合進行疲勞檢測，算法在實車數據檢測平均正確率達 92.5%，能夠達到檢測疲勞的要求。