融合DCNN的面部特征檢測在駕駛員危險駕駛中的應用研究

王容霞，賀 芬，楊偉煌，趙林玲

(廣州南洋理工職業學院 信息工程學院，廣東 廣州 510925)

近幾年，人工智能技術在諸多領域得到了較為廣泛的應用.針對視頻等動態圖片的處理，相關專家和學者也進行了許多研究，在跟蹤識別、動作識別、視頻分類等方面具有突出的貢獻[1-3].深度卷積神經網絡(Dynamic Convolutional Neural Network，DCNN)作為一種經典的深度學習網絡，能夠很好實現視頻特征的有效提取[4-6].本研究提出一種融合DCNN的面部特征定位模型，并利用駕駛員危險駕駛狀態檢測算法實現危險狀態的識別，旨在為駕駛員的疲勞檢測系統開發奠定基礎.

1 融合DCNN的面部特征檢測在駕駛員危險駕駛中的應用

1.1 融合DCNN的面部特征定位模型

人臉關鍵點檢測方法主要包括活動外觀模型(Active Appearance Models，AAM)、主動形狀模型(Active Shape Models ，ASM)、級聯回歸、深度學習4種.ASM檢測方法對環境的適應能力弱，運行效率非常低.AAM模型在構建模型階段會引入紋理模型，運行效率和適應性均有明顯的提升.級聯回歸檢測方法能完成對預測結果的細化分類.深度學習檢測方法擁有較好的精確度和速度.人眼定位算法能很好地實現駕駛員的疲勞檢測，包括人臉區域分割法、模板匹配法、Hough變換法、灰度投影法[7-8].人臉區域分割法能較好地獲取眼睛位置，但在駕駛員戴眼鏡或光照強度較低的情況下，定位效果欠佳.模板匹配法非常簡單，但實時性非常差且會受到人臉表情的影響.Hough變換法在駕駛員正常睜眼的情況下的定位效果較好，但當駕駛員眼睛睜開程度較小或戴眼鏡情況下的精確度很低.

DCNN人臉關鍵點檢測網絡主要由23個CNN子網絡級聯組成，DCNN包括S0、S1、S2這3種不同的網絡結構，第1階段F1網絡采用S0，EM1、EN1使用S1；第2階段和第3階段20個CNN均采用S2.盡管該網絡能精確檢測人臉關鍵點，但對嘴巴和眼睛定位存在以下不足：DCNN僅能完成5個人臉關鍵點檢測，可定位嘴巴和眼睛的大概位置，但沒法準確知道嘴巴和眼睛的大小.DCNN網絡通過級聯CNN能保證檢測精度，但因結構復雜導致檢測速度慢[9-11].BL-DCNN能夠完成20個人臉關鍵點的檢測，其中下巴和鼻子各1個，嘴巴、眼睛、眉毛分別4個、8個、6個.BL-DCNN定位模型包括精確定位和粗定位，粗定位階段利用1個CNN網絡獲取20個人臉關鍵點，精確定位階段使用1個CNN網絡精確定位1個器官單元.BL-DCNN中人臉關鍵點粗定位網絡參數如表1所示.粗定位網絡結構采用輕量級網絡MobileNetV2中的bottleneck層替代卷積層，輸入圖像大小為96*96*3，相鄰bottleneck層增加add層整合特征，bottleneck層卷積核移動步長為2，最后利用dropout層連接兩個全連接層防止過擬合.

表1 BL-DCNN中人臉關鍵點粗定位網絡參數

BL-DCNN中人臉關鍵精確定位網絡結構如圖1所示.精確定位網絡結構輸入圖像的大小為40*40*3，且在傳輸過程中圖像大小依次減小，不同部位的關鍵點精確定位使用的輸出層神經元數量不同，取值為6或8.利用均方誤差計算模型的損失值，損失函數的計算公式為式(1).

圖1 BL-DCNN中人臉關鍵精確定位網絡結構

(1)

通過人臉關鍵點預測值和真實值的歐式距離與人臉大小的比值R確定檢測誤差，計算公式為式(2).

(2)

(3)

lex和ley分別表示坐標空間內眼睛邊框矩形頂角對應的位置信息，第i個和第j個關鍵點的橫坐標分別用xi和yj指代，第m個和第n個關鍵點的縱坐標分別用yn和ym指代.嘴巴定位需借助下巴和鼻子的位置，計算公式為式(4).

(4)

嘴巴邊框矩形頂點對應的橫縱坐標用mouthx和mouthy指代，第k個關鍵點的橫坐標用xk指代，第i個和第j個關鍵點的縱坐標分別用yi和yj指代.

1.2 駕駛員危險駕駛狀態檢測算法

現階段常用的眼睛狀態識別方法有灰度投影法和Hough找圓法.Hough找圓法在駕駛員眼睛瞳孔近乎為圓形或戴眼鏡的情況下的檢測效果很差，而灰度投影法在眼睛被光源直射或光照不均勻的情況下的檢測效果不理想.本研究提出一種基于CNN眼睛狀態識別方法，該方法能檢測駕駛員打哈欠動作、閉眼時間、眼睛眨眼頻率.該識別網絡包括8層，輸入圖像的尺寸為30*60.首先通過最大池化層和兩個卷積完成對局部特征的提取，接著采用兩個全連接層會整合獲取到的局部特征，最后根據輸出層最終的結果確定眼睛的狀態[12-15].輸出層神經元的數量為1，激活函數為sigmoid函數，激活值的取值范圍為[0，1]，正樣本用睜眼標簽值1表示，負樣本用閉眼標簽值0表示.預測階段，當預測值超過0.5，則斷定眼睛為睜眼；當預測值低于0.5，則斷定眼睛為閉眼.損失函數計算公式為式(5).

(5)

圖2 融合多特征的疲勞駕駛檢測

2 融合DCNN的面部特征在駕駛員危險駕駛狀態檢測效果分析

2.1 融合DCNN的面部特征定位效果的分析

實驗的訓練樣本為CeleA人臉數據集，數量為60 000張，測試集和訓練集的比例為1∶11.依據人臉關鍵點完成20個人臉關鍵點的圖像標注，數據格式為.txt，文件總共60 000行，每行41列.人臉圖像路徑為第1列，其余為人臉關鍵點的坐標位置.網絡模型需要ton過歸一化完成數據模型訓練，訓練過程中粗定位的網絡損失值如圖3(a)，眉毛、眼睛、嘴巴精確定位的網絡損失值分別如圖3(b)、圖3(c)、圖3(d)所示.人臉關鍵點粗定位的網絡損失值隨著迭代次數的增加而不斷下降，損失值變化范圍為0.0032—0.3405.而在精確定位網絡中，嘴巴、眼睛、眉毛位置關鍵點的損失值隨著迭代次數的增加而不斷下降，最終分別穩定在0.0038、0.0036、0.0041. BL-DCNN模型中粗定位的人臉關鍵點的平均誤差值為0.07，而精確定位后嘴巴、眼睛、眉毛的誤差值分別為0.034、0.032、0.037.

圖3 BL-DCNN訓練過程中粗定位和精確定位的網絡損失值

BL-DCNN與常見的人臉關鍵點檢測方法效果對比如表2所示.BL-DCNN人臉關鍵檢測方法在運行時間和平均誤差方面均具有明顯的優勢.BL-DCNN檢測方法在運行時間和人臉關鍵點平均誤差兩個方面均優于DCNN檢測方法.該研究對比人臉關鍵點的眼睛定位方法的性能提出的BL-DCNN檢測方法、模板匹配法、Hough變換法、灰度投影法的準確率分別為94.2%、84.7% 、80.5%、90.2%.因此，眼睛定位方法的檢測效果最佳.與此同時，嘴巴和眼睛定位方法無論在任何情況下均能準確獲取位置.

表2 BL-DCNN與常見的人臉關鍵點檢測方法效果

2.2 駕駛員危險駕駛狀態檢測分析

駕駛員閉眼和睜眼數據樣本分別來源CEW數據集和CeleA數據集與sider face數據集，數量分別為15 000張和20 000張，打哈欠數據集來源于YawDD.訓練集和測試集的比例為4∶1.數據集通過2600次迭代訓練，眼睛狀態識別網絡的損失值從1.08下降至0.07，而眼睛狀態識別的準確率從60%增加至94%.本研究提出的CNN+張角眼睛狀態識別方法對駕駛員睜眼和閉眼的準確率分別為95.2%和94.5%，而CNN、灰度水平投影、Hough投圓3種眼睛狀態識別的準確率均低于CNN+張角眼睛狀態識別方法，CNN眼睛狀態識別駕駛員睜眼和閉眼準確率分別為95.1%和91.4%.本研究選取4名不戴眼鏡、4名戴眼鏡共8名駕駛員來分析疲勞駕駛狀態，疲勞駕駛檢測方法結果如圖4所示.無特征、閉眼時間、閉眼時間+眨眼頻率、融合多特征的4種檢測方法分別用檢測A-D表示. 疲勞總數量為50個，通過融合多特征的疲勞特征檢測方法能成功檢測的數量為47個，準確率高達94%.

圖4 疲勞駕駛檢測方法的結果

3 結論

針對現階段駕駛員疲勞檢測存在效率慢、精度低等問題，提出一種BL-DCNN人臉關鍵點檢測模型.通過粗定位和精確定位實現人臉關鍵點和嘴巴、眼睛、眉毛等特征位置的定位，并依據定位結果構建融合多特征的疲勞駕駛檢測方法.人臉關鍵點粗定位網絡損失值的變化范圍為0.0032—0.3405.而精確定位駕駛員嘴巴、眼睛、眉毛位置關鍵點分別穩定在0.0038、0.0036、0.0041. 粗定位的人臉關鍵點的平均誤差值為0.07，而精確定位后嘴巴、眼睛、眉毛的誤差值分別為0.034、0.032、0.037.BL-DCNN人臉關鍵檢測方法在運行時間和平均誤差方面均優于其他檢測方法.本研究提出的眼睛定位方法、模板匹配法、Hough變換法、灰度投影法的準確率分別為94.2%、84.7% 、80.5%、90.2%.眼睛狀態識別網絡的損失值從1.08下降至0.07，而眼睛狀態識別的準確率從60%增加至94%.