基于面部識別與深度學習的在線學習疲勞檢測系統

姚程越 繆澤洋 程子涵 高蕊 范宇鵬

摘要：在進行學習時，通過學生的面部信息會判斷出學生的疲勞狀態，利用68點定位技術可對疲勞狀態進行分析。本系統通過視頻以及圖片還有攝像頭時時檢測的方法，通過68點定位眼睛和嘴，來計算出眼睛的橫縱比為睜眼或者閉眼，再測出嘴部的橫縱比來確定嘴的張開程度從而判定駕駛員是否處于疲勞狀態。但由于每個人的眼和嘴都不是完全相同的，故加入了SVM模型來對用戶當前的眼部嘴部特征進行更加準確地判斷。

關鍵詞：人臉識別，SVM模型，疲勞檢測，人臉68特征點

1.人臉檢測

在學習過程中，電腦或者手機發出的光線對采集人臉的數據有很大的影響，HOG算子通過計算邊緣的梯度和拐角的方向來描述物體的形狀，能夠減小光照和背景因素對目標檢測的影響，相對于其他方法擁有自身的優勢[1]。

2.基于人臉特征點的疲勞駕駛檢測方法

2.1人臉特征點定位

本系統首先檢測了攝像頭（照片或視頻）中的人臉區域，然后通過Dlib中的68個人臉特征點進行定位，獲取到眼睛還有嘴巴的位置后，通過閾值來判斷雙眼和嘴疲勞。圖像的的預處理用到了Dlib的函數，將視頻流中的圖像和預處理結果的Dlib進行特征對比，從而實現了人臉追蹤。在獲取到人臉框架后，用Dlib中的特征點進行標注人臉的眼睛鼻子等部位。

2.2人眼，嘴部疲勞檢測

在定位人臉68點后，可知37-42號點代表人的左眼、43-48號點代表人的右眼、49-60號點代表人的嘴部外輪廓，61-68號點代表人的嘴部內輪廓。

可以看出，描述人眼部的特征點的高度和寬度存在一定的數量關系，當睜眼狀態轉向閉眼狀態時，高度與寬度的比值在急劇減小，用比值的形式進行表示，得到公式（3-1）[3]。

根據數據測試發現，人在睜眼狀態下EAR在0.25左右，人眼閉合狀態EAR小于0.15， 正常說話時的MAR不多于0.3，持續幀數不超過20幀，打哈欠的MAR最大值可到0.8，平均超過0.3，持續幀數超過100幀[4]，所以，可根據公式（3-1）和公式（3-2）的結果對眼部和嘴部進行閾值判斷。

3.SVM模型訓練

由于不同人的眼部、嘴部存在著不同的差異，為了提高算法的準確度，本系統通過SVM模型來判斷用戶當前眼部嘴部特征這樣可以提高本系統的準確程度。

由2.2可知，眼部以及嘴部的狀態主要分為睜眼、閉眼、張嘴、閉嘴四個狀態。用戶先在系統中錄入四個狀態的信息各1000幀（每幀采集多維特征向量），采集時將EAR、MAR的值作為區別不同狀態的臨界值，以防錄入錯誤的數據。將采集好的數據帶入SVM類，采用線性核，利用SVM分類器中的二分類，分別構造眼部SVM模型和嘴部SVM模型即可滿足需求。

4.疲勞識別判定

疲勞程度在眼部、嘴部狀態判斷的基礎上又可以進一步檢測用戶的PERCLOS即單位時間內眼睛閉合時間占單位時間的百分比和單位時間內哈欠次數這兩個參數[5]。通過實驗發現，疲勞程度與這兩個參數均成正比且打哈欠影響成分更大些，分別賦予0.4、0.6的權重可得到疲勞值公式（3-3）。

其中T為每個疲勞檢測周期，在視頻流中加載訓練好的SVM模型分別對眼部和嘴部進行分類，一旦用戶閉眼即計算T時間內累計閉眼時間，打哈欠則記錄T時間內打哈欠次數。

5.仿真實驗

配置好HP Wide Vision HD Camera攝像頭拍攝演示視頻，拍攝實驗包括睜眼，閉眼，張嘴，閉嘴的視頻片段，其中張開定義為負樣本集合，閉合定義為正樣本集合。實驗采用7個人的多種不同的表情樣本，頭部移動，以及面部變化，還有7個人的5000張不同照片來進行檢測。測試結果如下圖所示。

6.結語

本文通過實時采集學生在學習時的實時畫面，通過HOG算子檢測視頻中的臉，然后根據人眼縱橫比例和嘴部縱橫比例來判斷是否疲勞。通過測試表明，本文提出的方法在疲勞檢測方面有良好的作用，在檢測學習方面具有廣闊的前景。

參考文獻：

[1]Bergasa L M， Nuevo J， Sotelo M A， et al. Real-time system for monitoring driver vigilance[J].IEEE Trans on Intelligent Transportation Systems，2006，7（1）：63-77.

[2][1]譚桂玲，鄧三鵬.基于嵌入式疲勞駕駛預警系統設計[J].南方農機，2020，51（13）：10-11.

[3]王坤.基于機器視覺的疲勞駕駛檢測系統究[D]杭州.杭州電子科技大學，2016

[4][1]岳翼.基于圖像識別的模擬駕駛疲勞檢測系統設計及實現[J].電子世界，2016（22）：69-70.

[5][17]鄒昕彤，王世剛，趙文婷，等.基于眼睛與嘴部狀態識別的疲勞駕駛檢測[J].吉林大學學報（信息科學版），2017，35（2）：204-211.

作者簡介：姚程越（2000-10-07）男，漢， 黑龍江省望奎縣，本科，研究方向：人工智能。

本文由大學生創新創業項目《基于面部識別與深度學習的疲勞檢測系統》支持，項目編號：202010214120