基于頭部多姿態融合識別的疲勞檢測與預警研究

馮宇航 葉輝 黃文禧 徐梓浩 林錦櫻

摘要： 疲勞預警在各領域都有重要意義，如工作學習狀態的預警、駕駛疲勞預警等。通過從用戶端攝像頭提取出人臉，選取眼部、嘴部等特征，計算人眼睛的開合程度、嘴部開合度、頭部偏移程度，并結合羅德里格斯旋轉公式的頭部姿態檢測算法，設計一個適用于多場景的疲勞檢測融合算法，并且同時介紹了疲勞檢測預警系統設計架構和核心算法過程。實驗結果表明，通過以上三種特征信息融合進行疲勞檢測具有較高的準確度，可適用于多種場景的疲勞檢測。

關鍵詞：人臉識別;特征提取;疲勞檢測;頭部多姿態;融合識別

中圖分類號：TP302? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）13-0012-03

Abstract： Fatigue early warning is of great significance in various fields， such as the early warning of work and learning status， driving fatigue and so on. By extracting the face from the client camera， selecting the eye， mouth and other features， calculating the opening and closing degree of human eyes， opening and closing degree of mouth， head offset degree， and combining with the head posture detection algorithm of Rodriguez rotation formula， a fatigue detection system suitable for multi scene is designed. The system architecture and core algorithm process are introduced. The experimental results show that the fatigue detection based on the above three feature information fusion has high accuracy and can be applied to a variety of scenes.

Key words：Face recognition; Feature extraction; Fatigue detection; head multi poses; fusion recognition

1 引言

1.1 疲勞檢測方法研究現狀

目前業內已經有采用物聯網數字化技術實現駕駛員精神狀況的檢測系統，它基于車聯網應用的，以適應行駛安全檢測的新需求。這種數字化的系統的應用融合姿態信息的多姿態人臉檢測方法，基于生物特征的頭部姿態估計方法，融合駕駛員自身多種生物特征的疲勞駕駛模型。大多數以嵌入式為主，普及率也比較低，目前研究疲勞駕駛預警系統的成果較以往增多了，但是還未見到一種方法被大家所公認。其原因主要是：雖然每一種方法都在某一方面具有了一定的說服力和可操作性，但是距離車載、實時、客觀的本質要求還有其不可克服的弊端。同時，不僅是駕駛疲勞，在工作和學習中也需要有疲勞預警系統，但目前的預警系統多是以疲勞駕駛為主，對于在辦公桌前工作或是在書桌前學習都不太好能夠適應需求。

1.2 背景分析

據不完全統計，50%的交通安全事故起源駕駛員意識不清醒從而釀成車禍。引起駕駛員主動駕駛意外最多的原因包括疲勞駕駛、注意力不集中。同時很多上班族長時間看電腦、手機對眼睛的影響是非常明顯的，會引發視疲勞。為了避免這種現象的發生，人們在工作時就應該給自己留出休息的時間。但許多人在工作時往往會過度投入，在自己眼睛疲倦時也毫無察覺，而疲勞預警系統就能夠通過對員工的眼睛進行實時的檢測以獲取當前的精神狀態，當精神狀態過于疲勞時會發出警告，告知員工應該適當休息，防止視疲勞的加深。

1.3 疲勞檢測預警目標

對目前的種種現狀，無論是疲勞駕駛、學習或者工作，研究出一款疲勞預警系統顯得十分的重要，無論對于社會方面還是對于經濟方面。它既要能夠正確的判斷使用者的疲勞狀況，又要能夠便于用戶的使用方便，因而設計一款基于移動端和PC端的預警系統是比較合適的。駕駛者通過使用手機實時監測當前的疲勞情況，長期坐在辦公室工作的用戶使用電腦檢測要更加方便一些，對于學習的學生而言，他們可以自行選擇使用手機或者是電腦進行檢測。我們希望通過系統能夠減少道路上因疲勞而產生的交通事故，讓工作和學習的用戶能夠更好地調整自己的休息時間，從而提高效率。

2 研究方法

2.1 基于頭部多姿態融合識別的疲勞檢測方法

2.1.1 基于眼睛閉合程度

研究了基于卡內基梅隆提出的度量疲勞的物理PERCLOS。PERCLOS方法通過眼睛閉合所占時間比例進行疲勞的判斷，目前有三種判斷準則：EM準則：瞳孔被眼瞼覆蓋超50%，判定眼睛為閉合;P70準則：瞳孔被眼瞼覆蓋超70%，判定眼睛為閉合;P80準則：瞳孔被眼瞼覆蓋超80%，判定眼睛為閉合。計算原理如圖1。

2.1.2基于嘴巴開合程度

基于MAR算法的哈欠檢測，此算法同樣利用了Dlib提取了嘴部的8個特征點，計算嘴部縱橫比，若縱橫比提升至MAR閾值之上，再迅速下降，則判斷為打哈欠。

2.1.3 基于頭部的偏移

基于羅德里格斯旋轉公式的頭部姿態檢測算法，并使用PERCLOS中的P70算法，以0度俯仰角（pitch）與0度滾轉角（roll）作為基準，若偏移程度超過最大值的30%，則判斷處于疲勞狀態。

2.2 單一生物特征閾值的設定

眼部閾值的設定：計算眼瞼實時值與用戶錄入的初始值對比，利用PERCLOS中的P80定理，若計算得出的PERCLOS值>P80，則判斷用戶處于疲勞;同時檢測眼睛閉合時長，若眼睛持續閉合超過3s，則判斷用戶處于疲勞狀態。

嘴部閾值的設定：人在打哈欠時，與說話不同，嘴巴的張開程度相對于正常說話明顯更大，且持續的時間更長，團隊通過定義PMRCLOS參數作為打哈欠的判斷標準，若PMRCLOS值維持在60%以上并保持3s以上，則判斷用戶處于打哈欠的疲勞狀態。

頭部偏移閾值的設定：當用戶處于疲勞狀態時，會產生打瞌睡現象，頭部則會發生一定程度的偏移，在使用程序時，要求用戶錄入一張坐姿端正的圖片，并以此作為基準的初始值，在往后的檢測過程中，當頭部的偏移程度超過初始值的30%，判斷用戶處于打瞌睡的疲勞狀態。

2.3 系統運行與實驗

系統通過攝像頭對用戶實時檢測，獲取用戶人臉并框定頭部位置，標記人臉特征點，分別通過計算眼部閉合程度、嘴部張合程度以及頭部的偏移程度，結合三種計算值與設置的閾值比較，當用戶出現一種以上條件超過預設閾值，則通過鈴聲等方式提醒用戶合理安排時間休息。融合多姿態后的疲勞檢測預警系統運行流程如圖4所示。

通過設備相機采集用戶正面頭部的情況，每隔2s提取一幀圖像，再利用Dlib庫和頭部姿態檢測算法選取眼部、嘴部的特征點和框定頭部的位置并設為初始值，通過融合PERCLOS、MAR及頭部姿勢3個指標計算，通過計算眼睛長寬比確定用戶是否出現瞌睡，通過計算嘴部長寬比確定用戶是否打哈欠，通過頭部偏移程度確定是否打瞌睡。當系統檢測到用戶處于疲勞狀態時，即以P80>40%，MAR>60%，頭部偏移程度>30%為判定疲勞標準時，系統將通過主動發出提示音等方式，提醒用戶適當休息，合理安排時間。

4 結論

使用單一指標檢測用戶處于疲勞狀態有一定的準確性，以眼睛作為檢測指標的準確度與以嘴部為檢測指標的效果更好，且在實驗測試過程中團隊發現以頭部姿態作為指標的檢測方法的難度較高，系統在多幀靜態圖片的對比中較難做出正確判斷。與單一指標作為檢測指標相比，融合三種檢測指標后得到的用戶疲勞檢測的準確度更優，誤差性較小。

以頭部面部多姿態作為疲勞檢測指標的可行性，通過算法搭建檢測系統，仍存在以下不足需要進一步開展研究：本文基于頭部面部多姿態作為指標，系統在采集用戶數據后判斷用戶是否處于疲勞，但改為對疲勞的等級進行劃分，僅有疲勞和正常兩個標準，而疲勞不是一個瞬間的過程，以防用戶接近設定閾值時系統未能及時提醒。目前的算法是基于Dlib庫的應用，通過Dlib基于C++編寫的優勢，讓其擁有良好的跨平臺特性，本文的研究對開發完備功能的App的開發提供了基礎。

參考文獻：

[1] 武昆亮.基于面部特征與頭部姿態的疲勞駕駛檢測[D].上海：東華大學，2020.

[2] 孫顯彬，唐洪偉，文妍.疲勞駕駛預警系統的研究現狀和發展趨勢[J].青島理工大學學報，2007，28（3）：91-94.

[3] 龔淑娟.基于面部多指標的貨運司機疲勞駕駛檢測[J].物流技術，2020，39（9）：74-81，95.

[4] 趙雪娟.基于ASM與信息融合的駕駛員疲勞檢測技術的研究[J].科學技術創新，2020（30）：120-121.

[5] 陳梅芬，陸蓉.在線學習疲勞狀態識別方法及應用研究[J].深圳職業技術學院學報，2020，19（5）：23-29.

[6] 敖邦乾，楊莎，令狐金卿，等.基于級聯神經網絡疲勞駕駛檢測系統設計[J/OL].系統仿真學報：1-9[2021-03-08].https：//doi.org/10.16182/j.issn1004731x.joss.20-0703.

[7] 劉佰強.基于人臉視頻智能分析的日間駕駛員不安全行為檢測分類與預警系統[D].西安：西安理工大學，2020.

[8] 陸權.關于公交車駕駛員安全駕駛視覺特性的分析[J].時代汽車，2021（4）：197-198.

【通聯編輯：唐一東】