基于PERCLOS的列車(chē)司機(jī)疲勞檢測(cè)設(shè)計(jì)與實(shí)現(xiàn)

江躍龍 張銘智

摘? 要： 列車(chē)司機(jī)長(zhǎng)期處于精神高度集中、工作強(qiáng)度較大的工作狀態(tài)，容易產(chǎn)生生理和心理上的疲勞。本文通過(guò)Raspberry PI攝像頭對(duì)列車(chē)司機(jī)疲勞狀態(tài)進(jìn)行采集，對(duì)采集的視頻流進(jìn)行人臉定位和面部特征點(diǎn)的提取，對(duì)該列車(chē)司機(jī)眼睛、嘴巴數(shù)據(jù)進(jìn)行分析，結(jié)合PERCLOS標(biāo)準(zhǔn)判定列車(chē)司機(jī)是否疲勞，在GUI界面顯示檢測(cè)結(jié)果。

關(guān)鍵詞： 列車(chē)司機(jī)疲勞檢測(cè)； PERCLOS； 疲勞檢測(cè)； 人臉檢測(cè)； SVM人臉檢測(cè)器； 疲勞駕駛；

中圖分類(lèi)號(hào)：TP301? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1006-8228（2023）04-112-04

Abstract： Train drivers are prone to physiological and psychological fatigue when they are in a highly concentrated and intense work state for a long time. In this paper， the fatigue state of the train driver is captured by Raspberry PI camera， and the face positioning and extraction of facial feature points are performed on the captured video stream. By analyzing the data of the train driver's eyes and mouth， whether the train driver is fatigued or not is determined combining with PERCLOS criteria， and the detection results are displayed in the GUI interface.

Key words： train driver fatigue detection; PERCLOS; fatigue detection; face detection; SVM face detector; fatigue driving

0 引言

中國(guó)鐵路交通發(fā)展迅速，鐵路運(yùn)輸任務(wù)繁忙。列車(chē)司機(jī)工作環(huán)境單調(diào)且與人交流時(shí)間較少，且長(zhǎng)期處于精神高度集中、工作強(qiáng)度較大的狀態(tài)，容易產(chǎn)生生理和心理上的疲勞，比如駕駛時(shí)產(chǎn)生打哈欠、視覺(jué)模糊、磕睡打盹等生理反應(yīng)，而這些生理反應(yīng)可能屬于疲勞駕駛，增加了軌道交通運(yùn)行的安全風(fēng)險(xiǎn)；在高鐵、地鐵運(yùn)行期間，列車(chē)駕駛員需要維持其精神高度集中，以應(yīng)對(duì)各種可能出現(xiàn)的風(fēng)險(xiǎn)。因此，檢測(cè)列車(chē)司機(jī)是否處于疲勞狀態(tài)，對(duì)于提高列車(chē)運(yùn)行安全性有著重要意義。

1 列車(chē)司機(jī)疲勞檢測(cè)疲勞檢測(cè)方法

1.1 生理特征的疲勞檢測(cè)方法

利用列車(chē)司機(jī)的腦電圖信號(hào)[1]、心電圖信號(hào)[2]、肌電圖信號(hào)[3]以及眼電波信號(hào)[4]等生理信息特征，對(duì)其在正常和疲勞狀態(tài)下的生理特征的變化進(jìn)行比較，從而判斷列車(chē)司機(jī)是否產(chǎn)生疲勞。Jain A等人利用腦電圖信號(hào)的回歸參數(shù)檢測(cè)測(cè)試者的疲勞程度，對(duì)獲得的誤差函數(shù)進(jìn)行分析，以預(yù)測(cè)肌肉疲勞程度，從而判斷被測(cè)試者是否處于疲勞狀態(tài)[5]。楊渝書(shū)等通過(guò)心電圖信號(hào)的時(shí)頻域指標(biāo)變化來(lái)判斷司機(jī)的疲勞程度[6]。

1.2 駕駛數(shù)據(jù)的疲勞檢測(cè)方法

司機(jī)的駕駛行為在不同的疲勞程度下有不同的表現(xiàn)，根據(jù)行車(chē)數(shù)據(jù)中的汽車(chē)轉(zhuǎn)向角度數(shù)據(jù)、車(chē)輛駕駛方向軌跡數(shù)據(jù)、行車(chē)加速度變化數(shù)據(jù)以及司機(jī)手臂握力變化數(shù)據(jù)可以檢測(cè)司機(jī)是否疲勞。Sayed R等將汽車(chē)轉(zhuǎn)向角度變化信息經(jīng)過(guò)預(yù)處理后，將其作為特征參數(shù)輸入人工神經(jīng)網(wǎng)絡(luò)中[7]。使用評(píng)價(jià)主體作為駕駛數(shù)據(jù)的疲勞檢測(cè)方法，駕駛員不需要穿戴各種各樣的測(cè)量?jī)x器，駕駛數(shù)據(jù)收集不復(fù)雜，但需要汽車(chē)安裝相應(yīng)的檢測(cè)裝置，而且檢測(cè)裝置的準(zhǔn)確度受道路環(huán)境、司機(jī)駕駛習(xí)慣不同和天氣變化影響較大。

1.3 面部特征的疲勞檢測(cè)方法

司機(jī)進(jìn)入疲勞狀態(tài)時(shí)的面部特征會(huì)有所變化，例如瞳孔區(qū)域變小、打哈欠、減慢眼球運(yùn)動(dòng)速度等等。計(jì)算機(jī)視覺(jué)圖像處理技術(shù)可被用于收集司機(jī)產(chǎn)生疲勞時(shí)的面部特征，分析司機(jī)疲勞時(shí)的面部特征來(lái)判定司機(jī)的疲勞程度。該方法具有采集面部數(shù)據(jù)簡(jiǎn)單、成本低、無(wú)需穿戴測(cè)量?jī)x器等優(yōu)點(diǎn)。目前該方法已成為疲勞檢測(cè)的主流方法。李強(qiáng)使用眼睛的睜開(kāi)程度來(lái)計(jì)算閉眼圖像幀數(shù)占列車(chē)司機(jī)駕駛圖像幀數(shù)的百分比，從而判斷司機(jī)是否疲勞[8]。陳東偉等為檢測(cè)司機(jī)疲勞狀態(tài)使用了一種新的動(dòng)態(tài)滑動(dòng)窗口算法來(lái)計(jì)算眼睛開(kāi)閉時(shí)的準(zhǔn)確閾值[9]。

2 系統(tǒng)的總體架構(gòu)

列車(chē)司機(jī)疲勞駕駛檢測(cè)系統(tǒng)需要具備實(shí)時(shí)檢測(cè)、穩(wěn)定的性能和檢測(cè)高準(zhǔn)確性的特點(diǎn)，如果列車(chē)司機(jī)產(chǎn)生疲勞，則對(duì)列車(chē)司機(jī)進(jìn)行文字提醒和語(yǔ)音預(yù)警。本文的硬件開(kāi)發(fā)平臺(tái)采用樹(shù)莓派4B和筆記本電腦，然后使用樹(shù)莓派CSI攝像頭實(shí)時(shí)采集圖像并通過(guò)視頻推流的方式傳輸?shù)焦P記本上，利用Dlib庫(kù)進(jìn)行人臉檢測(cè)、人臉關(guān)鍵點(diǎn)特征提取，通過(guò)PERCLOS準(zhǔn)則結(jié)合眼睛、嘴巴縱橫比判斷列車(chē)司機(jī)是否疲勞，實(shí)現(xiàn)對(duì)列車(chē)司機(jī)的非接觸式的疲勞狀態(tài)檢測(cè)。為了方便操作，基于PyQt5等開(kāi)發(fā)工具開(kāi)發(fā)列車(chē)司機(jī)疲勞檢測(cè)系統(tǒng)的GUI界面。基于以上設(shè)計(jì)思路，繪制相應(yīng)的系統(tǒng)架構(gòu)圖，如圖1所示。

2.1 人臉檢測(cè)技術(shù)

人臉檢測(cè)技術(shù)的發(fā)展越來(lái)越成熟，如基于模板的匹配算法[10]。

本文選用的硬件為樹(shù)莓派4B和一臺(tái)筆記本電腦，硬件性能一般，在兼顧硬件性能和檢測(cè)速度的情況下，本文選擇HOG+線性SVM人臉檢測(cè)器來(lái)進(jìn)行人臉檢測(cè)，HOG算法的主要目的是對(duì)圖像進(jìn)行梯度計(jì)算，統(tǒng)計(jì)圖像的梯度方向和梯度大小。該算法提取的邊緣和梯度特征可以較好的描述圖像局部形狀的特征，由于采用cell方式對(duì)圖像進(jìn)行歸一化處理，并且使用Gamma校正處理圖像，所以該算法對(duì)幾何和光學(xué)變化都具有良好的抗干擾性，圖像發(fā)生變換或發(fā)生旋轉(zhuǎn)的區(qū)域比較小的話對(duì)該算法影響很小。在Dlib庫(kù)中的目標(biāo)檢測(cè)模塊包含了HOG算法，在Dlib庫(kù)中調(diào)用get_frontal_face_detector函數(shù)即可使用HOG+線性SVM人臉檢測(cè)器，其在檢測(cè)人臉上有高準(zhǔn)確性和良好的實(shí)時(shí)性，能確保順利地檢測(cè)到人臉。HOG+線性SVM人臉檢測(cè)器檢測(cè)人臉流程如圖2所示。

2.2 疲勞駕駛檢測(cè)方法

當(dāng)筆記本電腦讀取到列車(chē)司機(jī)臉部視頻流信息時(shí)，筆記本電腦中的HOG+線性SVM人臉檢測(cè)器首先定位人臉的面部信息；當(dāng)識(shí)別確定人臉在圖像上的位置后，使用Dlib庫(kù)提取人臉68個(gè)關(guān)鍵點(diǎn)信息；利用PERCLOS值與眼睛縱橫比、嘴巴縱橫比來(lái)計(jì)算司機(jī)疲勞狀態(tài)，當(dāng)判定司機(jī)處于疲勞狀態(tài)時(shí)，及時(shí)對(duì)司機(jī)進(jìn)行語(yǔ)音播報(bào)預(yù)警和文字顯示預(yù)警，如圖3所示。

2.3 列車(chē)司機(jī)張閉眼睛判斷方法

判斷列車(chē)司機(jī)疲勞的方法，一般列車(chē)司機(jī)的人臉特征點(diǎn)68個(gè)，如圖4所示。

左眼睛和右眼，計(jì)算閉眼方法[11]，將左眼的特征點(diǎn)提取和多邊形如圖5和圖6所示。

圖7所示的六邊形頂點(diǎn)坐標(biāo)分別為A（x1，y1），B（x2，y2），C（x3，y3），D（x4，y4），E（x5，y5），F(xiàn)（x6，y6），則其面積可以表示為四個(gè)三角形面積之和：

如果S面積為0，說(shuō)明我們列車(chē)司機(jī)的眼睛實(shí)閉合的。

如果S面積>一定閾值的時(shí)候（如該值為0），說(shuō)明我們司機(jī)的眼睛是張開(kāi)。

3 界面設(shè)計(jì)

列車(chē)司機(jī)疲勞檢測(cè)系統(tǒng)的GUI界面設(shè)計(jì)，主要使用PyCharm集成開(kāi)發(fā)環(huán)境+PyQt5工具包，具體包括登錄界面、檢測(cè)界面等。

3.1 疲勞狀態(tài)檢測(cè)測(cè)試

在樹(shù)莓派開(kāi)啟RTSP推流后，打開(kāi)疲勞檢測(cè)的GUI界面并點(diǎn)擊疲勞檢測(cè)頁(yè)面中的“打開(kāi)攝像頭”按鈕，此時(shí)疲勞檢測(cè)系統(tǒng)開(kāi)始運(yùn)行，截取系統(tǒng)運(yùn)行過(guò)程中的部分視頻幀進(jìn)行檢測(cè)效果展示。

列車(chē)司機(jī)在清醒情況下檢測(cè)結(jié)果見(jiàn)圖8。

列車(chē)司機(jī)在長(zhǎng)時(shí)間打哈欠后的檢測(cè)結(jié)果見(jiàn)圖9。當(dāng)計(jì)算得出的嘴巴縱橫比值大于設(shè)定的疲勞閾值時(shí)，檢測(cè)窗口會(huì)輸出“You are tired”文字預(yù)警，提醒列車(chē)司機(jī)已經(jīng)出現(xiàn)精神疲勞。

列車(chē)司機(jī)在長(zhǎng)時(shí)間閉眼后的檢測(cè)結(jié)果見(jiàn)圖10。當(dāng)計(jì)算得出的眼睛縱橫比值小于設(shè)定的疲勞閾值時(shí)，檢測(cè)窗口會(huì)輸出“You are tired”文字預(yù)警，提醒列車(chē)司機(jī)已經(jīng)出現(xiàn)精神疲勞。

4 總結(jié)

本文通過(guò)Raspberry PI攝像頭對(duì)列車(chē)司機(jī)的疲勞狀態(tài)進(jìn)行數(shù)據(jù)采集，人臉定位，面部特征點(diǎn)的提取，同時(shí)結(jié)合列車(chē)司機(jī)的特征點(diǎn)對(duì)其眼睛、嘴巴數(shù)據(jù)進(jìn)行分析，將列車(chē)司機(jī)疲勞檢測(cè)在GUI界面顯示檢測(cè)結(jié)果“You are tired”文字預(yù)警，提醒列車(chē)司機(jī)當(dāng)前已經(jīng)疲勞，為后續(xù)進(jìn)一步研究列車(chē)司機(jī)的心沖擊信號(hào)與疲勞相關(guān)性研究奠定一定基礎(chǔ)。

參考文獻(xiàn)（References）：

[1] Luo H， Qiu T， Liu C， et al. Research on fatigue driving detection using forehead EEG based on adaptive multi-scale entropy[J]. Biomedical Signal Processing and Control，2019，51：50-58

[2] Zontone P， Affanni A， Bernardini R， et al. Car Driver's Sympathetic Reaction Detection Through Electrodermal Activity and Electrocardiogram Measurements[J]. IEEE Transactions on Biomedical Engineering，2020，67（12）：3413-3424

[3] Fu R， Wang H. Detection of driving fatigue by using noncontact EMG and ECG signals measurement system[J]. International journal of neural systems，2014，24（3）：1450006

[4] Zheng W L， Gao K， Li G， et al. Vigilance estimation using a wearable EOG device in real driving environment[J]. IEEE transactions on intelligent transportation systems，2019，21（1）：170-184

[5] Jain A， Abbas B， Farooq O， et al. Fatigue detection and estimation using auto-regression analysis in EEG[C]//2016 International conference on advances in computing， communications and informatics （ICACCI）. IEEE，2016：1092-1095

[6] 楊渝書(shū)，姚振強(qiáng)，李增勇，等.心電圖時(shí)頻域指標(biāo)在駕駛疲勞評(píng)價(jià)中的有效性研究[J].機(jī)械設(shè)計(jì)與制造，2002（5）：94-95

[7] Sayed R， Eskandarian A. Unobtrusive drowsiness detection by neural network learning of driver steering[J]. Proceedings of the Institution of Mechanical Engineers， Part D： Journal of Automobile Engineering，2001，215（9）：969-975

[8] 李強(qiáng).基于PERCLOS的列車(chē)司機(jī)駕駛疲勞檢測(cè)研究[D].碩士，北京交通大學(xué)，2014

[9] 陳東偉，張喆，韓娜，等.多算法融合的疲勞駕駛監(jiān)測(cè)算法設(shè)計(jì)與實(shí)現(xiàn)[J].太原理工大學(xué)學(xué)報(bào)，2016，47（4）：518-522

[10] 李金寶.基于深度視頻的疲勞駕駛和危險(xiǎn)駕駛行為檢測(cè)算法研究[D].碩士，青島大學(xué)，2020

[11] 鞏曉倩，蒲亦非，楊智勇，等.基于有限狀態(tài)自動(dòng)機(jī)的人眼開(kāi)度PERCLOS實(shí)現(xiàn)算法[J].計(jì)算機(jī)應(yīng)用研究，2014，31（1）：307-310

*基金項(xiàng)目：2019年廣東省普通高校青年創(chuàng)新人才類(lèi)項(xiàng)目“基于增強(qiáng)PERCLOS深度學(xué)習(xí)軌道交通列車(chē)司機(jī)疲勞檢測(cè)方法的研究”（2019GKQNCX100）； 2021年廣州市基礎(chǔ)研究計(jì)劃基礎(chǔ)與應(yīng)用項(xiàng)目“動(dòng)態(tài)場(chǎng)景下基于鐵重移采動(dòng)樣機(jī)優(yōu)器化人粒的子應(yīng)濾用波算法及其在高”（202102080153）； 2022年廣東省科技創(chuàng)新戰(zhàn)略專項(xiàng)資金項(xiàng)目“基于機(jī)器學(xué)習(xí)的軌道交通列車(chē)司機(jī)HRV健康監(jiān)測(cè)與預(yù)警系統(tǒng)”（pdjh2022b0956）

作者簡(jiǎn)介：江躍龍（1984-），男，福建省龍巖市人，研究生，電子工程師，主要研究方向：智能信息系統(tǒng)、機(jī)器視覺(jué)、機(jī)器學(xué)習(xí)。