基于面部特征的高速鐵路調度員疲勞程度判定方法研究

張光遠，胡 晉，章子睿，胡 悅，張 帆

(1.西南交通大學 交通運輸與物流學院, 四川 成都 610031；2.西南交通大學 綜合交通運輸智能化國家地方聯合工程實驗室，四川 成都 610031；3.西南交通大學 綜合交通大數據應用技術國家工程實驗室, 四川 成都 610031)

高速鐵路(以下簡稱高鐵)行車調度員是高鐵運行的直接指揮者，其決策行為直接影響高鐵的安全運營。研究表明調度員的疲勞水平會隨著工作時間的延長而增加[1-2]。疲勞狀態下作業可能對高鐵列車的運行安全造成威脅。因此，建立高鐵調度員疲勞程度檢測模型，實現調度員疲勞程度判定預警，并針對較高疲勞程度予以及時有效的干預，對于保障高鐵運行安全具有重要的理論價值與現實意義。

困倦作為疲勞的一種外在體現[3-4]，當調度員過于困倦而無法安全作業時，則通知調度員。而疲勞程度的增加又表現為眨眼潛伏期、閉眼時長、注視時間、瞳孔擴張和認知活動指數(Index of Cognitive Activity,ICA)的增加[5]。調度員長時間在單調環境中工作，并從事較為繁重的腦力工作，腦力疲勞是調度員疲勞的主要部分，腦力疲勞受到工作量，譬如最小行車間隔、列車數量等的影響[6]，工作時間的增加也會造成疲勞的不斷積累[7-8]。對面部特征的疲勞檢測中，通過視頻記錄下的圖像識別技術測量眼部、嘴部等面部特征譬如眨眼率、眨眼時長、眼球掃視運動、閉眼時長、點頭頻率等信息[9-10]，并對特征信息進行判斷。其中對眼部特征的研究尤為突出,文獻[3]通過位于實驗模擬器前部的4個攝像頭組成的眼動追蹤系統Smarteye記錄實驗人員的眼動數據；文獻[10]通過可視攝像機記錄實驗人員的面部特征，使用機器學習在獨立的自發表情數據庫上開發了來自面部動作編碼系統的30個面部動作的自動分類器。由于高鐵調度員疲勞程度是隨著工作時間變化而動態改變的隨機過程，而馬爾可夫模型也可以通過對面部特征信息的分析實現對下一時刻狀態的預測，文獻[11]通過記錄眼部開閉參數、眼睛眨眼速度和嘴部開度參數，建立了兩狀態與三狀態的駕駛員疲勞險態隱馬爾可夫模型(Hidden Markov Model，HMM)。文獻[12]則通過對BW(Baum-Welch)算法的改進提高HMM對駕駛疲勞狀態的分類準確度。

目前關于疲勞的研究，大多針對空中管制員和機動車駕駛員，對調度員尤其是高鐵調度員的研究較為少見，除任務模式及工作時間與空管不同外，其他對調度員的疲勞檢測可以參考對空管疲勞的相關研究。本文通過考慮時段演變下的面部特征信息實現對高鐵調度員疲勞程度的判定，以達到保障高鐵安全行車的目的。

1 實驗方法

1.1 實驗對象

從中國國家鐵路集團有限公司調度員培訓班的學員中招募16名年齡在 28～38 歲之間身體健康且不配戴眼鏡的男性參與者，要求熟練掌握高鐵調度操作的技能。

1.2 實驗過程

實驗在西南交通大學綜合調度指揮仿真實驗室進行。任務開始前20 min參與者進入模擬實驗調度臺，適應實驗環境并熟悉實驗流程。實驗期間參與者全程佩戴The SMI Eye Tracking Glasses 2w(SMI ETG)眼動儀，并使用2個攝像頭記錄實驗過程，16名參與者在極易產生疲勞的時間段(12:00—15:00)[13]進行高鐵行車調度任務，作業內容見表1。且設置單位疲勞判斷時間為15 min，同時也作為時段特征數據集的標準。參與者需要每隔15 min根據主管感受在卡羅琳斯卡嗜睡量表(Karolinska Sleepiness Scale,KSS)上打分。任務正式開始20 min后系統隨機出現突發事件，全過程突發事件共8次(1次/20 min，SD 3.0)。所有參與者均需按照相關行車細則[14]對突發的事件進行處理。實驗過程中記錄工作時間、注視時間、平均瞳孔大小、眨眼頻率、眨眼時長、眼跳幅度、眼跳持續時長、哈欠頻率，以及調度員的工作視頻。

表1 高鐵調度員作業內容

1.3 高鐵調度員疲勞分級數的確定

通過融合計算，從實驗過程中調度員主觀KSS值，以及視頻記錄下的調度員監督KSS值與DORATASK值中獲取綜合值。通過基于高鐵調度任務的調度員人因失效概率以及K-Means聚類得到疲勞程度的分級數，并對綜合值進行分級，該綜合值作為高鐵調度員疲勞程度判定模型的輸出端參與到模型的訓練當中[15]。

(1)基于人因失效概率的高鐵調度員疲勞狀態分級數的確定

結合調度員工作任務表1中的內容，根據三角模糊數權重因子，計算失效概率修正值CFP，調度作業失效概率見表2，其中P基本為基本失效概率，P為失效概率。

表2 調度作業失效概率[15]

基于人因失效概率計算方法及高鐵調度員操作流程計算出高鐵調度作業人因失效概率的三角模糊數，共計432項。對其不同的人因失效概率類別進行K-Means聚類分析，聚類結果見表3，并根據輪廓系數最大值確定分級數。

表3 基于K-Means聚類對高鐵調度員人因失效概率分類結果[15]

(2)高鐵調度員疲勞程度判定模型的輸出端數建立

高鐵調度員疲勞分級采用3級分類，因此將疲勞等級劃分為3級：輕、中、重度疲勞。輸出端分級見表4。其中u1為主觀KSS值，u2為監督KSS值、u3為DORATASK負荷值。

表4 輸出端影響因素的疲勞等級[15]

基于層次分析法u1、u2、u3權重。輸出端各指標權重值見表5。CI為一致性指標，CR為一致性比率。

表5 輸出端考慮因素的權重計算

模型輸出端的綜合疲勞程度為

(1)

式中：Up為輸出端疲勞程度值；ai為因素權重。

將表5中各值代入式(1),確定輸出端疲勞級區間，見表6。

表6 輸出端疲勞程度級別與Up區間對應表

1.4 高鐵調度實驗輸入端指標分析

實驗過程中記錄的指標包括：工作時間、注視時間、平均瞳孔大小、眨眼頻率、眨眼時長、眼跳幅度、眼跳持續時長、哈欠頻率。首先需要分析輸入端指標間相關性，以確定輸入端指標的相互獨立性，檢驗結果見表7。將這些指標與輸出端的疲勞程度進行Pearson相關系數檢驗，檢驗結果見表8。

由表7可知，模型輸入端各指標間呈現弱相關，因此可以將各指標單獨考慮，并于模型輸出端的疲勞程度進行相關性分析。

表7 模型輸入端指標間的顯著性系數

由表8可知，眼跳幅度與眼跳持續時長的∣r∣值在0.2～0.4之間，屬于弱相關，而其他指標則呈現中等相關甚至強相關。因此篩選出的作為模型輸入端的指標為：工作時間T、注視時間x1、平均瞳孔大小x2、眨眼頻率x3、眨眼時長x4、哈欠頻率x5。對面部特征指標向量X={x1,x2,x3,x4,x5}進行1.3節提出的K-Means聚類，得出當前時刻T的觀測狀態類別oT(oT=1,2,3)。

表8 實驗記錄指標與模型輸出端疲勞程度的Pearson相關系數

2 高鐵調度員疲勞程度判定模型

HMM具有與時間相關的特性，在時序預測方面發揮重要的作用，同時在疲勞程度判定中也發揮了有效作用[11]。調度員的疲勞是隨著工作時間的變化而發生動態變化的，HMM可以有效地體現這一特點。BP神經網絡作為人工神經網絡(Artificial Neural Networks, ANNs)的一種，在眾多的相關疲勞研究中發揮作用[16-17]，其優點之一是可以從大量的數據中學習它們內部的關系，從而得出相關的數據與數據間的計算方式，即不需要預先了解數據模式，便可從數據中推斷解決方案，同時ANNs具有泛化能力，可以有效解決數據的失真及不完整。由于ANNs是非線性的，比線性工具更能有效解決問題。研究[6,18]表明，ANNs不僅可以通過不同來源信息對狀態進行評估，而且可以預測達到某種狀態所需的時間，這對疲勞監測有著重要的幫助。

因此，本文通過記錄5項面部特征參數，基于HMM的調度員疲勞判定方法與BP神經網絡，建立了3級疲勞分類下的高鐵調度員疲勞程度判定模型，再利用ROC曲線與判定準確率混淆矩陣對二者進行比較，討論兩種方法在調度員疲勞程度判定模型中的適用性。

2.1 基于HMM的疲勞程度判定模型

HMM是馬爾可夫鏈的擴展，觀測對象的隱藏狀態序列I={i1,i2,…,iT}是馬爾可夫鏈，其中i1,i2,…,iT分別表示第1，2，…，T時刻下的調度員疲勞等級。任意時刻t對應的狀態it不可觀測，但可以觀測與I相關的觀測狀態序列O={o1,o2,…,oT}，其中o1,o2,…,oT分別為第1，2，…，T時刻下的觀測狀態類別。本文將5項面部特征信息序列，作為隱馬爾可夫模型的觀測狀態序列O，在此基礎上通過BW算法實現HMM的參數訓練，并解碼計算確定高鐵調度員的疲勞程度。具體步驟如下：

Step1確定狀態轉移關系。將高鐵調度員疲勞程度分為3級。建立HMM，令從狀態等級Si到Sj的狀態轉移概率為aij,i,j=1,2,3。

Step2HMM參數訓練。BW算法是確定馬爾可夫模型參數λ=(π,A,B)常用的無監督學習方法。其中：π為初始時刻狀態的概率分布矩陣；A為當前時刻t的隱藏狀態it轉移至下一時刻狀態it+1的狀態轉移矩陣；B為隱藏狀態對應觀測狀態的觀測概率矩陣。BW算法可以分為兩步進行：

①構造關于λ(h)正相關的對數似然函數Q(λ,λ(h))：根據h次迭代的模型參數λ現有估計值λ(h)，計算對數似然函數Q(λ,λ(h))。

(2)

②求解出Q最大的情況下λ的最大值λ(h+1)。

(3)

給定模型參數λ，在t時刻處于it狀態，觀測到時刻t之前的觀測狀態O={o1,o2,…,ot}的概率稱為前向概率αt(i)=P(o1,…，ot,it=qi|λ)。

同樣地，給定模型參數λ，在t時刻處于i狀態，觀測到時刻t之后的觀測狀態O=(ot,ot+1,…,oT)的概率稱為后向概率βt(i)=P(ot+1,…,oT|it=qi,λ)。直至模型參數收斂，停止迭代。

(4)

(5)

Viterbi算法采用動態規劃求解概率最大路徑(即最優路徑)，每條路徑對應從初始時刻到終止時刻的隱藏狀態時間序列I={i1,i2,…,iT}。從t=1開始，遞推計算下一時刻以各結點為終點的部分路徑的最優路徑和概率，直至t=T。此時，可以得出整體最優路徑，以及最優路徑的概率P*。

2.2 基于BP神經網絡的疲勞程度判定模型

選用模式識別模型作為該研究的BP神經網絡模型將實驗記錄下的高鐵調度員的5項面部特征信息作為神經網絡的輸入層，根據模式識別神經網絡輸出層的模式，設置輸出層值域為{1，2，3}，隱含層神經元個數[13,15]根據式(5)初步設定在4～15個，具體個數根據誤差百分數確定。

(6)

式中：m為隱含層節點數量；n為輸入層節點數量；l為輸出層節點數量；α為1～10之間的常數。該神經網絡模型結構見圖1。

圖1 BP神經網絡模型結構

3 結果分析

(1)基于BP神經網絡的調度員疲勞程度檢測模型

基于BP神經網絡構建的高鐵調度員疲勞程度判定模型，以5項面部特征(注視時間、平均瞳孔大小、眨眼頻率、眨眼時長、哈欠頻率)和工作時間作為模型的輸入端，以基于KSS和DORATASK融合計算后的綜合疲勞程度為輸出端訓練模型。以15 min為一個時段建立時段特征下的數據集，以眼動儀記錄時刻為特征建立時刻特征下的數據集。實驗獲得樣本中，70%用作訓練集，15%用作驗證驗證集，15%用作測試集。不同隱藏神經元數量下的誤差百分數見圖2。

圖2 時刻及時段特征下的神經網絡模式識別誤差百分數

在時刻特征下，當隱藏層數量為14時，誤差百分數最小為8.516%。在時段特征下，隱含層個數同樣為14時，誤差百分數最小。因此，本文BP神經網絡的隱藏層個數為14。時刻特征與時段特征下的分類識別ROC(Receiver Operating Characteristic Curve)曲線見圖3。時刻特征下的曲線總體靠近左上角，其AUC(Area Under Curve)面積大于時段特征下的曲線。在時刻特征下，判定效果最好的是Ⅰ級疲勞，Ⅱ級與Ⅲ級疲勞次之；而在時段特征下，判定效果則是Ⅲ級疲勞最優。

圖3 時刻及時段特征下的BP神經網絡疲勞程度判定ROC曲線

時段特征下的ROC曲線因為樣本數目過少，導致不能有效地判定疲勞等級，在驗證集里無法辨別Ⅰ級疲勞。問題同樣體現在對應的混淆矩陣，Ⅰ級疲勞沒有判定。因此BP神經網絡更適合在時刻特征數據集下的疲勞判定。

(2)基于HMM的調度員疲勞程度檢測模型

時刻及時段特征下的HMM的調度員疲勞程度判定ROC曲線見圖4、圖5。

圖4 時刻特征下的HMM的調度員疲勞程度判定ROC曲線

圖5 時段特征下的HMM的調度員疲勞程度判定ROC曲線

由圖4、圖5可知，兩種特征數據下的HMM模型對Ⅰ級疲勞的判定準確度均較低，對應的ROC曲線均在對角線下方。時段特征數據下的Ⅱ級與Ⅲ級疲勞判定ROC曲線的AUC面積均大于時刻特征下的AUC面積，因此時段特征下的準確度明顯高于時刻特征數據下的HMM模型。混淆矩陣見圖6。

圖6 時刻及時段特征下的BP神經網絡及HMM疲勞程度判定混淆矩陣

由圖6可知，時段特征數據集下的HMM模型對Ⅰ級、Ⅱ級、Ⅲ級判定準確率分別為：62.5%、33.3%、100%，對Ⅲ級疲勞的判定最為準確，其次是Ⅰ級疲勞，Ⅱ級疲勞的判定準確率最差，這一結果同樣體現在時刻特征數據集下的HMM模型。時刻特征數據集下的HMM模型對Ⅰ級、Ⅱ級、Ⅲ級判定準確率分別為：47.1%、10.2%、91.7%，各級判定準確率均低于時段特征數據集下的疲勞程度判定準確率。結合ROC曲線結果，HMM模型更適用于時段特征數據集下對疲勞程度的判定。

BP神經網絡在時段特征下，因為樣本數目過少，不能有效地判定疲勞等級，在驗證集里無法辨別Ⅰ級疲勞。問題同樣體現在對應的混淆矩陣中，Ⅰ級疲勞沒有被判定。但在時刻特征數據集下，由于Ⅰ級疲勞出現數據后，其疲勞程度可判定出來，且判定準確率高達91.7%。時段特征數據集下的Ⅰ級、Ⅱ級、Ⅲ級判定準確率分別為：無、87.5%、100%，對Ⅲ級疲勞的判定最為準確，總體準確率為96.3%。但在時刻特征數據集下的Ⅰ級、Ⅱ級、Ⅲ級判定準確率則分別為：91.7%、92.1%、91.9%，總體而言準確率基本相同，且總體準確率為92.0%。雖然從總體準確率角度考慮，時段特征數據集下的總體準確率高于時刻特征數據集下的，但是時段特征數據集下的判定模型沒有時刻特征數據下的判定準確率平穩。因此，BP神經網絡更適用于時刻特征數據集的判定。

因此，HMM模型適用于時段特征數據集下的疲勞程度判定，而BP神經網絡模型則更適用于時刻特征數據集下的疲勞程度判定。

4 結論

本文基于高鐵模擬調度實驗，根據調度員作業過程中面部特征信息對疲勞程度判定方法進行研究，并建立疲勞程度判定模型主要成果及結論如下：

(1)基于調度員疲勞狀態轉移，建立三狀態的HMM以及BP神經網絡模式識別模型。根據HMM與BP神經網絡的特性，對5項面部特征數據進行處理。時刻特征數據集是以實驗記錄到的數據為基準，在經過無效數據剔除后，作為時刻特征數據集。時段特征數據集則是以15 min為時段單位對原始數據進行處理。

(2)通過HMM與BP神經網絡對時刻特征數據集與時段特征數據集的訓練，發現BP神經網絡對Ⅱ、Ⅲ級疲勞程度的判定優于HMM，但對Ⅰ級疲勞程度的判定卻低于HMM。時刻特征數據集更適合對調度員的實時監督，二時段特征數據集則適合對時段演變下的判定，為調度員疲勞研究的發展提供基礎。

本文基于高鐵調度員面部特征信息的人因可靠性模型，進行了以高鐵調度員工作狀態為背景的疲勞程度判定方法研究。判定模型選用BP神經網絡與HMM模型，通過對二者的對比，確定在時段特征下，考慮以HMM模型為對Ⅰ級疲勞的判定，BP神經網絡則對Ⅱ級、Ⅲ級疲勞的判定。本研究為調度員疲勞預警研究提供理論支撐，后期擬結合高鐵調度員實際工作場景對時刻、時段特征數據集以及面部特征指標做進一步選取與驗證，為對高鐵調度員疲勞程度判定提供更加科學的方法及依據。