基于LSTM-Attention的高速鐵路司機警覺度預測

潘雨帆，史 磊，周宏宇，倪少權，張 駿，郭孜政2，

(1.西南交通大學 信息科學與技術學院，四川 成都 611756；2.西南交通大學 綜合交通運輸智能化國家地方聯合工程實驗室，四川 成都 611756；3.西南交通大學 綜合運輸四川省重點實驗室，四川 成都 611756；4.西南交通大學 交通運輸與物流學院，四川 成都 611756；5.江西省交通投資集團有限責任公司 路網運營管理公司，江西 南昌 330000)

高速鐵路(以下簡稱“高鐵”)運行安全受“人-機-環境”三要素的綜合影響,司機的作業表現是保障系統安全的關鍵因素之一。高鐵駕駛作業中長時、單調、低頻率刺激的運行環境,極易引起司機警覺的衰退,降低其對突發事件的反應速度,威脅行車安全[1-2]。為讓高鐵司機在駕駛過程中保持高度警覺,現有動車組配備了無人警惕裝置,司機在無需操縱列車的時候,必須每30 s踩一下警惕踏板,否則該裝置將自動啟動報警并采取緊急制動[3]。雖然無人警惕裝置能夠讓司機在行車過程中保持警覺,但一個交路區間幾百次的踩踏增加了司機的負荷,會加速司機認知資源的消耗。且該裝置的啟動閾值是人為設置的固定值,監測周期超過30 s,對司機警覺狀態監測的時效性較差。因此,構建高效的高鐵司機的警覺度預測方法具有重要意義。

警覺度指作業人員對外界刺激保持注意力和警惕性的能力[4],高鐵司機的警覺度作為認知狀態,會直接反映在其生理信號以及行為上。其中神經生理信號精度高、不受人主觀控制,被廣泛用于警覺度檢測。常用的神經生理信號包括腦電、眼動和心電信號3類[5],考慮到數據采集的便利性和非侵入性,本研究選取高鐵司機的眼動和心電信號進行分析與討論。隨著警覺度下降,司機眨眼頻率和眼瞼閉合度增加[6],同時掃視速度會降低,因此眼動的眼瞼閉合度、眨眼頻率、瞳孔直徑以及閉眼時長等特征均可用于測算司機的警覺度[7]。除了通過機器視覺技術采集的眼部運動,眼電信號(Electrooculogram,EOG)也能提取出相應的眼部特征[8],。眼動是一種可以非侵入采集的信號,對操作影響小,雖容易受到光線的影響,但是紅外技術的發展已使眼動信號的采集有較高的質量保障。此外,心電信號受交感神經和迷走神經調節,當作業人員警覺度出現下降,交感神經活躍程度增強,而迷走神經活躍程度降低,心率變異性(Heart Rate Variability,HRV)呈上升趨勢。心電時域上的R-R間期的均值、標準差[10]頻域上的低頻能量LF(0.05～0.15 Hz)和高頻能量HF(0.15～0.4 Hz)都能有效反應警覺度的變化[11]。

當前警覺度預測模型主要有分類和回歸兩種思路。分類模型以警覺度評價指標(量表評分、反應時間等)將樣本分為2～4個水平,然后以腦電、眼動、心電等指標作為輸入,結合支持向量機(Support Vector Machine,SVM)[12]、神經網絡[13]、k近鄰算法(k-Nearest Neighbor,KNN)[14]、隨機森林[15]等算法構建識別。如Yan等[16]以眼動特征為輸入,構建特征加權支持向量機來評估司機的警覺度,二分類方法對警覺的檢測正確率達到90.98%。張光遠等[17]通過神經網絡對調度員的面部特征進行檢測,該模型對調度員警覺度進行三分類的正確率達到了91.5%。總體而言,分類方法識別準確率可超過90%,但局限在于分類方法忽略了警覺度是一個連續變化的量。

為實現對警覺度的連續度量,部分研究嘗試用回歸方法來預測警覺度[18]。Lin等[19]以駕駛人對車道偏移的反應時間為警覺度的量化指標,以腦電特征為輸入,建立支持向量回歸模型(Support Vector Regression,SVR)預測反應時間,誤差結果在200 ms以內。Zhai等[20]以駕駛人的腦電特征為輸入,結合集成學習方法,預測高鐵司機的反應時間,將預測誤差減小到130 ms左右。相較于分類算法,回歸算法已初步實現對警覺度的連續度量,有利于對司機警覺度精細化監測,但模型還處于探索性研究中,其魯棒性和穩定性還可進一步提升。

此外,現有警覺度預測方法不足在于構建預測模型時忽略了警覺度的時間特性。高鐵司機警覺度變化不是瞬時變化的,具有周期性特點,且周期在4 min以上[21]。本研究擬采用長短記憶神經網絡(Long-Short Term Memory Network, LSTM)預測高鐵司機警覺度。LSTM是循環神經網絡(Recurrent Neural Network, RNN)基礎上發展的一種時間遞歸神經網絡,近年來被廣泛用于文本翻譯和時間序列預測問題[22]。相較于RNN,LSTM可以有效避免梯度消失、梯度爆炸和長期記憶能力不足等問題,在應對時序問題時展現出強大的信息挖掘能力和深度表征能力[23]。為改進LSTM模型因序列較長而丟失信息的情況,部分研究者在構建神經網絡模型時引入了注意力機制(Attention)[24]。該機制通過對隱藏層單元分配不同的權重,對關鍵信息賦予足夠的關注,突出重要信息的影響,從而提升模型的預測精度。

本研究擬將高鐵司機眼動、心電特征以及作業環境參數作為時序特征輸入LSTM模型,對表征高鐵司機警覺度的反應時間進行回歸預測,并引入注意力機制關注時序特性對輸出的影響,以期進一步提升模型的精度和穩定性,實現對高鐵司機警覺度的連續準確度量。

1 實驗方法

1.1 被試選取

40名青島機務段的高鐵司機參加了本次實驗,平均年齡29.1(±2.8)歲,機車駕齡為5～11年,平均為6.3(±2.2)年。所有司機身體狀態良好,無心理疾病和影響中樞控制功能的藥物史,視力或矯正視力正常。所有被試在實驗開始前確認了解實驗,并自愿簽訂《知情同意書》。

1.2 實驗設備

實驗設備及測試場景見圖1。高鐵模擬駕駛實驗在高鐵駕駛行為與安全仿真平臺完成,見圖1(a),該平臺能夠1∶1模擬CRH380B型動車組的運行環境。實驗中,眼動數據采集設備為德國SMI Eye Tracking Glasses 2W頭戴式眼動儀,見圖1(b),心電采集設備為BIOPAC MP150多導生理儀,見圖1(c),反應時間數據采集設備為定制的USB按鈕,數據采集場景見圖1(d)。

圖1 實驗設備及測試場景

1.3 實驗任務與實驗流程

模擬實驗線路為凱里南站往返平壩南站,中間無經停站,司機駕駛過程中根據限速標志控制車速。實驗任務參照已有研究[20]設計改進,恒速行駛階段,要求司機目視前方,右手放置于功率手柄上。當儀表臺前方紅色刺激燈亮起時,用右手快速按下反應按鈕,然后將手放置回手柄上,同時口頭報告當前的疲勞程度對應的KSS(Karolinska Scale)量表分數。刺激信號燈呈現時長為1 s,若司機3 s內未做出反應,則該試次標記為漏報。刺激信號燈亮起的間隔時間為20～40 s,實驗全程總次數約160次,任務總耗時約100 min。實驗安排在9:30和13:30開始,實驗過程中,司機需嚴格按照實驗指導語完成任務。實驗全程記錄行為反應數據和生理數據,眼動數據采樣頻率為120 Hz,心電數據采樣頻率為1 000 Hz。實驗結束后,主試支付每名司機300元人民幣作為被試費。

2 特征提取與篩選

2.1 眼動特征提取

原始眼動視頻通過iView X軟件處理得到眼動基礎數據,包括高鐵司機作業過程中注視起止時間和注視點坐標,掃視起止時間、掃視速度,及眨眼起止時間等,通過統計和計算可得所需眼動特征。對于每個紅色信號燈刺激,特征提取時以信號燈亮起時刻為0時刻,截取-30～0 s區段的眼動數據為該刺激對應的特征提取單元。以時長為5 s的時間窗將該段數據截取為6段,每個時間窗各自計算眼動特征,最后平均6個時間窗的特征數據作為該試次的眼動特征指標。本研究所選取的7項眼動指標描述見表1。

表1 眼動指標描述

2.2 心電特征提取

心電信號由一系列重復的波組構成,其中QRS波群對高鐵司機警覺度的變化最為敏感[25]。提取特征時先采用帶寬為0.01～45 Hz的帶通濾波器對原始心電數據進行濾波,去除肌電、工頻信號等偽跡,并校正基線漂移。然后以次任務刺激出現前30 s的數據為分析單元提取特征。時域特征方面,利用間譜法通過差分原理對QRS波群進行檢測,獲取R-R間期數據,根據R-R間期計算時域指標[26]。包括R-R間期平均值(MEAN)、R-R間期標準差(SDNN)、相鄰R-R間期差值大于50 ms的頻次(NN50)以及相鄰R-R間期差值大于50 ms的百分比(PNN50),上述指標在高鐵司機警覺度衰減時會顯著下降。

高鐵司機警覺度衰減時,其心電信號的低頻能量會有所增強。提取頻域特征,對每個分析單元采用窗長為2 s的漢明窗以50%的覆蓋率進行分段,將每段數據通過快速傅里葉變換(Fast Fourier Transform, FFT)由時域轉換至頻域,即

( 1 )

式中:x(n)為高鐵司機的心電數據;N為傅里葉變換的點數,本文中取值為2 048;x(k)為漢明窗k對應的頻譜,通過對頻譜積分求得心電信號的低頻能量LF(0.04～0.15 Hz)和高頻能量HF(0.15～0.40 Hz),并通過對各窗的特征取均值得到對應分析單元的頻域特征,以及低頻高頻比(LF/HF)。

由于高鐵司機心電信號的能量主要集中在低頻部分。為進一步挖掘心電信號的特征,提高低頻特征的分辨率,可將線性頻率分布轉換為Mel頻率分布,提取心電特征的Mel頻率倒譜系數(MFCC)。MFCC系數特征呈對數分布,對高鐵司機警覺度衰減時心電低頻部分的變化更加敏感,且具有良好的抗噪性[27]。提取MFCC特征,首先通過求取x(k)的平方得到能量譜,然后用M個三角帶通濾波器進行過濾,其中第m個濾波器的傳遞函數Hm(k)為

( 2 )

每個濾波器的對數能量S(m)為

( 3 )

經過離散余弦變換即可得到MFCC系數C(l)為

l=1,2,…,L0

( 4 )

式中:L為MFCC系數的總階數。參考腦電相關的研究[28],本文設定M=20,L=12。以各窗口數據的MFCC系數作為該分析單元的MFCC系數特征,即每個分析單元可得12個MFCC系數特征,記為MF1～MF12。

2.3 高鐵司機行車環境參數提取

高鐵司機的警覺度不光受其自身狀態的影響,同樣也會受到作業環境和作業特性的影響。實際生活中,高鐵司機需要在不同的時間段執行運輸作業。一趟執乘任務經歷的路線可能包含不同的道路環境,以本研究中選取的滬昆鐵路貴州段為例,其中包含了大量的隧道。隧道行車光環境變化明顯,可能對警覺度造成影響。因此,本文擬選取執乘時段(T1為9:30—11:00,T2為13:30—15:00)和線路隧道(隧道內Tin,隧道外Tout)兩個因素分析其對警覺度的影響。

2.4 基于灰色關聯的警覺度特征篩選

對40名高鐵司機在任務中的160個試次提取眼動和心電特征,可得每名司機的生理特征數據集xl=(x1,x2,…,x26),l=1,2,…,40,維度為26×160。在將生理特征輸入預測模型前,需對特征進行篩選以避免冗余信息影響模型的精度和速度。灰色關聯分析法的思想是通過對比數據序列幾何關系和曲線幾何形狀的相似性來判斷指標間的關聯程度,適合小樣本分析。本研究中,比較序列為高鐵司機警覺度第i列特征指標xi,參考序列為高鐵司機對刺激信號燈的反應時間yl。警覺度特征xi和對應反應時間序列yl的灰色關聯度ri為

( 5 )

( 6 )

Δi(n)=|yl(n)-xi(n)|

( 7 )

式中:ξi為警覺度特征xi與反應時間yl的關聯系數;ρ為分辨系數,一般取值為0.5;N1為樣本量,本文中為160。

灰色關聯度ri的值越大,說明警覺度特征xi與高鐵司機的反應時間曲線相似程度越高。本文選取與高鐵司機反應時間平均關聯度高于0.7的q項警覺度生理特征作為后續模型的輸入。

通過特征提取和篩選,最后用于構建高鐵司機警覺度預測模型的特征集為xl=(x1,x2,…,xq,T1,T2,Tin,Tout),包括高鐵司機的眼動特征、心電特征以及作業環境參數。

3 基于LSTM-Attention的高鐵司機警覺度預測模型構建

3.1 LSTM網絡

高鐵司機的警覺度不是瞬時變化的,狀態起伏具有時序特征,因此本文選取適用于處理時序問題的LSTM模型預測高鐵司機的警覺度。LSTM通常包含輸入層、隱藏層和輸出層,記憶單元是LSTM模型隱藏層的基本單元,每個記憶單元中含有一個控制單元,并使用忘記門、輸入門和輸出門這3個門控開關進行控制。忘記門決定記憶單元中信息的刪除與保留,輸入門決定當前輸入對記憶單元狀態的影響,輸出門決定當前記憶單元輸出內容,記憶單元結構見圖2。

圖2 LSTM記憶單元結構

LSTM記憶單元在時刻t有3個輸入:當前輸入數據xt,包含高鐵司機在時刻t的眼動特征、心電特征以及作業環境參數,上一時刻記憶單元輸出ht-1和上一時刻記憶單元狀態Ct-1。輸出內容包括當前時刻輸出值ht和單元當前狀態Ct。t時刻LSTM記憶單元狀態更新過程為

Ft=σ(WF·xt+UF·ht-1+bF)

(8)

It=σ(WI·xt+UI·ht-1+bI)

(9)

(10)

(11)

Ot=σ(WO·xt+UO·ht-1+bO)

(12)

ht=Ot·tanh(Ct)

(13)

3.2 注意力機制

為進一步挖掘高鐵司機警覺度特征的時序特性對模型性能的影響,本文引入了注意力機制,突出重要特征,進一步提升模型的效率和可靠性[29],Attention機制結構見圖3。

圖3 Attention機制結構

當LSTM模型的輸入包含K個時刻的警覺度特征時,隱藏層有K個輸出向量hk,k=1,2,…,K,將輸出向量輸入一個全連接網絡,可得到每個輸出向量對模型最終輸出的影響力得分Sk為

Sk=tanh(Wk·hk+bk)

(14)

式中:Wk、bk為全連接網絡的權重系數、偏置。

然后通過將每個輸出向量的影響力得分歸一化至0～1,得到各向量的權重系數αk為

(15)

(16)

(17)

式中:Wd和bd分別是輸出層的權重系數和偏置,active(·)為激活函數,由于對高鐵司機反應時間的預測屬于回歸問題,此處選用線性函數作為輸出層的激活函數。

3.3 遺傳算法優化LSTM

在模型參數優化方法中,遺傳算法(Genetic Algorithm,GA)具有較強的全局搜索能力,因此本文選用GA對LSTM模型的參數進行優化。優化的參數包括:LSTM隱藏層的神經元數量、初始學習率、以及全連接層的神經元數量,優化流程見圖4。設置初始神經元個數在[16,128]范圍內產生的隨機數,初始學習率為尋優范圍為[0.01,1],生成初始種群。根據每個種群的染色體構建LSTM模型對高鐵司機的反應時間進行預測。采用均等系數作為種群適應度fitness為

圖4 遺傳算法優化流程

(18)

3.4 模型評價

本文選取平均絕對誤差nMAE、均方根誤差nRMSE和平均相對誤差nMRE用于評價高鐵司機警覺度預測模型對反應時間的預測效果,各指標計算式為

(19)

(20)

(21)

4 結果分析與討論

4.1 高鐵司機警覺度客觀量化指標有效性驗證

實驗中通過KSS量表分數和高鐵司機對隨機刺激的反應時間來量化司機在作業過程中的警覺度。為保障后續分析的準確性,首先對警覺度的客觀評價指標進行有效性驗證。針對每名被試,以其反應時間的三分位數為閾值,將對應的KSS分值樣本劃分為3組并對每組求得KSS均值。40名司機在不同反應時間對應的KSS分值統計見圖5。司機對隨機刺激的反應時間越長,其對應的KSS分值越高,具有顯著的統計差異,反應時間這個客觀指標與KSS分值顯示出較好的一致性。表明司機對隨機刺激的反應時間是量化其警覺度水平的一個有效的客觀指標。

圖5 高鐵不同反應時間對應KSS量表分數

4.2 高鐵司機行車環境對警覺度的影響

高鐵作業外部環境對司機警覺度的影響見圖6,如圖6所示,相較于上午時段,當高鐵司機在下午執乘作業時,其口頭報告的KSS分值和反應時間都有所增加,但是在統計上并不顯著。此種增加的趨勢可能是由于司機的生理節律導致的。而在線路情況方面,隧道內的口頭報告KSS分值顯著高于隧道外,而隧道內的反應時間卻顯著低于隧道外。可能是因為高鐵司機在隧道內行車,環境相對昏暗,缺乏有效的參照系統,注視范圍更集中,使得司機的視覺負荷增加,所以主觀上會有顯著的疲勞感。但是由于一直注釋前方,所以在觀察和反應時間上有所降低。由于司機在隧道內外在主客觀上都表明線路環境對其警覺度有影響,因此將隧道內外這一作業環境變量納入后續建模,定義隧道內行車特征值為1,隧道外行車特征值為0。

圖6 高鐵作業外部環境對司機警覺度的影響

4.3 基于灰色關聯分析的生理特征選取

分別計算2.1節中提取的7項眼動特征指標和2.2節提取的19項心電特征指標與高鐵司機反應時間的灰色關聯度,分析結果見表2。由表2可知,共計14項指標與高鐵司機反應時間關聯度高于0.7,其中包含4項眼動特征指標和10項心電特征指標。灰色關聯分析結果表明不同警覺度狀態下心電信號的MFCC特征指標變化規律與反應時間的起伏相似性略優于心電的線性頻譜和時域特征指標。值得注意的是,與汽車駕駛人警覺度研究中有所不同的是,眼動的SS, FD以及FP指標并沒有展現出與高鐵司機警覺度有較好的關聯性。可能是高鐵駕駛和汽車駕駛作業特性的區別導致的,與汽車駕駛不同,高鐵司機主要注視區域在正前方,掃視區域相對較小,見圖7。因此司機的注視、掃視特征變化不明顯。

表2 基于灰色關聯分析的特征選取結果

圖7 高鐵司機行車過程中主要注視區域

4.4 模型預測結果

4.4.1 模型參數優化

為更好的屏蔽個體差異的影響,本研究對每名司機的數據進行獨立建模,以4項眼動特征指標、10項心電特征及隧道參數特征為自變量,對刺激信號的反應時間為因變量,建立LSTM-Attention回歸模型。對于每名被試,75%的樣本用于訓練模型,25%的樣本作為驗證集以查看模型的泛化效果。LSTM-Attention模型的搭建基于TensorFlow1.8學習框架實現,模型權重優化器采用Adam算法,損失函數采用均方誤差,激活函數為Linear函數,Batch_size為16,Epoch為100。本文采用GA算法對模型參數進行優化,GA尋優結果見表3。

表3 GA尋優結果

4.4.2 高鐵司機警覺度預測模型性能分析

為探究高鐵司機警覺度特征的時序特性對模型預測性能的影響,構建LSTM-Attention模型時分別輸入了時序長度為1～10的序列特征,輸入不同時間序列長度時模型性能見表4。當警覺度特征的時間序列長度為5時,模型的預測效果最佳。實驗過程中,高鐵司機對信號刺激的反應時間為720～1 340 ms,平均反應時間為966.08 ms。模型對司機反應時間預測的nMAE和nRMSE均值分別為92.86、102.31 ms,模型預測的相對誤差為9.6%。當輸入特征為單點時刻樣本時,模型nMAE和nRMSE均值分別為110.82、136.57 ms,隨著輸入時間序列長度的增加,模型的預測性能有了顯著的提升,當序列長度為5時達到最佳預測效果。結果表明利用司機警覺度特征在時間層面的信息可以有效提升LSTM-Attention模型對高鐵司機反應時間的預測效果。但隨著時間序列長度的持續增加,模型性能出現輕微的下降,可能是過長的時間序列特征包含了部分的冗余信息,影響了高鐵司機警覺度預測模型的精度。

表4 輸入不同時間序列長度k時模型性能

為進一步分析探究LSTM模型的性能以及注意力機制對模型預測能力的影響,將時序長度為5的高鐵司機警覺度特征分別輸入LSTM、SVR、LSSVM和LSTM-Attention模型進行對比,模型預測性能對比見表5。LSTM的預測精度顯著高于SVR和LSSVM,表明LSTM處理高鐵司機的警覺度時序特征更有更強的適應性。另一方面,注意力機制的引入使LSTM模型的nMAE降低約5%,nRMSE降低約7%。表明注意力機制有助于提取高鐵司機各模態特征與警覺度關聯的時間特性,進一步提升了LSTM模型對高鐵司機反應時間的預測精度。

表5 模型預測性能對比

分別將眼動特征、心電特征、線路參數逐步輸入LSTM-Attention模型探究不同模態特征對模型性能的影響。輸入模態模型性能的影響見表6。從單一生理特征看,采用眼動特征預測高鐵司機的反應時間效果優于采用心電特征。相較于僅以眼動特征為輸入,心電特征的加入讓模型的nMAE由98.96 ms降至93.28 ms,nRMSE由123.48 ms降至104.68 ms,兩個指標分別降低5.7%和15.2%。結果表明融合兩種模態的生理特征可從不同角度對高鐵司機的警覺狀態進行描述,從而提升模型對反應時間的預測精度。此外,線路環境是本文考慮影響司機警覺度水平變化的因素之一,當將線路特征和高鐵司機的生理特征一起輸入模型,模型預測能力有進一步提升,模型對司機反應時間預測的nMAE和nRMSE均值分別為92.82、103.28 ms,模型預測的相對誤差為9.6%。

表6 LSTM-Attention模型輸入模態模型性能的影響

5 結論

本文結合警覺度的時間特性,提出一種基于LSTM-Attention模型的高鐵司機警覺度預測方法,模型以眼動、心電信號以及線路參數的時間序列特征和作業線路特征為輸入,通過Attention機制調整各時刻特征對輸出的貢獻權重來對高鐵司機的反應時間進行回歸預測,以此實現對高鐵司機警覺度的預測。基于模擬實驗數據,LSTM-Attention模型的平均絕對誤差為92.86 ms,均方根誤差為102.31 ms,模型預測的相對誤差約為9.6%,基本實現對高鐵司機警覺度的連續度量,可為高鐵司機的警覺度監測、預警設備的設計和開發提供理論支撐。數據結果還表明高鐵司機警覺度特征的時間特性可用于對警覺度的預測,后續研究中可通過調整特征提取的時間窗口大小,進一步探究警覺度變化的時間特性,提升模型的預測精度。