基于Encoder-Decoder注意力網絡的異常駕駛行為在線識別方法

唐 坤,戴語琴,徐永能,郭唐儀,邵 飛

(1.南京理工大學 自動化學院, 南京 210094; 2.陸軍工程大學 野戰工程學院, 南京 210023)

0 引言

交通事故不僅對社會經濟發展造成嚴重損害,而且是應急救援等特殊情況下人員物資安全投送的重大威脅。數據表明,我國2019年共發生交通事故247 646起,造成直接財產損失就高達134 618萬元[1]。超過90%的交通事故與異常駕駛行為有關,行駛速度每增加5%,造成傷害和致命交通事故數量將分別增加10%～20%[2]。因此,對異常駕駛行為進行分析與識別是預防交通事故、提升交通安全的重要途徑,為人員物資的安全與高效投送提供可靠保障。

國內外學者對駕駛行為進行了廣泛研究[3-4],從方法層面來看,目前研究大致可以分為基于分析的方法與數據驅動的方法兩類[5]。前者以駕駛員心理與生理信號為基礎,例如腦電信號EEG[6]、皮電信號EDA[7]、眼動信號EOG[8]等,通過構建精確的分析模型對異常駕駛行為進行識別。由于心理與生理信號具有較高的時間分辨率,能夠滿足精細化的駕駛行為分析需求,基于分析的方法得到了廣泛應用[9-10]。然而,心理與生理信號通過駕駛佩戴的傳感設備獲取,存在較強的侵入性與干擾性[11]。與基于分析的方法不同,數據驅動的方法利用機器學習等方法對數據進行分析,將蘊含在數據中的信息轉化為知識,實現駕駛行為的非顯式建模。由于采用非侵入方式進行數據采集并自動構建數據與駕駛行為之間的關聯模型,數據驅動的方法具有顯著優勢,已經成為駕駛行為研究的熱點方向[12]。從數據角度而言,數據驅動的方法主要包括兩類:基于圖像視頻[13]與基于傳感器數據[14]。得益于機器視覺近些年的迅猛發展,基于圖像數據的方法具備了較多的成熟方案。然而,圖像數據容易受光照等因素的影響,應用場景受限,而且視頻數據量較大,需要消耗大量的計算資源。基于傳感器數據的方法需要為車輛安裝大量專用傳感器,安裝與維護成本極高,較難推廣應用[15]。

隨著智能手機的大量普及,手機內集成的傳感器種類日益豐富,通過融合智能手機多傳感器數據進行駕駛行為分析得到越來越廣泛的關注[16]。手機傳感器能夠以非侵入的方式實時記錄車輛運動狀態信息,與專用傳感器相比,具有成本低、易獲取、非侵入、易普及等優點。利用手機傳感器數據進行駕駛行為分析的關鍵在于如何從傳感器數據中提取高質量的特征表達[17]。近年來,深度學習(deep learning)在計算機視覺、自然語言處理等領域取得了巨大成功[18-19]。得益于深度網絡結構,深度學習模型能夠逐層從數據中挖掘潛在知識,在特征提取與數據挖掘方面展現出獨特的優勢[20]。鑒于深度學習模型強大表征能力,利用深度學習方法從數據中挖掘交通模式已經成為交通研究的重要趨勢[21]。

鑒于此,從數據驅動的角度出發,以低成本無侵入的手機傳感器為基礎,通過多傳感器數據融合,分析自然駕駛條件下的駕駛行為模式與數據特性,提出一種基于Encoder-Decoder深度學習模型與Attention機制的異常駕駛行為在線識別方法,并利用真實數據進行實驗對模型的有效性進行驗證。主要工作包括:

1) 分析駕駛行為特性與數據模式,挖掘異常駕駛行為的數據表現特征,驗證基于手機多傳感數據融合進行異常駕駛行為識別的可行性。

2) 提出基于Encoder-Decoder深度網絡與SVM的異常駕駛行為識別模型,通過融合Attention機制,增強了模型的注意力,并提高了異常駕駛行為識別精度。

3) 利用真實的自然駕駛數據進行實驗,分析不同特征提取器與分類器組合模型的異常駕駛行為識別性能,再通過實驗對比,驗證了所提模型的有效性。

1 數據簡介與預處理

1.1 數據簡介

本文中所采用的駕駛行為數據來自于公開數據集Driver Behavior Dataset[22]。該數據集通過智能手機中的慣性測量單元傳感器采集,加速度計、線性加速度計、陀螺儀與磁力計分別記錄車輛在xyz三個方向上的加速度、線性加速度、角速度與磁場力。整個數據集包含4段實驗行程,平均每段行程持續約13 min,具體如表1所示。

表1 異常駕駛事件數據統計量

1.2 特征提取

由于駕駛行為的復雜性,單個傳感器很難對其進行較好地表征,本文中采用多傳感器融合的方式對駕駛行為進行描述。如圖1所示。通過對不同傳感器的數據進行融合,各時刻的駕駛行為可以用一個維度為12的特征向量xt∈R12進行描述。由于綜合考慮了多個傳感器數據,相較于單傳感器而言,xt具有更為全面的駕駛行為描述能力。

圖1 駕駛行為描述特征構建

1.3 數據預處理

鑒于原始數據存在數據缺失、量綱各異和類間不平衡等問題,因此有必要采用以下步驟對初始數據進行預處理。

步驟1缺失數據處理。查找缺失數據記錄,確定數據缺失性質,針對偶然性缺失,采用插值法進行補全,針對結構性缺失,將缺失記錄從數據中剔除。

步驟2數據歸一化。不同傳感器度量單位不同,為了消除量綱的影響,采用最大最小值歸一化方法(Min-Max Scaling)對各個特征維度上的數據進行歸一化。

步驟3非平衡數據處理。數據中異常駕駛為少數類,正樣本與負樣本分布不平衡,通過對正常駕駛下采樣和對異常駕駛上采樣,使得正負樣本比例盡量平衡。

步驟4特征分布正態化。利用正態概率圖(Normal Probability Plot)對各種特征進行正態性檢驗,針對非正態分布特征,采用對數化等方法進行正態分布變換。

2 異常駕駛行為識別模型

2.1 總體框架

本文中提出模型的總體框架如圖2所示。主要包括輸入編碼、注意力學習、特征解碼、序列重構、殘差計算與駕駛行為分類等步驟,具體流程如下所示。

圖2 模型總體框架

步驟6SVM分類。將重構誤差E={e1,e2,…,eT}與原始序列Xorigin={x1,x2,…,xT}拼接得到混合分類特征向量X={(x1,e1),(x2,e2),…,(xT,eT)},將其輸入至SVM進行分類得到ot,t=1,2,…,T,實現異常駕駛行為識別。

2.2 基于LSTM的Encoder-Decoder模塊

首先,將預處理后的駕駛行為時間序列數據Xorigin輸入至Encoder-Decoder模型中的Encoder模塊。Encoder-Decoder模型是一種強大的時間序列處理框架[23],如圖3(a)所示。

圖3 Encoder-Decoder模型結構

(1)

(2)

式中:g(·)為映射函數,通常采用全連接層實現。

在解碼階段,利用語義向量c與之前時刻輸出{y1,y2,…,yt-1}計算Encoder在各時刻的輸出,如下所示

(3)

式中:yt為Decoder在當前時刻的輸出;yt-1為上一時刻的輸出;c表示語義編碼向量。

2.3 注意力模塊

(4)

式中:Wa為權重矩陣;va為變換系數;上標T代表矩陣轉置。然后,對相關性得分進行歸一化,計算Encoder隱含層狀態對Decoder隱含層狀態的影響權重,如下所示

(5)

(6)

(7)

式中:Wc為轉換矩陣。在此基礎上,計算decoder在t時刻的最終輸出yt,如下所示

yt=Whost+bho

(8)

式中:Who為隱含層輸出系數矩陣;bf為偏置項。

2.4 支持向量機模塊

(9)

式中:w為超平面法向量,b為偏置,xi與yi∈{+1,-1}分別為第i個樣本的特征向量與分類標簽,m為樣本的數量。利用拉格朗日乘子法對上式進行轉換,得到下述優化問題:

(10)

(11)

基于上述最優分割超平面,對于任一樣本x,其分類決策函數如下所示

f(x)=sgn((w*)T·x+b*)

(12)

式中:sgn(·)為符號函數,輸出為“1”或“-1”,分別代表異常駕駛與正常駕駛,從而實現異常駕駛行為識別。

3 模型結果與分析

3.1 實驗設置

對于每個時刻t,利用該時刻及前T-1個時刻的時間序列構建駕駛行為特征描述張量Xt=[xt-T+1,xt-T+2,…,xt]。通過對實驗數據進行預處理,獲得駕駛行為數據樣本共 155 496條,其中正常駕駛132 970條,異常駕駛22 526條,按照3∶1∶1的比例將數據劃分為訓練集、驗證集與測試集。模型采用PyTorch 1.9.0實現,實驗環境為Intel(R) Core(TM) i7-9700 CPU、16G DDR4內存、NVIDIA GeForce RTX 2080 GPU。模型超參數通過網格搜索調優確定,設置LSTM 層數為3,各層維度分別為{128,128,64},batch_size為128,使用Adam優化器對模型進行訓練,最大迭代次數為2 000。為了防止模型過擬合,采用丟棄法構建dropout層,并采用早停法(early stopping)對模型進行訓練。為了驗證模型的穩定性,采用5折交叉驗證對模型性能進行評估。

為了驗證模型性能,將提出模型與多種典型的特征提取器與分類器組合模型進行對比,對比特征提取器包括循環神經網絡RNN、長短時記憶網絡LSTM與Bidirectional LSTM,對比分類器包括Logistic分類器、Random Forest隨機森林,并采用多種廣泛使用的分類評價指標對模型性能進行評價,包括準確率Accuracy、精確率Precision、召回率Recall、Fβ-score。

3.2 駕駛行為特征分析

正常駕駛數據分布如圖4所示。從圖中可以看出,正常駕駛情況下,線加速度與角加速度均圍繞0值上下振動,不存在長時間持續增大或減小情況,最大值與最小值均處在合理范圍之內,具有較強的規律性與穩定性。

圖4 正常駕駛行為特征分析

急加速/急剎車、急性左/右轉彎、急速左/右變道數據分布狀態分別如圖5所示。

圖5 異常駕駛行為特征分析

急加速狀態表現為線加速度短時間內突然急劇增長,在達到峰值后振動式緩慢下降,而急剎車狀態反應為線加速度短時間內突然急速負向增長,在達到峰值后緩慢增加。急性左轉彎情況下陀螺儀角加速度先增后減,數據曲線呈現上凸現象,而急性右轉彎情況下陀螺儀角加速度先減后增,數據曲線呈現下凹現象。急速左變道情況下角加速度反應為先增后減,然后先減后增,數據呈現變幅正弦函數分布,而急速右變道情況下角加速度反應為先減后增,然后先增后減,數據呈現變幅負正弦函數分布。結果表明,異常駕駛行為導致傳感器數據波動劇烈,具有顯著的突變性,且與正常駕駛行為數據之間存在較大差異,具有顯著的離群性。

3.3 模型性能分析

各模型異常駕駛行為識別結果如表2所示。從表中可以看出,各指標計算結果整體上從上至下呈現遞增趨勢。當特征提取器為LSTM時,基于SVM的異常駕駛識別準確率、精確率、召回率與F1-score分別為0.881、0.560、0.836與0.671,高于其他2種分類器。這表明,相較于Logistic與RF,SVM能夠獲得更好地異常駕駛行為識別結果。當利用SVM作為分類器時,本文中提出模型的異常駕駛行為識別準確率、精確率、召回率與F1-score分別為0.901、0.614、0.861與0.717,均高于其他對比模型。這表明,本文中提出模型能夠以最高的精確率對絕大多數異常駕駛行為進行識別。提出模型的ROC曲線面積AUC1與PRC曲線面積AUC2分別為0.959與0.833,在各模型中表現最優。這表明本文中提出模型能夠更好地對異常駕駛行為進行識別。

表2 異常駕駛事件數據統計量

對比模型RNN、LSTM、Bi-LSTM、Encoder-Decoder及提出模型識別結果的混淆矩陣如圖6(a)～(e)所示。在采用SVM分類器的情況下,提出模型獲得了最優的異常駕駛行為識別結果。如圖6(e)所示,模型的總體識別準確率為90.1%,正常駕駛行為與異常駕駛行為的查全率分別為90.8%與86.1%,查準率分別為97.5%與61.4%,正常駕駛行為誤判的比例僅為2.5%。結果表明,提出模型能夠對更多的正常駕駛行為與異常駕駛行為進行正確識別,同時具有最低的誤判率。

圖6 混淆矩陣

為了研究模型在非平衡數據集上的分類能力,采用受試者工作特征曲線ROC與精確率-召回率曲線PRC對識別結果進行評價。對比模型RNN、LSTM、Bi-LSTM、Encoder-Decoder及提出模型的ROC曲線與PRC曲線分別如圖7(a)～(e)所示。同一特征提取器下,利用Logistic、RF與SVM分類器進行異常駕駛行為識別的ROC曲線“左上凸”程度與PRC曲線“右上凸”程度依次遞增,對應曲線下的面積也依次遞增。這表明SVM具有比 Logistic與RF分類器更好的異常駕駛行為識別效果。同一分類器下,RNN、LSTM、Bi-LSTM、Encoder-Decoder及提出模型的ROC曲線“左上凸”與PRC曲線“右上凸”程度呈現依次遞增規律,對應曲線下的面積AUC同樣依次遞增。結果表明,提出模型能夠實現絕大多數異常駕駛行為的準確識別,具有更高的正常駕駛行為與異常駕駛行為的區分率,與所對照的同類方法相比,擁有更好的ROC曲線“左上凸”性與PRC曲線“右上凸”性,以及對應更高的ROC曲線面積與PRC曲線面積。

圖7 ROC曲線與PRC曲線

4 結論

1) 基于手機多傳感器融合數據的特征分析法是汽車駕駛行為識別的有效可行手段,具有非接觸式、易獲取等優點。該特性分析法對異常駕駛行為所造成的數據異常波動而產生離群值狀態的識別具備實時性和較高的準確性。

2) 本文中所采用的注意力機制Attention能夠為不同時刻的Decoder構建考慮上下文信息的個性化語義向量,提升模型注意力,進而提高了異常駕駛行為的識別準確率。

3) 支持向量機(SVM)對Encoder-Decoder所提取的特征進行汽車異常駕駛行為的識別,要比Logistic與隨機森林RF分類模型具有更好的效果。

4) 本課題的后續工作將對駕駛行為與駕駛員情緒狀態的關聯性,通過車內視頻數據融合前述技術方法開展更加多源性的非接觸式傳感信息處理和識別算法研究。