基于雙向長短記憶網絡的異常駕駛行為檢測

惠 飛，郭 靜，賈 碩，邢美華

長安大學 信息工程學院，西安710064

1 引言

隨著經濟與社會的發展，生活水平逐漸提高，人們的出行已經離不開交通工具的幫助。相關交通工具給人們帶來便利的同時，也帶來了交通擁擠、交通安全等各種問題[1]。我國是世界上受道路交通安全傷害最嚴重的國家之一，每年發生交通事故達20 多萬起。而激進型駕駛行為[2]如急加速、急減速等是導致交通事故的發生主要原因之一。因此，準確識別行駛車輛的異常駕駛行為對交通安全、車輛安全有著重要意義。

目前已有很多關于駕駛行為的研究，但大多數致力于針對駕駛人本人的駕駛行為或意圖檢測[3]，或者利用圖像以及視頻對行駛車輛進行檢測[4]，Kumtepe等人[5]在利用車載攝像頭獲取視覺數據的基礎上，通過檢測道路線和道路上的車輛來提取車道偏離率和可能的碰撞時間等特征，而后使用這些特征訓練分類器識別激進型駕駛行為。所采用的方法大多也是使用聚類算法對駕駛行為進行識別以及統計，Lee 等人[6]提出了一種基于兩層聚類的框架，以評估大規模駕駛記錄，識別潛在的侵略性駕駛行為。而對于在道路上行駛時周圍車輛的相關駕駛行為的識別成為一個積極又具有挑戰的新興研究領域，目前已有部分研究者對這部分內容進行了研究。Li等人[7]仿照語音識別技術，使用一種結合隱馬爾可夫模型（HMM）和貝葉斯濾波（BF）技術的新算法來識別駕駛員換道意圖；哈爾濱工業大學的羅沂等人[8]，采集車輛行駛的GPS數據，針對自由行駛、跟車行駛、環道行為和超車行為等四種駕駛行為分別建立HMM模型，并獲取表征參數，最終實現對以上四種駕駛行為的識別。

隨著通信技術及智能交通系統（ITS）、傳感技術[9]的最新進展，車-車通信創建車聯網大環境[10]使越來越多精確行駛數據可用于異常駕駛行為檢測。在網絡內的車輛通過接收周圍車輛的實時駕駛數據等信息，提高駕駛員對周圍環境的認知，實現更安全有效的駕駛動機，使異常駕駛行為識別結果更為準確、客觀。Ding等人[11]提出了基于調頻連續波雷達系統的疏忽駕駛行為檢測方法。Talebpour等人[12]在使用車聯網數據的基礎上，提出了一種基于博弈論方法的變道模型預測換道行為。Bejani 等人[13]提出了一種包括智能手機標定、機動分類和駕駛風格評估的CADSE 系統，以考慮交通水平和車輛類型對駕駛評估的影響。

除了以上傳統的識別方法之外，隨著神經網絡的發展，出現了新的駕駛行為的識別方法，并取得了較好的檢測效果。Huang 等人[14]介紹了深度學習融合技術，并引入了三種基于深度學習的融合模型，實現了基于視頻的異常駕駛行為檢測任務。Zyner等人[15]提出了一種基于遞歸神經網絡的預測方法，從基于激光雷達的跟蹤系統系統中獲取數據，為潛在沖突在發生之前提供了一個預測窗口。Altché等人[16]通過使用長短時記憶（LSTM）神經網絡，對高速公路車輛未來的縱向和橫向軌跡進行準確預測，為實現軌跡預測的關鍵一步。Zhao等人[17]提出了一種使用長短記憶神經網絡來預測交通流量的方法，取得了較好的結果。

以上方法或是在宏觀角度對駕駛行為進行分類，或是利用圖像數據對固定行為的車輛進行異常駕駛行為識別，針對車輛本身在駕駛員的角度對駕駛行為進行識別的研究較少。本文使用一種拓展神經網絡（BiLSTMFC 網絡）模型對異常駕駛行為進行識別。該網絡利用車輛行車數據，在車輛行駛的過程中準確識別周圍車輛的駕駛行為，該模型具有兩層結構。第一層是RNN 結構的變體BiLSTM[18]，利用該網絡在處理時間序列數據方面的優勢來處理行車數據，通過從前-后兩個方向對駕駛行為的數據序列進行處理，突出異常駕駛行為發生時的行車數據的數據特證，有利于提高異常駕駛行為的識別精度。第二層是全連接神經網絡，用于駕駛行為的分類。利用上一層BiLSTM 模型的輸出作為這一層模型的輸入，突出了駕駛行為運動特征的數據作為輸入比單純使用車輛行車數據作為輸入具有更高的精度。具體流程如圖1所示。

圖1 系統流程圖

2 駕駛行為數據處理及其特征分析

2.1 駕駛行為數據獲取

本篇文章中所使用的相關行車數據均來自美國交通安全部安全試驗模型部署所采集的樣本數據（SSPDSafety Pilot Model Deployment Data），該數據于2014年10 月由模型部署的試驗和測試團隊發布，數據版權為美國交通部（USDOT）智能交通系統（ITS）聯合項目辦公室（JPO）所有。

本研究中所使用的數據均從配備了數據采集系統（DAS）的車輛中收集，DAS以10 Hz的頻率獲取車輛基本行駛數據以及路測單元中的數據，獲取之后以csv 的格式存儲。駕駛行為發生的時間一般較短，10 Hz 的采集頻率足以詳細描述駕駛行為發生過程中數據的變化過程，并支撐神經網絡學習。所采集的數據集包含車輛位置信息：經度和緯度等；狀態信息：油門、剎車等；運動信息：速度、加速度和轉向角等；以及瞬時駕駛環境：周圍物體和最近物體的距離等。

本研究使用來自26輛車的132段行程數據，其中包含510多萬條原始數據，每一條數據描述當前車輛在某一時刻的駕駛信息。由于傳感器和通信設備的在運行過程中會受到各方面的因素影響，從而導致數據的質量出現各種問題，例如數據重復、數據缺失、數據錯誤、數據波動等問題，所以在使用數據前需對數據進行數據預處理，如缺失數據填補、誤差數據處理、重復數據刪除等預處理以提高數據的質量，如公式（1）～（4）所示：

公式（1）為數據填補公式，其中xi為缺失數據；xi…xi-k為缺失數據前的正常數據；k為數據采用長度，本文取3 s 的數據量。公式（2）為誤差數據處理公式，根據原始數據序列x1,x2,…,xn，求得每個序列的算術平均值xˉ和每個數據的誤差ai，依據貝塞爾公式求得σ，作為判斷閾值，對于序列中的所有數據：

如|xi-xˉ|＞3σ，誤差過大，將xi剔除；

如|xi-xˉ|＜3σ，誤差正常，將xi保留。

經過數據預處理后，對數據進行初步統計，由于相關車輛均在城市內行駛，不存在倒車情況，故速度值均大于零。本文中隨機挑選一段行程，對速度v、GPS 速度vG、縱向加速度a、轉向角以S及油門位置T等五個運動特征分別計算相關數學統計量，包括均值、中值、最大值、最小值以及方差等。相關數據的運動特征及統齊計量結果如表1所示。

2.2 異常駕駛行為特性分析

在交通相關法律法規中，急加速、急減速行為并不屬于違法或是違規行為，但也會造成追尾等交通事故的發生，對駕駛安全有一定程度的影響。我國現行的交通法規對于異常駕駛行為沒有明確的定義，按照違反交通安全行為的特征分類，異常駕駛行為是突然改變通行狀態對他人安全造成影響的不文明、不安全駕駛行為，是有意影響道路交通安全的駕駛行為。

在日常的駕駛過程中，駕駛員的駕駛行為絕大多數時間內趨于穩定，即速度、加速度等相關參數在相當時間內變化幅度較小甚至保持不變。但是當駕駛人員的操作出現異常行為時，速度加速度等相關參數會突然發生變化。所以本文中闡述的異常駕駛行為檢測，是通過提取眾多數據中的加速度或轉向角明顯有異于正常值的數據，來獲取駕駛行為中異常駕駛行為。

文獻[19]中關于駕駛行為中速度等數據的統計分析發現在所有駕駛時間中，15%駕駛行為是不穩定（加速時間占15%，減速時間占15%）的。結合這一分布以及現實數據的實際情況，對數據中加速度以及轉向角在不穩定概率內的數據進行標定，將在連續3 s時間內加速度、轉向角均異常的數據進行提取，標注為異常駕駛行為。

在駕駛的過程中，任何駕駛行為都會持續一定的時間，不會在瞬時完成所有動作。將異常駕駛行為發生的過程用包含一段包含駕駛行為異常點的時間連續數據段來表示。本文中數據獲取頻率f=10 Hz（0.1 s），一般駕駛行為完成的時間t＜3 s，故定義時間窗口的長度為30，窗口內包含車輛行駛時的30 組數據，滑動窗口，可在包含X組數據的行為序列中獲得X-29 段駕駛行為。

駕駛過程中的平穩駕駛、正常的加速、減速或轉向與異常駕駛行為的區別如圖2 所示。圖2（a）表示了車輛急加速行駛時加速度的變化過程：圖中紅色曲線表示平穩駕駛行為的加速度變化曲線，加速度在小范圍內波動-0.5 m/s2＜a＜0.5 m/s2；黃色曲線表示正常加速行駛時的加速度變化曲線，曲線的增長趨勢較平緩，加速度峰值不高；藍色曲線所示為急加速駕駛行為，曲線增長速度較快，加速度明顯持續的大于正常值，且峰值較高。

圖2（b）表示了車輛急減速行駛時加速度的變化過程。黃色曲線表示正常減速行駛時的反向加速度變化曲線，曲線的下降趨勢平緩。而藍色曲線所示為急減速駕駛行為，曲線下降趨勢較快，在一段時間內，反向加速度明顯持續的小于正常值，且出現了加速度的最低點。

圖2（c）與圖2（d）分別表示異常左向急轉彎與右向急轉時的轉向角的數據變化過程。所示圖中，兩根豎直紅色虛線內的部分為標注的異常駕駛行為。當車輛正常平穩行駛時，轉向角穩定在零附近，如圖中紅線所示；在城市道路交通中，車輛變道及轉彎行駛時是減速行駛的，轉向角變化較平緩，且峰值不會很高，持續時間較短，如圖中黃線所示；但是當車輛出現異常的左轉或右轉時，如車輛避險時，車輛的轉向角變化較明顯，數據出現突然的上升或下降，且具有較高的峰值。如圖中藍色線所示。

表1 數據運動特征及其統計量

2.3 異常駕駛行為數據集的建立

根據異常駕駛行為的定義，通過異常點檢測，在原始數據中找到異常駕駛行為所在位置，并利用滑動窗口截取相應數據段來表示駕駛行為。單個數據異常很有可能是由于硬件或傳輸異常造成，所以對于某一時刻出現加速度或速度異常時不作為異常駕駛行為考慮。本文中共截取1 200 個數據段建立數據集，其中包括400段正常行駛數據段、200段急加速數據段、200段急減速數據段以及200段左向急轉彎數據段和200段右向急轉彎數據段。從1 200 個數據段中選取80%作為訓練集，20%作為驗證集，其中各駕駛行為類別在訓練集與驗證集所占比例均與其在所有數據集中所占比例相同。

圖2 異常駕駛行為數據

3 BiLSTM-FC模型構建

異常駕駛行為識別主要使用的數據是車輛行駛過程中的數據，這些數據具有時間連續性，每一時刻的數據前后互相關聯。后期數據的變化是在前期數據的基礎上完成，而BiLSTM模型可以更好地捕捉駕駛行為在時間序列上的雙向依賴。同時其循環結構，選擇性地記憶或遺忘輸入的數據。因此，在處理車輛運動學數據時，可以保存對結果有重要影響的數據，如速度、轉向角等；而不影響結果的數據將被遺忘。因此，本文使用的拓展模型是基于一層BiLSTM 網絡以及一層全連接神經網絡。BiLSTM網絡將前面的信息進行記憶，保存在網絡的內部狀態中，并應用于當前輸出的計算中，即隱含層之間有鏈接，并且隱含層的輸入包含輸入層的輸出以及上一時刻隱含層的輸出。利用BiLSTM這一優勢，獲取原始數據中的駕駛行為特征，所得結果作為下一層全連接神經網絡的輸入，對異常駕駛行為進行識別分類。

這里的輸入t有30個時間段，與數據集中每個異常駕駛行為的時間長度相同，每條數據內容中包含速度、加速度、GPS經緯度等11個特征值，將原始輸入調整為具有30個元素的矢量，每個元素為1×11 的數組。這30個時序一次送入BiLSTM 中，具如圖3 所示。根據數據輸入維度，建立異常駕駛行為檢測模型。

圖3 BiLSTM模塊結構圖

3.1 BiLSTM模塊

LSTM 作為RNN 的一種變體，由Hochreiter 等人[20]于1997 年提出，LSTM 在繼承了RNN 在處理時間序列方面優點的同時解決了RNN梯度消失的問題，BiLSTM將前向與后向LSTM相結合，能更好地從兩個方向獲取數據特征。由于車輛的行車數據具有時間連續性，如果時間序列數據直接由全連通神經網絡處理，會造成數據丟失，降低模型精度。此外，在處理時間序列數據時，BiLSTM會考慮數據序列中數據之間的相關性，這樣可以最大限度地利用時間數據。

BiLSTM有向前和向后兩個訓練層，每一層訓練序列都是由長短記憶網絡（LSTM）構成，而且這兩個都連接著一個輸出層。這個結構提供給輸出層輸入序列中每一個點的完整的過去和未來的上下文信息，即駕駛行為在發生時前后時間內的數據在順時和逆時兩個時間方向的信息都會通過隱藏層保留。本文所使用的BiLSTM 如圖4 所示，一個沿著時間展開的雙向長短記憶網絡，包含輸入層、前向LSTM層、后向LSTM層以及輸出層。圖中x1,x2,…,xn是新時刻輸入的信息，本文中n=30，x1,x2,…,x30代表數據集中連續30 個時刻的駕駛行為數據；Ct-1與at-1上文信息的表示，Ct與at表示本層傳遞給下一層的相關信息。六個獨特的權值在每一個時步被重復的利用，六個權值分別對應：輸入到向前和向后隱含層(w1,w3)，隱含層到隱含層自己(w2,w5)，向前和向后隱含層到輸出層(w4,w6)。前向和后向隱含層之間沒有信息流，展開圖是非循環的，前向后向LSTM 對異常駕駛行為數據的處理結果依據權值(w4,w6)直接到達輸出層。

圖4 BiLSTM模塊結構圖

另外，Wf與與Wb分別代表前向與后向LSTM，本文使用變體LSTM：窺視孔連接[21]（Peephole），該結構彌補了傳統LSTM 中遺忘門中的缺點，使得當前的cell 狀態能夠通過輸入門和遺忘門影響到下一時刻cell 對數據的處理，補充傳統LSTM 中cell 對上個序列處理中所丟失的部分數據，運用在車輛的行駛數據可以保留數據在時間序列上的變化特征，Peephole 展開后具體如圖5所示。

圖5 Peephole結構圖

Peephole 由一個或多個內存單元和三個門控制器（gate controllers）單元組成：輸入門、輸出門和遺忘門。其中xt是當前的輸入向量，本實驗中為每個時刻行車數據的輸入，ht是當前隱藏層向量，ht包含LSTM細胞的輸出，以及i,f,o和g分別是輸入門、遺忘門、輸出門和細胞向量，所有這些都與隱藏向量hi的大小相同，c為長期狀態。遺忘門（forget gate，由ft控制）決定哪些長期記憶被遺忘；輸入門（input gate，由it控制）決定被添加到長期記憶的內容；輸出門（output gate，由ot控制）決定長期記憶中讀取和輸出的內容。具體計算公式如下：

其中，公式（5）為輸入門計算公式，公式（6）為遺忘門計算公式，公式（7）為內部神經元計算公式，公式（8）為輸出門計算公式，公式（9）及公式（10）分別為長期狀態及隱藏狀態的計算公式。Wxi,Wxf,Wxc,Wxo是4個全連接層關于輸入向量xt的權重矩陣。Whi,Whf,Whc,Who是4個全連接層關于短期記憶ht-1的權重矩陣。bi,bf,bo,bg是4個全連接層的偏置項。bf初始為全是1的矩陣。

3.2 全連接神經網絡模塊

全連通網絡是最基本、最簡單的神經網絡，該網絡由于參數量以及計算量較大等原因，使用越來越少，但是在本文中，輸入及輸出尺寸固定且數量較少，不存在上述問題；而且其在多參數融合中表現良好，且對輸出維度沒有具體要求，同時具有可靠性高、低延時等特點，適用于對本文中異常駕駛行為進行分類因此采用全連通網絡作為分類網絡。全連接神經網絡結構如圖6 所示。本文中將BiLSTM 的輸出作為全連接神經網絡的輸入，輸出神經元個數與分類結果的類別個數相同。

圖6 全連接神經網絡層結構圖

在本文中，提取的所有駕駛行為數據，包括速度、加速度以及GPS 點等經過BiLSTM 處理，BiLSTM 輸出數據維度與輸入數據維度相同，輸出數據作為全連接網絡層的輸入，最后利用softmax 函數完成分類。結果分為急加速、急減速、左線急轉、右向急轉以及正常行駛五類，輸出維度為5。

4 實驗過程及結果驗證

本文所使用的算法是在Keras框架中使用Python3.7編譯器算法構建的。建立算法模型后，輸入數據集中的樣本。在訓練時，為了防止過擬合，在前向及后向LSTM網絡后添加Dropout函數；網絡模型包含三層，分別是正向LSTM、反向LSTM以及最后的全連接層。

為了驗證本文使用的算法對異常駕駛行為檢測識別的準確性，分別使用相同的訓練數據來訓練多個算法網絡，分別是BiLSTM-FC 網絡、LSTM 網絡、RNN 網絡以及傳統的BP 網絡。對比在訓練過程中，識別率的大小以及損失函數的變化（算法模型的識別結果與實際結果的差異）均是反映算法的效果模型好壞的重要參數。識別率越高、損失函數值越小，識別結果越接近真實結果，識別效果越好。

如圖7 所示，圖7（a）為本文中使用的BiLSTM-FC拓展神經網絡的識別率，圖中藍色線分別表示了訓練過程中的識別率變化曲線，綠色線為測試時識別率的變化曲線；圖7（b）為損失函數，圖中藍色線為訓練過程中的損失函數，橘色線為測試時的損失函數。圖8中，（a）為RNN網絡的識別率，（b）為BP網絡的識別率。其中，橘色線代表訓練過程中識別精度的變化趨勢，藍色線代表測試過程中識別精度的變化趨勢。圖中accuracy 的值發生突變是由于神經元的權值變化對網絡輸出有顯著影響，受輸入數據差異的影響，在迭代中產生了較大訓練誤差。隨著訓練過程的進行，權值的變化幅度會逐漸減小，accuracy 值的突變也就會逐步減小。如圖7、圖8所示，BiLSTM-FC的識別率要優于RNN網絡和BP網絡的識別率。對比兩種模型損失函數變化曲線。LSTMFC 較其他模型識別率較高，隨著訓練次數的增多趨于平緩，收斂速度較快，損失函數值也較低，說明BiLSTMFC的識別效果具有顯著優勢。

從上述實驗結果中可以得出BiLSTM-FC模型對于異常駕駛行為的識別優于RNN 以及LSTM 等，為了降低實驗結果的偶然性，使用同樣的數據集分別對各網絡模型做三次實驗，并對識別率、損失值等實驗結果取平均值，最終根據平均值對各網絡模型進行比較，具體異常駕駛行為的檢測識別結果如表2所示。其中BP的識別率不是很理想，最終為86.82%，BiLSTM 的識別率最高達到了98.08%。

表2 數據運動特征及其統計量

圖7 BiLSTM模型識別率與損失函數

圖8 RNN模型識別率與BP模型識別率

5 結論

異常駕駛行為是影響交通安全、導致交通事故的主要原因之一。目前已有的研究中，使用深度學習對駕駛行為進行識別的工作還較少。使用神經網絡建立模型，使實時識別出的駕駛行為能夠具體到準確的時間、準確的車輛，提高駕駛行為識別在提高交通安全方面的作用。本中使用車輛終端采集的車輛行駛數據來識別異常駕駛行為。數據預處理后，采用統計方法對異常加速度點進行分類。然后結合相關駕駛經驗，分割車輛駕駛數據，提取出用于訓練模型的數據樣本，構建異常駕駛行為訓練模型用于識別行駛時車輛的駕駛行為。模型中第一層BiLSTM處理時間序列數據，第二層全連接神經網絡用于對異常駕駛行為進行檢測識別，該模型對異常駕駛行為的識別率達到98.08%。實驗結果表明，所使用的BiLSTM-FC拓展網絡模型能夠識別異常駕駛行為，具有較高的識別率。研究結果有助于提高交通行駛安全性。