基于LSTM-att 的車輛異常駕駛行為識別①

杜繹如, 馬印懷, 吳建波, 惠 飛, 阮仕峰, 郭 星

1(長安大學 信息工程學院, 西安 710064)

2(河北省高速公路延崇籌建處, 張家口 075400)

隨著城市化進程的加快和人民生活水平日益改善,車輛在全球普及迅速, 已經成為人們出行必不可少的工具. 車輛給人們生活帶來便利的同時, 也帶來了一系列安全和環境問題. 我國的交通事故率一直居高不下,造成了越來越多的經濟損失和人員傷亡, 所以預防交通事故勢在必行. 研究表明, 大多數交通事故是由駕駛員人為因素引起的[1], 駕駛員在不良狀態下可能會無意中突然加減速和橫向駕駛[2], 從而產生急加速、急減速、蛇形駕駛和異常換道等異常駕駛行為, 從而導致交通事故的發生. 因此, 準確識別車輛異常駕駛行為對于減少交通事故發生率有著重要作用.

當前大量的研究集中于駕駛員意圖和狀態的檢測.Lee 等人[3]提出了一種基于兩層聚類的框架, 以評估大規模駕駛記錄, 識別潛在的侵略性駕駛行為. Li 等人[4]受語音識別技術啟發, 使用一種結合隱馬爾可夫模型貝葉斯濾波技術的算法對駕駛員換道意圖進行識別. 祝儷菱等人[5]建立了基于支持向量機的駕駛行為識別模型, 利用真實車輛軌跡數據進行訓練和測試, 取得了不錯的效果. Suzdaleva 等人[6]利用貝葉斯方法和遞歸算法建立一種混合模型用來對駕駛員駕駛風格進行分類和在線估計. Wu 等人[7]收集公交車的行駛數據,訓練了樸素的貝葉斯分類器用于檢測和識別異常駕駛行為. Johnson 等人[8]提出一種基于動態時間規劃(DTW)的系統, 該系統使用傳感器融合檢測、識別異常駕駛行為. 以上研究都是基于聚類或者隱馬爾可夫等方法,雖然能夠識別出異常駕駛行為, 但是很難從中甄別出不同類型的異常駕駛行為.

近年來, 神經網絡由于其強大的非線性映射能力和自學習能力為被廣泛應用于交通領域. Huang 等人[9]受密集卷積網絡(DenseNet)的啟發, 建立了3 種新的神經網絡融合模型, 首次實現了基于視頻的異常駕駛行為檢測任務. 衛星等人[10]引入雙卷積網絡對監控視頻數據關鍵幀的特征信息進行分析, 再利用LSTM網絡對提取出的特性信息進行序列建模, 通過輸出的預測得分判斷出車輛行為類別. 毛其超等人[11]針對交通視頻監控場景復雜、視頻單幀圖像分辨率高的特點, 提出一種基于Faster R-CNN 的車輛檢測改進算法. 通過對比以上研究發現現有基于神經網絡的研究多結合圖像視頻信息, 但是圖像視頻信息受場景天氣影響較大, 且無法捕捉駕駛行為的時間特征. 與圖像視頻數據相比, 速度、加速度等車輛軌跡數據不僅具有更好的精確性, 并且保留了前后時刻數據的時間相關性.

基于以上方法所存在的問題, 本文使用車輛軌跡信息, 建立一種拓展神經網絡LSTM-att 模型對異常駕駛行為進行識別. 該網絡有兩層結構: 第1 層是帶有注意力層的長短期記憶人工神經網絡LSTM-att. 利用LSTM 在處理時間序列上的優勢對車輛數據信息進行處理, 加入attention 層突出異常行駛數據的特征, 提高識別的準確率. 第2 層用全連接神經網絡, 將上一層的輸出當作輸入, 用于對駕駛行為的識別和分類. 模型具體流程如圖1 所示.

圖1 系統模型圖

論文其余章節安排如下: 第1 節對原始數據進行介紹和預處理, 以及對異常駕駛行為數據集的標記與建立, 第2 節介紹了神經網絡模塊的工作原理, 第3 節通過實驗確定模型的識別率, 并與多個神經網絡進行對比, 第4 節對全文進行總結.

1 數據處理

1.1 數據獲取與預處理

本文所使用的相關行車數據是NGSIM (next generation simulation)數據集, 它是來自美國FHWA 搜集的美國高速公路行車數據信息. NGSIM 主要包括I80、US-101、Lankershim 和Peactree 4 個路段的車輛軌跡數據, 數據均是采用攝像頭獲取并記錄為軌跡點. 作為開源的數據集, NGSIM 以10 Hz 的頻率采集路段上每個車輛的數據信息, 這樣的頻率能夠捕捉到駕駛行為發生變化的過程, 適合用于對車輛軌跡信息的研究.

本研究使用了其中位于US-101 公路南段, 時間為2005 年6 月15 日的30 輛車輛軌跡信息, 其中包含200 萬條原始數據信息, 每條信息有當前時刻車輛的速度、加速度、車道和經緯度等18 項駕駛信息, 駕駛信息數據如表1. 雖然原數據中沒有橫向加速度, 但是可以根據車輛與相鄰車道之間的距離計算出橫向加速度.由于在傳輸過程中會有外界因素影響, 所以不可避免會出現數據的缺失, 重復等問題, 所以對數據進行預處理. 對缺失的數據利用缺失時刻的前后數據平均值進行填補, 重復數據進行刪除.

表1 NGSIM 車輛軌跡數據類型

經過預處理得到76 輛車的260 次出行, 表2 是隨即挑選一次出行的相關運動特征與車輛參數的統計量.

表2 數據運動特征與車輛參數統計量

1.2 異常駕駛行為分析

駕駛員在駕駛過程中, 由于自身駕駛風格和外部環境影響可能會產生異常駕駛行為. 不加制止的異常駕駛行為極易引發交通事故, 甚至預示著某些交通事故的發生. 因此從大量軌跡信息中提取出異常駕駛行為是有必要的. 現有的研究多利用手機傳感器判定或者人工判定的方法[12,13]來尋找異常駕駛行為, 但前者受傳感器性能影響, 后者主觀性過強. 針對這些問題,本文提取駕駛數據異常點, 再依據不同異常駕駛行為的特征提取出數據段作為異常駕駛行為, 可以有效提取出可靠的異常駕駛行為.

在正常的駕駛過程中車輛處于穩定狀態, 車輛的行駛數據不會在短時間內出現大幅度的變化. 當駕駛員出現一些錯誤操作時會導致車輛異常行駛, 行駛數據在較短的時間內有突變的過程. 根據這一規律, 利用數據信息中的異常點分割出駕駛員的異常駕駛行為.

文獻[14-16]利用大量軌跡數據的統計量, 通過反復實驗和研究后發現, 駕駛員的加速減速行為特性是與車速相關的, 在給定的速度下, 選15%的比例可以有效的從所有加速度中分割出異常加速度點. 結合這一分布和實際情況, 對在這一概率內的縱向加速度、橫向加速度等數據標記為異常點. 如圖2 所示為隨機選取10 輛車在整個行駛過程中的加速度沿速度的分布情況, 圖2(a)和圖2(b)中, 橫坐標為速度, 縱坐標分別為縱向加速度與橫向加速度, 藍點為正常加速度, 紅點為異常加速度.

圖2 不同速度下加速度分布

零星異常點的出現有可能是車輛搖晃或者傳輸異常導致的, 而駕駛行為通常會持續一段時間, 因此將車輛行程數據按照采集時間進行排序, 在已排序的數據中添加一個時間窗口, 并根據時間順序移動截取合適大小的數據段作為異常駕駛行為. 本文采集數據的頻率是10 Hz, 大多數駕駛動作完成時間小于3 s[17], 故時間窗口大小為30. 根據對不同異常駕駛行為特征的分析, 找到擁有符合特征的異常點的數據段后, 滑動窗口截取數據段構成異常駕駛數據集.

1.2.1 急加速駕駛

車輛在正常駕駛過程中, 通常需要靈活的加速去應對復雜的交通狀況.正常加速的過程平穩且不會產生危險. 然而在實際的交通行駛過程中, 有時會出現短時間內縱向加速度明顯異常的增大[18], 根據這一特征截取時間窗口內縱向加速度全為異常點且為正的片段作為急加速行為, 急加速行為如圖3(a)所示. 隨機截取20段正常加速行駛數據與急加速行駛進行對比, 如圖3(b)可以明顯觀察到正常加速過程中, 加速度曲線增長趨勢較平緩, 急加速時車輛的縱向加速度急劇上升且值域明顯大于正常值.

圖3 急加速駕駛

1.2.2 急減速駕駛

駕駛員駕駛過程中緊急制動常常會引起急減速,急減速發生時, 車輛縱向速度急速減小甚至降至零[18],根據這一特征截取時間窗口內縱向加速度全為異常點且為負的片段作為急減速行為, 急減速行行駛如圖4(a)所示. 隨機截取20 段正常減速行駛數據與急減速行駛進行對比, 如圖4(b)可以觀察到正常減速過程中縱向加速度曲線下降緩慢, 急加速時車輛的縱向加速度變化較快且值域變大.

圖4 急減速駕駛

1.2.3 蛇形駕駛

蛇形駕駛是指車輛在行駛過程中不正常的橫向擺動. 在實際生活中, 車輛的蛇形駕駛不僅會對本車的安全駕駛產生影響, 也有可能會影響到其他車道的車輛, 導致相鄰車道車輛相撞. 蛇形駕駛行為如圖5(a)所示, 當蛇形駕駛發生時, 車輛橫向加速度出現較大波動, 值域變大, 并且由于車輛的左右晃動, 橫向加速度交替出現正負值, 加速度的均值近于零[19]. 根據這一規律截取相應的數據段作為蛇形駕駛行為. 隨機截取20 段正常行駛數據與蛇形行駛進行對比, 如圖5(b)可以明顯觀察到正常行駛過程中橫向加速度基本接近于零, 只有小范圍的波動. 蛇形駕駛過程中橫向加速度值域變大且波動明顯.

圖5 蛇形駕駛

1.2.4 異常換道駕駛

由于前方車輛的行駛狀態無法符合駕駛員的期望導致的換道在日常中是很常見行為. 正常的換道行為時橫向加速度會發生變化, 但一般持續時間比較長, 且值域不會很大. 而如圖6(a)所示的異常換道是一種短時間的突然和瞬間的換道行為. 發生異常換道時, 車輛橫向加速度會突然變化[20]. 利用這一特征截取時間窗口內橫向加速度全為異常點的數據段作為異常換道行為.隨機截取20 段正常換道數據與異常換道進行對比, 如圖6(b)可以觀察到正常換道時橫向加速度變換緩慢而異常換道時橫向加速度變化值域變大且變化快速.

圖6 異常換道

1.3 異常駕駛行為數據的建立

根據對異常駕駛行為數據特征的分析, 找到符合特征的異常點后, 利用滑動窗口截取30 個數據, 每條數據擁有18 個特征, 將其記錄為30×18 的矩陣作為異常駕駛數據集. 少量的數據訓練神經網絡難以得到精確的識別率, 因此本文截取2 000 個數據段, 其中正常駕駛800 段, 急加速300 段, 急減速300 段, 蛇形駕駛300 段以及異常換道300 段. 選取2 000 個數據段中80%作為訓練神經網絡的訓練集, 剩下20%作為測試集,其中各駕駛行為在訓練集和測試集中所占的比例相同.

2 LSTM-att+FC 模型構建

本文用作模型訓練的軌跡信息是時間序列, 每一刻的數據前后互相關聯. 在處理時間序列過程中如果保留它們的時間連續性, 可以更好的保存重要的數據信息. 長短記憶網絡(LSTM)自發明以來就在時間序列數據的識別和預測方面表現出了優異性能, 因此本文將訓練集輸入到LSTM 網絡中進行特征提取, 將歷史數據與當前數據聯系起來. 同時LSTM 中的遺忘門可以選擇性的遺忘對結果不重要的數據.

為了更加突出數據的特征信息, 在LSTM 中加入attention 層. Attention 能夠突出有用信息, 對于更重要的信息給與更高的權重. 當識別急加速時, 加速度數據比車道數據重要性高, 加入attention 層可以減少對車道數據的權重, 提高加速度數據的權重. 從關鍵部分進行特征提取, 得到重要的信息, 可以有效的提高識別率.

LSTM-att 神經網絡獲取原始數據中的駕駛行為特征, 將其中有用的數據信息進行記憶保存, 沒用的信息進行遺忘, 所得的輸出作為下一層全連接神經網絡的輸入, 全連接神經網絡對駕駛行為進行處理識別, 得到最終結果.

整個識別模型和數據流的架構如圖7 所示. 首先檢測車輛行駛過程中的數據異常點, 根據不同類型異常駕駛特征將行駛數據分割為訓練樣本集. 處理好的訓練集長度為30, 每一條數據包含速度、加速度、經緯度等18 個特征值, 將數據集整理為30×18 的矩陣,輸入到擁有一層隱藏層且加入一層attention 層的LSTMatt 網絡中進行特征提取, LSTM-att 的輸出再次作為全連接神經網絡的輸入, 最后使用全連接神經網絡識別異常駕駛行為. 過于復雜的神經網絡結構可能會導致造成梯度消失或者梯度爆炸, 所以本文中全連接神經網絡加入兩層隱藏層以保證模型效果.

2.1 LSTM-att 模塊

LSTM 是一類以序列數據為輸入, 并且隨著序列的不斷推進, 前面的隱層將會影響后面的隱層的遞歸神經網絡. 相較于RNN, LSTM 通過細胞狀態記憶信息, 不僅能處理長期依賴問題, 并且在長期神經元中仍能保存有效信息的特性, 不會失去學習連接過遠的信息的能力, 非常適合用于處理本文所用到的駕駛數據信息. 基本的LSTM 如圖8 所示, 可以看到LSTM 利用細胞狀態傳輸, 使用輸入門、遺忘門、輸出門3 種門來保持和控制信息, 不僅承載了之前狀態的信息, 儲存當前的狀態的信息, 還決定丟棄上一個時刻中的哪一部分的信息. 通過3 個門對信息進行添加和刪除操作, 信息特性會被儲存利用. 本文利用LSTM 處理預處理過后的時間序列, 可以最大限度地考慮序列中數據的時間相關性. 本文中的輸入為分割好的大小為30×18異常駕駛行為數據矩陣.

圖8 LSTM 模塊

LSTM 可以看作是一個數據編碼和解碼的過程,如圖9 所示, 輸入通過隱藏層的編碼轉化為一個固定長度的向量c, 固定向量c再通過解碼處理轉化成輸出序列. 這種編碼-解碼的框架在處理序列信息時有著強大的優勢, 但是也有一定的弊端, 由于隱藏向量的長度是一定的, 這就意味先輸入的內容攜帶的信息會被后輸入的信息稀釋掉, 解碼的準確度就會降低. 當輸入序列越長時, 這種弊端就越明顯. 在LSTM 中加入attention層對該問題做出改善.Attention 的原理是模仿人類的注意力, 人在觀察一幅人物畫像時, 大腦會將更多的注意力放在人臉上而不是旁邊無用的信息上. Attention 原理如圖10 所示,隱藏層不再生成一個固定長度的向量, 而是將信息按照不同的權重儲存到多個向量再進行解碼. 語義向量c不只是對輸入序列的簡單編碼, 而是各個元素按照重要程度的加權和. 隨著深度學習的發展, 注意力機制因其優異的表現而得到廣泛應用, 最早是用于圖像處理領域[21], 隨后以時序序列為代表的領域也開始引入注意力機制進行相關的研究[22,23]. 本研究在LSTM 中加入attention 層, 給予重要的數據信息更大的權重, 提高識別精度.

圖9 編碼器-解碼器

圖10 加入attention 機制的編碼器-解碼器

帶注意層的LSTM (LSTM-att)是LSTM 和注意層的組合. LSTM-att 不會像LSTM 那樣集中于所有的信息, 而是給予了不同隱藏層不同的權重, 可以將更多的注意力集中在一些有用特征上, 以增加有用部分的權重, 提高有用部分對整體的影響, 而非重要部分可以被忽略. 對更重要的數據分配更大的權重, 識別精度和準確度都會上升. LSTM-attention 的模型如圖11 所示, 其中,xi為輸入,hi是LSTM 的隱藏層, 引入attention,attention 通過自動學習更新計算每個隱藏層的權重aii,aii計算公式如下:

圖11 LSTM-att 模塊

2.2 全連接神經網絡

全連接神經網絡是一種較為簡單的神經網絡, 強大的非線性擬合能力使它在多參數融合時表現良好,因此本文利用它進行駕駛行為的分類. 全連接神經網絡結構圖如圖12 所示, 網絡分為3 層, 分別是輸入層,隱含層, 輸出層. 經過特征提取的駕駛數據矩陣信息通過LSTM-att 模塊輸出, 作為全連接神經網絡的輸入X輸入層視為第0 層, 其輸出為:

圖12 全連接神經網絡

其中,W2是隱藏層映射到輸出層的權重矩陣,B2是偏置向量,Softmax為激活函數. 利用Softmax進行分類.結果分為急加速、急減速、蛇形行駛、異常換道和正常行駛, 輸出維度為5.

3 實驗結果

本文所使用的算法是在Keras 框架中使用Python 3.7構建的. 建立好模型后, 輸入訓練集進行訓練模型, 再輸入測試集進行驗證. 為了驗證本模型的先進性, 利用相同的數據分別對LSTM 和BiLSTM 進行訓練驗證, 用識別率和損失函數作為鑒別模型好壞的重要參數. 識別率越高, 損失函數越低, 模型識別異常越準確, 模型越優越.

如圖13 所示為LSTM-att 的識別率圖和損失函數圖, 其中藍色線段是訓練集的結果, 紅色線段是測試集的結果, 可以看出經過500 次迭代后, 識別率和損失函數都趨于穩定且效果理想. 如圖14 所示為其他模型的識別率圖和損失函數圖, 圖14(a)為LSTM 模型, 圖14(b)為BiLSTM 模型, 其中藍色線段是訓練集的結果, 紅色線段是測試集的結果, 可以看到, LSTM 模型結果雖然隨著訓練次數的增加結果逐漸收斂, 但是識別效果一般, 識別率沒有LSTM-att 高. BiLSTM 相較于LSTM識別率更好, 但是結果會出現明顯的波動且效果不如LSTM-att. 對模型進行5 次實驗, 取平均識別率進行對比, 對比結果如表3 所示, LSTM 的平均識別率為95.2%,BiLSTM 的平均識別率為96.1%, LSTM-att 識別率達到98.4%. 可以看出, 本文所介紹的模型有一定的優越性.

表3 網絡識別結果

圖13 LSTM-att 模型識別率與損失函數

圖14 LSTM 模型和BiLSTM 模型識別率

4 結論

識別異常行為駕駛在現實中有著實際意義, 是保證交通安全的重要措施之一. 以往研究中注重對駕駛視頻和駕駛員狀態的研究. 本文提出了一個拓展神經網絡實現對異常駕駛行為的準確識別. 首先將經過預處理的車輛軌跡信息中的異常點標記, 根據分析不同類型異常駕駛行為特征截取相應的數據段作為異常駕駛,建立異常駕駛行為數據集. 再建立識別神經網絡. 網絡分為兩層. 第1 層是LSTM-att 神經網絡, 對時間序列的數據進行處理, 提取不同行為的特征. 第2 層利用全連接神經網絡進行分類. 最后, 5 種異常駕駛行為的識別率達到98%. 并設置多個對比模型, 實驗結果表明本文提出的網絡均優于LSTM 和BiLSTM, 說明能夠有效的識別異常駕駛行為, 對有可能發生的交通事故進行預警.