基于Residual BiLSTM網絡的車輛切入意圖預測研究*

郭景華，肖寶平，王靖瑤，羅禹貢，陳 濤，李克強

（1.廈門大學航空航天學院，廈門 361005；2.清華大學，汽車安全與節能國家重點實驗室，北京 100084；3.中國汽車工程研究院股份有限公司，重慶 401122）

前言

據統計有90%以上的交通事故都是由于人為操作失誤造成的，其中有18%的交通事故發生在換道的過程中［1］，且在未來的很長一段時期內，自動駕駛車輛將長期在人工駕駛車輛與自動駕駛車輛混合的環境下運行。針對實際交通環境的復雜性和人工駕駛風格的多變性，預測車輛的切入意圖有利于自動駕駛車輛理解周圍的復雜交通場景，可以提高自動駕駛車輛的決策能力和安全性能。

目前針對換道意圖預測已有不少研究。尤其從機器學習的角度研究換道意圖預測越來越受關注［2］。文獻［3］中提出一種基于Bayesian Networks的駕駛行為預測方法，包括車輛切入在內的27種駕駛行為預測。文獻［4］中采用Binary Logistic Regres?sion的方法建立車輛換道模型，并進一步分析了影響車輛換道的因素。文獻［5］中采用HMM和SVM級聯的算法對駕駛意圖進行辨識，結合HMM和SVM算法的優勢，提高了駕駛意圖識別率。文獻［6］中設計并訓練了PSO算法優化的BP Neural Net?works換道模型，以識別駕駛員意圖。然而傳統機器學習沒有充分利用駕駛數據，且在長時域范圍內的預測精度低，難以有效預測目標車輛的換道意圖。

隨著計算機計算能力的提升和大數據技術的發展，深度學習網絡取得了突破性進展。深度學習網絡在換道行為模型的構建精度上高于傳統機器學習［7］，且深度學習能更靈活和準確地描述人類復雜的駕駛行為［8］。文獻［9］中建立LSTM預測模型，并根據自車位置、速度和航向信息來預測交叉路口的駕駛員意圖。但以上研究主要集中在針對自車的狀態來預測自車的換道行為，而沒有考慮車輛間交互信息來預測周圍車輛的換道意圖。

據此本文中提出了基于Residual BiLSTM網絡的車輛切入意圖預測模型。首先，通過濾波器平滑自然駕駛數據集，并使用滑動窗口的方法提取車輛軌跡序列，以構建模型訓練樣本庫。接著，在考慮車輛間的交互信息基礎上提出Residual BiLSTM車輛切入意圖預測模型。最后，在測試集上對模型的預測性能進行測試，并與LSTM模型相對比，驗證了所提出的車輛切入意圖預測模型的有效性。

1 自然駕駛數據的采集與處理

采用“中國汽研自然駕駛數據研究（CAERI?NDS）”項目采集的自然駕駛數據，試驗車配備攝像頭、毫米波雷達和GPS等傳感器［10］。試驗車采集自車與周圍車輛的運動狀態信息，采樣頻率為25 Hz，視覺模塊實現車道線檢測、周圍車輛檢測分類、紅綠燈檢測和標志牌檢測等功能，毫米波雷達模塊采集周圍車輛的方向角、相對位置信息、相對速度和相對加速度等信息，GPS模塊采集自車的全球定位信息，而自車的運動狀態信息由車輛底盤傳感器獲得。針對我國的道路復雜多樣，試驗車分別在高速、城市、鄉村等路段采集數據，采集路段如圖1所示。

本文中所研究的車輛切入意圖預測是一種多分類問題，典型的車輛切入意圖如圖2所示，包括左車道保持、左車道插入、右車道插入和右車道保持4類切入意圖。從自然駕駛數據篩選出車輛切入片段的數據，同時過濾掉切入異常的片段，例如車道線不清晰、光線不足、數據缺失等異常片段，最后篩選出2 523條車輛切入軌跡數據。

自然駕駛數據集的軌跡數據存在一定的噪聲，因此這些數據不能直接使用。本文中采用Savitzky?Golay濾波器對其進行平滑處理，具體步驟如下。

在原始數據x附近取M個采樣點，并在x周圍構建一個2M+1個采樣點的窗口來擬合i階多項式Yn，即

其中-M≤n≤M，i≤2M+1。

擬合誤差E為

通過最小化擬合誤差E來獲得更好的擬合效果，所以令E對ar的偏導為0，即

則

其中r=0，1，…，i，求得ak即可確定擬合多項式Yn，完成對數據的平滑擬合。

Savitzky?Golay濾波器的多項式階數i設為4，M設為10，其中車輛速度和加速度的平滑效果如圖3所示。

圖3 數據平滑效果

2 車輛切入意圖預測模型

2.1 車輛切入數據集

根據車輛橫向位移曲線的曲率確定車輛切入開始和結束時間點［11］，并對數據標注相應的標簽，左車道保持標注為0、左車道插入標注為1、右車道插入標注為2和右車道保持標注為3。數據集中每輛車的軌跡數據是連續的，采用固定長度的滑動窗口去分割時序數據，以更好地利用數據和提取特征。如圖4所示，設定滑動窗口的大小1.92 s，滑動步長為0.96 s，即50%的重疊率，并將滑動窗口的最后一個時刻點的標簽標記為此序列的標簽，圖中的實線滑動窗口正處于右車道保持的位置，而虛線滑動窗口處于右車道插入的位置?；谝陨戏椒ǎ瑥那腥胲壽E數據中篩選出樣本序列總數為48 140，其中左車道保持13 404個序列、左車道插入2 584個序列、右車道插入5 620個序列和右車道保持26 532個序列。由于篩選出的各類數據不平衡，從而會產生過擬合的問題［12］，所以各類數據統一選取2 584個序列，并將其中的80%作為訓練集，20%作為測試集來測試預測性能。

圖4 滑動窗口分割過程

2.2 模型輸入參數

選取切入車輛的橫向坐標、橫向速度、加速度、方向角和方向角速度作為切入車輛的基本輸入特征。車輛間的交互作用是影響車輛切入意圖的因素之一［13］。模型輸入也考慮切入車輛與自車的相對位置和相對速度關系。模型輸入包括切入車輛的運動狀態信息及與自車的相對運動狀態信息：

其中

式中：th為輸入的歷史序列長度，所設時間步長為1.92 s；S t為切入車輛的運動狀態信息；M t為切入車輛和自車的相對運動狀態信息。

式中：yt為切入車輛的橫向坐標；為切入車輛的橫向速度；at為切入車輛的加速度；θt為切入車輛的方向角；θt為切入車輛的方向角速度；Δxt、Δyt和 Δvt分別代表切入車輛與自車的縱向相對距離、橫向相對距離和相對速度。

2.3 LSTM網絡結構

LSTM（long short?term memory）是一種特殊的RNN結構，車輛切入意圖預測屬于軌跡時序問題，LSTM網絡非常適合處理這種時序數據的預測分類問題。如圖5所示，LSTM單元由輸入門i t、輸出門o t和遺忘門f t組成，分別實現對信息的寫、讀和重置作用。

圖5 LSTM單元結構圖

為更深入理解門的作用，顯示如何通過上一時刻的輸出h t-1來計算當前時刻的輸出h t，其具體的公式定義如下：

式中：e t為t時刻的輸入；W和b分別為權重和偏置項；g t為t時刻的候選單元狀態；c t和c t-1分別為t時刻和t-1時刻的單元狀態。

LSTM車輛切入意圖預測模型如圖6所示，它由時間序列輸入層、切入意圖預測層和意圖概率輸出層3部分組成，將切入車輛及與自車的交互時間序列E作為模型輸入，利用堆疊LSTM結構預測分類的結果，并通過softmax層將分類結果轉變為概率分布，最后輸出車輛切入意圖的概率，以最大的類別輸出概率作為預測的類別。最終采用的LSTM模型由3層LSTM堆疊，各層間Dropout率為0.75，每層隱藏單元個數為32，采用Adam優化器，學習率0.000 7。LSTM預測模型的公式為

圖6 LSTM車輛切入意圖預測模型

式中：LSTM函數代表LSTM單元的所有計算；Y為模型輸出；P i(i=0，1，2，3)分別為左車道保持、左車道插入、右車道插入和右車道保持的意圖概率。

2.4 Residual BiLSTM網絡結構

BiLSTM網絡是在LSTM網絡的基礎上添加另一反向LSTM層，可以進一步處理反向信息，即由前向fw LSTM和后向bw LSTM結構組成。BiLSTM網絡的雙向特性，不僅能更好地改善長期依賴問題，且增加神經網絡的數據量，提高了預測精度［14］。BiLSTM車輛切入意圖預測模型如圖7所示，也是由3部分組成，與LSTM預測模型不同的是在切入意圖預測層中加入反向的LSTM單元，并將正、反向LSTM單元最終的輸出拼接（concat）起來。

圖7 BiLSTM車輛切入意圖預測模型

然而，深層的BiLSTM預測模型易出現優化瓶頸和梯度消失的問題，導致不能有效地提高預測精度［15］。深度殘差網絡（residual network）的殘差連接很好地解決這些問題，因此文中進一步設計了Residual BiLSTM車輛切入意圖預測模型，如圖8所示。在BiLSTM預測模型中加入Residual連接，并將BiLSTM層的輸入和輸出連接起來。最終采用的Residual BiLSTM模型由3層Residual BiLSTM堆疊組成，Dropout率為0.75，每層隱藏單元數為32，采用Adam優化器，學習率為0.000 7。Residual BiLSTM預測模型的公式為

圖8 Residual BiLSTM車輛切入意圖預測模型

3 試驗驗證

為測試所提出的車輛切入意圖預測模型的性能，本文對比LSTM和Residual BiLSTM兩種模型在測試集上的各個性能，并分析車輛切入的案例。

3.1 切入意圖預測結果分析

將訓練好的兩種切入意圖預測模型分別對測試集的517個序列進行預測。采用混淆矩陣圖來分析模型預測結果，混淆矩陣的橫坐標為預測意圖，縱坐標為真實意圖，如圖9所示。由圖9可知，LSTM模型不能很好地區分車道保持和插入的序列，而Residual BiLSTM模型改善了很多，在4種切入意圖的預測效果優于LSTM模型。

圖9 混淆矩陣

LSTM和Residual BiLSTM的意圖識別評價指標如表1和表2所示?？梢钥吹絃STM模型的準確率為85.2%，而Residual BiLSTM模型的準確率為93.4%，準確率提高了8.2個百分點，且在精確率、召回率和F1?分數都達到89.7%以上，可知所提出的Residual BiLSTM模型有較好的意圖預測能力。

表1 LSTM意圖識別評價指標 %

表2 Residual BiLSTM意圖識別評價指標 %

3.2 ROC曲線分析

接收器工作特性（receiver operating characteris?tic，ROC）曲線和ROC曲線下面積（area under ROC curve，AUC）廣泛應用于分類性能評價［16］，本文中使用ROC曲線和AUC進一步評價LSTM模型和Resi?dual BiLSTM模型的整體預測性能，如圖10所示。ROC曲線越靠近左上角，假正例率越小，真正例率越大，即AUC值越大，則模型的平均預測性能就越好。從圖10可以看出，LSTM和Residual BiLSTM的左車道保持、左車道插入、右車道插入和右車道保持的AUC分別為［0.973，0.977，0.966，0964］、［0.992，0.995，0.976，0.972］。從而可以得出，Residual BiL?STM模型各類切入意圖預測上的預測效果顯著優于LSTM模型。

圖10 ROC曲線

3.3 實例分析

定義車輛切入時間（time to cut?in，TTC）是車輛從當前位置到達車道線的時間間隔。越早預測出車輛切入意圖就越有利于車輛的決策。圖11示出基于Residual BiLSTM的車輛切入案例，模型預測到周圍4輛車的切入意圖。從圖11（a）中可以看到，當TTC=2.8 s時預測模型已經預測到車輛1的切入意圖，切入概率為22.19%，而車輛2正完成切入過程，其他2輛車保持當前車道行駛，說明預測模型能較早地預測出車輛的切入意圖。隨著車輛1駛向車道線，車輛1的切入概率逐漸提高。圖11（b）中，當TTC=1.96 s預測車輛切入概率達96.99%，而圖11（c）中，當TTC=0.2 s時車輛1切入概率高達99.99%，說明預測模型能準確預測出車輛的切入意圖。

圖11 Residual BiLSTM車輛切入案例

4 結論

提出Residual BiLSTM車輛切入意圖預測模型，綜合考慮了影響車輛切入的因素，模型采用的雙向結構能更好地提取車輛軌跡序列的特征，Residual連接有效地改善梯度消失的問題，從而提高了模型的訓練精度。最后在真實的自然駕駛數據集上進行訓練和測試。試驗結果表明，所提出的Residual BiLSTM車輛切入意圖預測模型有效提高了網絡的預測能力，預測準確率高達93.4%，且能較早預測出車輛切入意圖，提高車輛的感知能力和安全性能，進一步為自動駕駛車輛提供良好的決策基礎。