基于改進(jìn)雙向長短時(shí)記憶網(wǎng)絡(luò)的自動(dòng)駕駛車輛駕駛意圖識別*

何東 趙茂杰 王梓楠

（重慶交通大學(xué)，重慶 400074）

1 前言

高速混行環(huán)境下，自動(dòng)駕駛車輛可以通過車聯(lián)網(wǎng)技術(shù)實(shí)時(shí)共享彼此的駕駛意圖，理解當(dāng)前的行駛環(huán)境，但是人工駕駛汽車無法與車聯(lián)網(wǎng)發(fā)生相關(guān)信息的交換，自動(dòng)駕駛汽車只能通過人工駕駛汽車外在的行為特征對駕駛員的意圖（直行、左換道、右換道等）進(jìn)行推斷。

目前，駕駛意圖識別方法可以分為基于傳統(tǒng)機(jī)器學(xué)習(xí)的駕駛意圖識別方法和基于深度學(xué)習(xí)的駕駛意圖識別方法。在基于深度學(xué)習(xí)的方法中，神經(jīng)網(wǎng)絡(luò)模型和長短時(shí)記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)模型應(yīng)用較為廣泛[1]。Huang 等[2]將深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)（Deep-Learning Neural Network，DNN）應(yīng)用于換道行為辨識，對復(fù)雜的換道行為特征進(jìn)行有效擬合，但DNN對時(shí)序特征的捕捉能力較弱，因此近年來該模型關(guān)注度較低。LSTM 網(wǎng)絡(luò)因其具有強(qiáng)烈的時(shí)序捕捉能力，十分貼合駕駛意圖識別的應(yīng)用場景，是當(dāng)前研究者關(guān)注的重點(diǎn)[3]。Phillips 等[4]通過對采集的十字路口交通數(shù)據(jù)使用LSTM 搭建意圖識別模型，實(shí)現(xiàn)對左轉(zhuǎn)、右轉(zhuǎn)和直行意圖的預(yù)測，驗(yàn)證了LSTM網(wǎng)絡(luò)對真實(shí)采集時(shí)序數(shù)據(jù)特征的捕捉能力。黃玲等[5]提出了一種高速公路人機(jī)混行環(huán)境下基于LSTM神經(jīng)網(wǎng)絡(luò)的換道意圖識別模型，該模型在人機(jī)混行環(huán)境下對車輛換道行為具有較高的識別精度，其改進(jìn)在于引入均方根傳播（Root Mean Square propagation，RMSpro）算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的超參數(shù)，以規(guī)避人工調(diào)參帶來的影響。惠飛等[6]使用雙向長短時(shí)記憶（Bidirectional Long Short-Term Memory，Bi LSTM）網(wǎng)絡(luò)模型識別駕駛行為中的異常狀態(tài)，將Bi LSTM 與全連接神經(jīng)網(wǎng)絡(luò)（Fully Connected Neural Network，F(xiàn)CNN）相結(jié)合，充分發(fā)揮了二者的優(yōu)勢。

從研究進(jìn)程和相應(yīng)的指標(biāo)來看，深度學(xué)習(xí)模型總體表現(xiàn)優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)模型。以LSTM 模型為代表的深度學(xué)習(xí)模型以強(qiáng)大的擬合能力與對時(shí)間序列特征的捕捉能力使其在駕駛意圖識別上的表現(xiàn)整體強(qiáng)于傳統(tǒng)機(jī)器學(xué)習(xí)模型。然而，部分研究還存在周圍車輛交互特征考慮不足、忽視駕駛風(fēng)格、人工調(diào)參困難等問題。

本文提出一種基于改進(jìn)Bi LSTM 網(wǎng)絡(luò)的駕駛意圖識別模型，以目標(biāo)車輛軌跡序列、駕駛風(fēng)格、周圍車輛的交互特征作為模型的輸入，并使用鯨魚優(yōu)化算法對模型的超參數(shù)進(jìn)行尋優(yōu)來規(guī)避人工調(diào)參。最后對NGSIM數(shù)據(jù)集的數(shù)據(jù)進(jìn)行處理、驗(yàn)證，證明該模型在車輛駕駛意圖識別方面具有較高的準(zhǔn)確性。

2 改進(jìn)雙向長短時(shí)記憶網(wǎng)絡(luò)

2.1 雙向長短時(shí)記憶網(wǎng)絡(luò)

LSTM 神經(jīng)網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks，RNN）的一類變種，相較于RNN，它通過引入“門”結(jié)構(gòu)和細(xì)胞概念控制信息的流動(dòng)，從而克服了困擾RNN 的梯度爆炸及梯度消失問題。該網(wǎng)絡(luò)最基本的單元結(jié)構(gòu)如圖1 所示，它與RNN 的區(qū)別在于，該單元結(jié)構(gòu)中存在遺忘門（Forget Gate）、更新門（Input Gate）、輸出門（Output Gate）3 種特殊的“門”結(jié)構(gòu)以及用于儲存和傳遞之前時(shí)刻狀態(tài)信息的細(xì)胞（Cell）結(jié)構(gòu)，以實(shí)現(xiàn)信息的流通[7]。圖1 中，xt為當(dāng)前時(shí)刻t的輸入，ht、Ct分別為t時(shí)刻的輸出信息和存儲在細(xì)胞中的狀態(tài)信息為輸入門對輸入xt進(jìn)行信息更新后產(chǎn)生的新的輸入向量，σ為sigmoid 激活函數(shù)，ft、it、Ot分別為遺忘門、輸入門、輸出門，wf、wi、wo分別為遺忘門、輸入門、輸出門的權(quán)重系數(shù)，wc為(t-1)時(shí)刻與t時(shí)刻的連接權(quán)重系數(shù)。

圖1 LSTM基本單元結(jié)構(gòu)

LSTM 雖然解決了RNN 存在的問題，但它自身只能利用過去的特征信息，而忽略了未來的信息，故在此基礎(chǔ)上誕生了Bi LSTM 神經(jīng)網(wǎng)絡(luò)[8]。該模型包含2個(gè)獨(dú)立的LSTM網(wǎng)絡(luò)，模型所需的參數(shù)分別以正向和反向的形式輸入到2個(gè)LSTM網(wǎng)絡(luò)中，然后將2 個(gè)網(wǎng)絡(luò)提取出的特征向量進(jìn)行拼接獲得模型最終特征向量，經(jīng)過正向和反向的特征提取，最終的拼接向量同時(shí)擁有過去和未來的信息，其結(jié)構(gòu)流程如圖2 所示。為正向運(yùn)算過程為反向運(yùn)算過程：

圖2 Bi LSTM結(jié)構(gòu)流程

式中，f為激活函數(shù)為t時(shí)刻正向LSTM 網(wǎng)絡(luò)的輸出分別為正向偏置和權(quán)重為t時(shí)刻反向LSTM網(wǎng)絡(luò)的輸出分別為反向偏置和權(quán)重。

將正向LSTM 網(wǎng)絡(luò)及反向LSTM 網(wǎng)絡(luò)的輸出向量拼接在一起，即為Bi LSTM網(wǎng)絡(luò)的輸出：

2.2 駕駛意圖識別模型

本文基于Bi LSTM 網(wǎng)絡(luò)搭建駕駛意圖識別模型，模型架構(gòu)如圖3所示。

圖3 Bi LSTM駕駛意圖識別模型

圖3中，時(shí)間序列輸入層將Xt=(x1,x2,x3,…,xt)分別輸入正向和反向LSTM 網(wǎng)絡(luò)，序列中的每一個(gè)時(shí)刻t的輸入xt在該模型中都會獲得正向輸出和反向輸出再進(jìn)行拼接獲得向量將xt'輸入到全連接層中獲得輸出yt=wxt'+b，其中w、b為全連接層的權(quán)重和偏置。將yt輸入SoftMax 層，通過激活函數(shù)獲得t時(shí)刻輸入的左換道、右換道、直行3 種類別各自的概率，然后使用分類層將概率最大的類別輸出，作為當(dāng)前時(shí)刻的駕駛意圖。

2.3 Bi LSTM 超參數(shù)優(yōu)化

Bi LSTM 網(wǎng)絡(luò)的超參數(shù)對模型的性能影響較大，隱含層節(jié)點(diǎn)數(shù)、學(xué)習(xí)率是其中重要的超參數(shù)指標(biāo)。隱含層節(jié)點(diǎn)數(shù)越多，模型的性能越好，精度也會越高，但需要的計(jì)算資源會越大，也越耗時(shí)，且節(jié)點(diǎn)數(shù)超過一定閾值后反而會降低模型的性能，但節(jié)點(diǎn)數(shù)過小則可能不會收斂，準(zhǔn)確率也會降低；學(xué)習(xí)率的選擇決定模型能否收斂，學(xué)習(xí)率過大時(shí)模型難以收斂，學(xué)習(xí)率過小時(shí)模型訓(xùn)練耗時(shí)更長，且可能陷入“局部最優(yōu)”陷阱。

正確選擇隱含層節(jié)點(diǎn)數(shù)和學(xué)習(xí)率既可以提高訓(xùn)練速度，也能提高模型精度。因此，為獲取這2個(gè)超參數(shù)的最優(yōu)解，本文使用鯨魚優(yōu)化算法（Whale Optimization Algorithm，WOA）對Bi LSTM 的損失函數(shù)進(jìn)行尋優(yōu)，算法迭代曲線收斂且損失函數(shù)結(jié)果最小時(shí)對應(yīng)的超參數(shù)即為最優(yōu)解。WOA Bi-LSTM 的算法流程如圖4所示。其中，p為行為選擇概率，X(t)為t時(shí)刻鯨魚所處的位置，X*(t)為最佳包圍位置，Xrand(t)為當(dāng)前隨機(jī)鯨魚個(gè)體的位置，D、D'、D"分別為當(dāng)前鯨魚個(gè)體與最佳個(gè)體、最佳包圍位置、隨機(jī)鯨魚個(gè)體之間的距離，A、C分別為權(quán)重系數(shù)，b為常量系數(shù)，l為[-1,1]區(qū)間上的隨機(jī)數(shù)。

圖4 WOA-Bi LSTM 算法流程

鯨魚優(yōu)化算法通過模擬鯨魚族群的捕獵行為來更新優(yōu)化參數(shù)，該算法包括包圍獵物、攻擊獵物和隨機(jī)搜尋獵物3 個(gè)環(huán)節(jié)[9]。每條鯨魚的位置都代表一個(gè)可行解，對于N個(gè)待優(yōu)化參數(shù)，可將鯨魚的位置設(shè)定為X=(x1,x2,x3,…,xN)。

使用WOA 模型對Bi LSTM 網(wǎng)絡(luò)的損失函數(shù)進(jìn)行尋優(yōu)。優(yōu)化算法的迭代次數(shù)均設(shè)置為50次，優(yōu)化器均使用Adam，損失函數(shù)設(shè)為交叉熵，WOA- Bi LSTM 模型中的鯨魚種群數(shù)設(shè)為30 個(gè)，迭代次數(shù)設(shè)為20 次，Bi LSTM 網(wǎng)絡(luò)的輸入為目標(biāo)車輛的運(yùn)動(dòng)狀態(tài)特征方程構(gòu)造的駕駛意圖數(shù)據(jù)集；根據(jù)WOA 模型迭代收斂的輸出結(jié)果，適應(yīng)度曲線收斂時(shí)的適應(yīng)度對應(yīng)的鯨魚位置向量即為最優(yōu)解，對應(yīng)的最優(yōu)隱含層節(jié)點(diǎn)數(shù)為82個(gè)，最優(yōu)學(xué)習(xí)率為0.001 6。

3 駕駛意圖識別模型仿真分析

3.1 基于改進(jìn)滑動(dòng)窗口算法的數(shù)據(jù)預(yù)處理

交互場景中通常存在多個(gè)交通參與者，自動(dòng)駕駛汽車會受到周圍車輛間交互的影響，交互特征的選擇對于準(zhǔn)確識別人工駕駛車輛的意圖至關(guān)重要。考慮到橫向距離對車輛行駛安全的重要性[10]，將橫向距離作為交互特征之一引入駕駛意圖識別任務(wù)，設(shè)li、di分別為第i輛目標(biāo)車輛與自動(dòng)駕駛汽車的橫、縱向相對距離，周圍車輛交互特征fsocial可表達(dá)為：

式中，xi為第i輛目標(biāo)車與自動(dòng)駕駛汽車的橫、縱向相對距離構(gòu)成的向量。

交互特征描述的是自動(dòng)駕駛車輛與周圍車輛的交互行為，識別駕駛意圖還需選擇目標(biāo)車輛的運(yùn)動(dòng)狀態(tài)特征ft=(v,a,x,y,vy,ay)，其中v、a分別為目標(biāo)車輛的速度、加速度，x、y分別為目標(biāo)車輛的縱、橫坐標(biāo)，vy、ay分別為目標(biāo)車輛的橫向速度、橫向加速度。

不同風(fēng)格的駕駛員面臨相同駕駛場景時(shí)產(chǎn)生的駕駛意圖有所不同，因此，精準(zhǔn)識別目標(biāo)車輛的駕駛意圖還需要引入其駕駛風(fēng)格特征，其特征向量為：

綜上所述，駕駛意圖識別模型的輸入iv由交互特征、目標(biāo)車輛運(yùn)動(dòng)狀態(tài)特征、駕駛風(fēng)格特征構(gòu)成：

完成特征參數(shù)選取后，需要對NGSIM 數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行篩選并提取相應(yīng)的特征數(shù)據(jù)，同時(shí)，分類模型是有監(jiān)督學(xué)習(xí)模型，需要對駕駛意圖數(shù)據(jù)進(jìn)行車輛行為標(biāo)注。Deo 等[11]針對該問題提出了一種通過時(shí)間標(biāo)定換道行為的方法，首先尋找車輛在換道點(diǎn)的時(shí)刻t，然后將車輛處于區(qū)間[t-4 s,t+4 s]的車輛行為標(biāo)定為左、右換道，但Wang 等[12]通過對NGSIM 數(shù)據(jù)集的觀察發(fā)現(xiàn)，許多車輛在t-4 s時(shí)刻并未產(chǎn)生換道意圖，仍然處于車道保持狀態(tài)，因此直接根據(jù)4 s 的時(shí)間標(biāo)定換道行為存在一定誤差。而李文禮等[13]使用橫向位移達(dá)到車道寬作為換道完成的標(biāo)定參數(shù)，提高了換道行為標(biāo)定的準(zhǔn)確率。受以上研究的啟發(fā)，本文提出一種結(jié)合橫向位移的滑動(dòng)窗口算法對相應(yīng)數(shù)據(jù)進(jìn)行提取并賦予標(biāo)簽，如圖5所示。

圖5 改進(jìn)滑動(dòng)窗口數(shù)據(jù)提取算法

由圖5可知，改進(jìn)的數(shù)據(jù)提取方法定義為：找尋車輛換道點(diǎn)St對應(yīng)的時(shí)刻t，然后提取車輛軌跡序列中t-4 s 和t+4 s 時(shí)刻對應(yīng)的采樣點(diǎn)并計(jì)算二者橫向位移的差值。若該差值大于車道寬3.75 m，則將該條軌跡標(biāo)定為換道成功。若該差值小于3.75 m，則以換道點(diǎn)所在的時(shí)刻為中心，在兩端取相互對稱的2 個(gè)采樣點(diǎn)S1、S2并計(jì)算二者橫向位移的差值，當(dāng)該差值達(dá)到3.75 m 時(shí)，則將S1對應(yīng)的時(shí)刻t1定義為換道起始時(shí)刻，將S2對應(yīng)的時(shí)刻t2定義為換道結(jié)束時(shí)刻，落入?yún)^(qū)間[t1,t2]的采樣點(diǎn)均為換道過程點(diǎn)。

用以上方法對NGSIM 數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行換道行為標(biāo)定，并采用前文駕駛意圖識別模型進(jìn)行數(shù)據(jù)處理，提取時(shí)長為4 s的軌跡序列作為試驗(yàn)時(shí)模型的輸入數(shù)據(jù)，最終共獲取樣本數(shù)據(jù)23 800 組，其中左換道標(biāo)簽數(shù)據(jù)4 977 組、右換道標(biāo)簽數(shù)據(jù)6 331組、直行標(biāo)簽數(shù)據(jù)12 492 組，按7∶1.5∶1.5 的比例將數(shù)據(jù)集劃分成訓(xùn)練集、驗(yàn)證集和測試集。

3.2 仿真結(jié)果分析

選擇使用不同超參數(shù)的Bi LSTM 網(wǎng)絡(luò)作為試驗(yàn)對比，網(wǎng)絡(luò)的迭代次數(shù)均設(shè)置為50 次，損失函數(shù)均為交叉熵?fù)p失函數(shù)，各模型參數(shù)設(shè)置及在訓(xùn)練集上的訓(xùn)練耗時(shí)和最后一次迭代的準(zhǔn)確率如表1 所示。訓(xùn)練時(shí)各模型損失函數(shù)下降曲線及準(zhǔn)確率上升曲線分別如圖6、圖7所示。

表1 不同超參數(shù)網(wǎng)絡(luò)訓(xùn)練集表現(xiàn)

圖6 損失函數(shù)下降曲線

圖7 準(zhǔn)確率上升曲線

從表1、圖6、圖7中可以看出，WOA-Bi LSTM 在各模型中損失函數(shù)最低、收斂速度最快、性能最優(yōu)。此外，從表1中可以看出，學(xué)習(xí)率及隱含層節(jié)點(diǎn)數(shù)對模型的準(zhǔn)確率和訓(xùn)練耗時(shí)均有影響。在采用與WOA-Bi LSTM 相同的學(xué)習(xí)率的條件下，選擇Bi LSTM1 和Bi LSTM2 這2 個(gè)不同隱含層節(jié)點(diǎn)數(shù)的網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，隱含層節(jié)點(diǎn)數(shù)增加，模型的準(zhǔn)確率提高，但是訓(xùn)練所需的時(shí)間和計(jì)算資源也會隨之增加。此外，當(dāng)隱含層節(jié)點(diǎn)數(shù)到達(dá)一定閾值后，增加隱含層節(jié)點(diǎn)數(shù)反而可能導(dǎo)致準(zhǔn)確率下降，這在WOA-Bi LSTM 和Bi LSTM2 中均有所體現(xiàn)。當(dāng)選擇與WOA-Bi LSTM 節(jié)點(diǎn)數(shù)相同的網(wǎng)絡(luò)Bi LSTM3、Bi LSTM4 進(jìn)行訓(xùn)練時(shí)，相較于較小初始學(xué)習(xí)率的模型，較大初始學(xué)習(xí)率的模型訓(xùn)練所需的時(shí)間較短，但準(zhǔn)確率相對較低。而學(xué)習(xí)率數(shù)值過小，會使網(wǎng)絡(luò)陷入局部最優(yōu)，同樣降低模型的識別準(zhǔn)確率，例如Bi LSTM3 網(wǎng)絡(luò)。雖然該網(wǎng)絡(luò)在損失函數(shù)上的表現(xiàn)較為優(yōu)異，但其識別準(zhǔn)確率卻是所有模型中最低的。

綜上所述，選擇合理的隱含層節(jié)點(diǎn)數(shù)和初始學(xué)習(xí)率對模型的性能有較大影響。使用優(yōu)化后的Bi LSTM 對測試集數(shù)據(jù)進(jìn)行識別，結(jié)果如圖8 所示。其中：前3 行白色方格給出了模型辨識正確的樣本數(shù)量和該類駕駛意圖辨識正確的樣本數(shù)占測試集總樣本數(shù)的比例；深灰色方格給出了模型辨識錯(cuò)誤的樣本數(shù)量和該類駕駛意圖辨識錯(cuò)誤的樣本數(shù)占測試集總樣本數(shù)的比例；第4 列淺灰色方格給出了模型對各類駕駛意圖辨識正確的樣本數(shù)占該類別駕駛意圖總樣本數(shù)的比例；第4 行淺灰色方格給出了該類別駕駛意圖辨識準(zhǔn)確率；第4 行白色方格給出了模型在測試集上的總體辨識準(zhǔn)確率。

圖8 測試集混淆矩陣

從圖8 中可以看出，模型在測試集上的識別準(zhǔn)確率較高，達(dá)到97.5%，且模型對右換道數(shù)據(jù)識別準(zhǔn)確率（97.2%）大于左換道數(shù)據(jù)識別準(zhǔn)確率（95.3%），這是因?yàn)樽髶Q道訓(xùn)練數(shù)據(jù)相對于右換道較少，模型在訓(xùn)練時(shí)，對于右換道特征的理解學(xué)習(xí)強(qiáng)于左換道，但二者的識別準(zhǔn)確率均較高，說明模型對于左、右換道識別能力較強(qiáng)。

4 結(jié)束語

本文針對高速混行環(huán)境下周圍車輛的駕駛意圖識別問題，首先，提出一種結(jié)合橫向位移的滑動(dòng)窗口算法對NGSIM 數(shù)據(jù)集的數(shù)據(jù)進(jìn)行處理、提取并構(gòu)造駕駛意圖特征數(shù)據(jù)集，然后基于該數(shù)據(jù)集提出一種改進(jìn)雙向長短時(shí)記憶網(wǎng)絡(luò)駕駛意圖識別模型，并使用鯨魚優(yōu)化算法對該模型中的學(xué)習(xí)率和隱含層節(jié)點(diǎn)數(shù)進(jìn)行超參數(shù)優(yōu)化，以規(guī)避人工調(diào)參對模型性能的負(fù)面影響。通過對比發(fā)現(xiàn)，鯨魚優(yōu)化算法獲得的最優(yōu)超參數(shù)可有效提高模型的識別準(zhǔn)確率。在NGSIM 數(shù)據(jù)集測試集上，模型的識別準(zhǔn)確率達(dá)到了97.5%，左、右換道和直行的識別準(zhǔn)確率分別為95.3%、97.2%、98.3%，識別耗時(shí)為1.35 s，表明該模型能夠?qū)崟r(shí)精確識別駕駛意圖，為周圍車輛的軌跡預(yù)測提供幫助。