基于Attention機制的CNN-LSTM駕駛人意圖識別方法研究

摘要： "在自動駕駛系統中，系統需要準確識別駕駛人的意圖，來幫助駕駛人在復雜的交通場景中安全駕駛。針對目前駕駛人意圖識別準確率低，沒有考慮優化特征對模型準確率影響的問題，運用深度學習知識，提出了一種基于時間序列模型的駕駛人意圖識別方法。該方法基于Attention機制融合了卷積神經網絡（convolutional neural networks，CNN）和長短時記憶網絡（long short-term memory network ，LSTM），引入車輛自身信息和環境信息作為時空輸入來捕捉周圍車輛的空間交互和時間演化。該方法可同時預測目標車輛駕駛人橫向駕駛意圖和縱向駕駛意圖，并在實際道路數據集NGSIM（next generation simulation）上進行了訓練和驗證。實驗結果表明，所提出的CNN-LSTM-Attention模型能夠準確預測高速公路環境下駕駛人的駕駛意圖，與LSTM模型和CNN-LSTM模型相比具有明顯的優勢，為自動駕駛系統的安全運行提供了有效保障。

關鍵詞： 自動駕駛；意圖識別；Attention機制；卷積神經網絡；長短時記憶網絡

中圖分類號： TP183;U463.6 文獻標志碼：A文章編號：1002-4026（2023）02-0103-09

開放科學（資源服務）標志碼（OSID）：

CNN-LSTM driver intention recognition method based on Attention mechanism

ZHUANG Hao， LI Yang*， TAO Mingkun

（Institute of Automation， Qilu University of Technology （Shandong Academy of Sciences）， Jinan 250014， China）

Abstract∶ In an autonomous driving system， the system needs to accurately identify the driver′s intention to help them drive safely in complex traffic scenarios. Aiming at the issue of low accuracy of driver intent recognition and lacking consideration of the influence of optimized features on the accuracy of the model currently， a driver intention recognition method based on a time series model is proposed using deep learning knowledge. The method is based on Attention mechanism and incorporates Convolutional Neural Network （CNN） and Long Short-Term Memory Network （LSTM）， introducing own and environmental information of the vehicle as spatiotemporal input to capture the spatial interaction and temporal evolution of surrounding vehicles. The method can simultaneously predict the driver intention in both lateral and longitudinal directions of the target vehicle and is trained and verified on the actual road dataset next generation simulation. The experimental results show that the proposed CNN-LSTM-Attention model can accurately predict the driver′s driving intention in the highway environment， which has obvious advantages over the LSTM and CNN-LSTM model and provides an effective guarantee for the safe operation of the automatic driving system.

Key words∶ automatic driving; intention identification; Attention mechanism; convolutional neural network; long short-term memory network

隨著人工智能技術的發展，自動駕駛成為交通領域中一個非常重要的研究方向。自動駕駛技術的發展對提高車輛行駛的安全性和交通智能化水平具有重要的意義，但是其中很多技術難點仍沒有得到很好的解決，比如在具有高度復雜性和交互性的真實交通場景下，自動駕駛的駕駛人意識識別問題。沒有優秀的駕駛行為預測能力，自動駕駛車輛在公路上行駛的安全性和高效性將受到極大的挑戰。

一般來說，車輛碰撞是由于駕駛人錯誤識別其他車輛的駕駛意圖或駕駛人缺乏注意造成的，只根據轉向燈的開啟狀態來識別駕駛人意圖具有很大的局限性。帶有駕駛人意圖識別功能的自動駕駛系統，可在早期識別出周圍車輛駕駛人的意圖，規劃出避免與其他車輛碰撞的路徑。因此，設計一種意圖識別模型，以便盡早準確地識別駕駛人的意圖，保障自動駕駛系統的準確運行是有必要的。

為了準確識別駕駛人意圖，需要使用車輛的歷史數據，因此要求模型能夠處理時間序列數據。隱馬爾可夫模型作為一種基于時間序列累積概率的動態信息處理方法，得到了廣泛的應用。Pentland等[1]建立了基于隱馬爾可夫模型的變道駕駛意圖識別模型，識別準確率達到95%。Geng等[2]使用隱馬爾可夫模型學習車輛的行為特征建立數據庫，根據場景存儲先驗概率特征來預測車輛未來行為。He等[3]提出了一種雙隱馬爾可夫模型來識別駕駛意圖，在該模型中，根據駕駛人操縱信號和車輛狀態信息等特征來識別駕駛意圖。實驗結果表明，該模型可以對車輛異常變道進行預警，降低了車輛碰撞的概率。Hou等[4]基于連續隱式馬爾科夫模型建立車道偏離預警系統，系統對駕駛人左側車道偏離與右側車道偏離意圖進行了識別。張雁雁[5]提出一種面向行人防碰撞的駕駛人意圖識別方法，通過實驗獲得制動踏板力、加速踏板行程、車速、檔位、節氣門開度、方向盤轉角和方向盤角速度等參數，使用這些參數作為訓練數據，運用隱馬爾科夫模型的前向算法和Baum-Welch算法來識別駕駛員的加速、減速制動、轉彎避讓和急轉4種駕駛意圖，算法識別準確率可達92.1%，但這些參數數據的獲取具有局限性，因此該意圖識別方法的實際應用還需要較長的時間。侯海晶[6]、冀秉魁[7]和田彥濤等[8]基于隱馬爾可夫模型，采集駕駛員的視覺特性、駕駛操作、駕駛習慣等駕駛特征對換道意圖進行識別，實驗結果表明方向盤轉角熵值、轉動方向盤角速度、駕駛員頭部水平轉角、平均掃視幅度等駕駛特征能夠很好地反映駕駛員的換道意圖。

上述研究中的隱馬爾可夫等模型只使用了當前時間參數，忽略了前一時刻和后一時刻之間的聯系，雖然準確率高，但是識別的動態特性不明顯。近幾年，在換道意圖研究中涌現了大量的深度學習模型，而且在相應的指標上都超越了傳統機器學習模型。長短期記憶網絡（long short-term memory network ，LSTM）在語音識別、機器翻譯等領域取得一系列重大突破，其在應對時序問題時也展現出強大的信息挖掘能力和深度表征能力。季學武等[9]運用深度學習方法，設計了一種駕駛人意圖識別及車輛軌道預測的LSTM模型，將被預測車輛及其周圍車輛組成的整體視為研究對象，使模型能夠“理解”車-車間的交互式行為，響應交通環境的變化，動態地預測車輛位置。Dai等[10]使用改進的LSTM網絡來處理多維時間序列數據，進行車輛軌跡預測。Su等[11]使用LSTM網絡模型來預測高速公路場景中的車道變道意圖。研究中考慮了周圍車輛的影響，將目標車輛的信息與周圍車輛的信息連接成高維向量作為輸入。商艷等[12]認為駕駛員的變道意圖受外界環境影響，外界刺激會使駕駛員瞳孔大小發生變化，通過監測駕駛員瞳孔變化情況能夠反映駕駛員的換道意圖，因此建立瞳孔變化情況與外界刺激強度的關系來識別駕駛人換道意圖。

國內外研究者都選擇了隱馬爾可夫模型作為識別模型，且達到了理想的識別效果，但傳統模型與深度學習相比仍有一些差距，尤其在高維的時間序列上，沒有深度學習尤其是LSTM等序列模型的擬合能力強。LSTM網絡在應對時序問題時強大的信息挖掘能力和深度表征能力，使其成為意圖識別研究中廣泛認可的模型。

綜上所述，駕駛人意圖識別仍然處于研究階段，隨著深度學習的發展，其研究方法也在不斷地創新。本文從宏觀角度分析了周圍車輛的影響，將周圍車輛視為一個整體，不同位置的車輛在空間中相互作用，整體呈現出時間依賴性，基于時間序列提出一種基于Attention機制融合卷積神經網絡（convolutional neural network，CNN）和LSTM駕駛人意圖識別的方法來深度提取空間環境信息，車輛自身的位置特征不再選用實時位置作為特征，而是采用當前時刻與上一時刻的位置差作為特征，同時識別橫向和縱向駕駛人意圖，并使用NGSIM（next generation simulation）數據集對網絡模型進行訓練驗證。實驗結果表明該方法提高了駕駛人意圖識別的精度，使自動駕駛車輛能夠做出正確的決策，避免車輛之間碰撞，保障駕駛人在復雜的高速道路上安全平穩地行駛。

1數據處理

1.1數據預處理

數據集本身存在噪聲，噪聲會影響意圖識別的準確率，因此采用指數加權移動平均法 [13]平滑位置信息，使用pandas庫中的ewm函數與mean函數進行指數加權。

v t =β·y t +（1-β）v（t-1），（1）

式中β為權重因子，根據數據的采樣頻率其值設為0.19。

NGSIM數據集中的原始數據是從道路周圍攝像機的視頻信息中提取出來的，雖然在提取過程中已經通過一些算法被初步處理過，但仍存在一些與周圍值相差較大或者不合理的異常值。有效地檢測和消除原始數據中的異常值，可以提高意圖識別的準確性。經典的異常值檢測方法有四分位（箱線圖）。箱線圖是一種非常簡單有效的可視化離群點的方法，其把上下觸須作為數據分布的邊界，任何高于上觸須或低于下觸須的數據點都可以認為是異常值。異常值的定義通常表示為：

x0∈ xgt;QU+1.5ΔQ

xlt;QL-1.5ΔQ ，（2）

式中x0是一個異常值；x是要檢查的值；QU是上四分位數；QL是下四分位數；ΔQ代表上四分位數與下四分位數之間的差，表明QL和QU之間的差異。

在NGSIM數據集中，小型車的數據占全部數據集的97.7%，在三種車輛類型中占比最大，而網絡模型訓練需要大量的數據，所以選取小型車為研究對象。

1.2車輛駕駛行為特征分析

1.2.1特征提取

本文旨在分析不同預測時間下網絡模型駕駛意圖識別的準確度，因此只從每輛車中提取一個樣本，而不是通過滑動窗口構造多個樣本。提取的樣本分為橫向意圖和縱向意圖，橫向意圖指向左轉或者向右轉且越過車道線的車輛行為。縱向意圖如表1所示。

基于駕駛人意圖提取的數據來提取特征信息，本文提取的特征信息數據包含兩個部分：目標車輛的歷史運動信息和環境信息（周圍車輛的歷史運動信息）。目標車輛歷史信息包括目標車輛的速度、加速度、車輛轉向角（速度方向和車道方向之間的角度）、車輛橫向位移和縱向位移。環境信息包括目標車輛左前、正前、右前、左后、正后、右后鄰近車輛（分別用１、２、３、４、５、６表示，位置關系如圖1所示）與目標車輛的相對橫向位移、縱向位移和速度。

根據變道時間的不同進行數據提取，變道時間在1～2 s的數據為312條，變道時間在2～8 s的數據為15 732條，變道時間在8～15 s的數據為289條，在提取的變道數據中，存在部分車輛變道時間僅為1～2 s的數據，小于駕駛人反應時間及車輛制動時間[14]，不符合正常變道的標準。部分車輛變道時間達到 8～15 s，變道時間過慢或者連續變道也會增加變道碰撞事故概率。

為了驗證非正常變道時間是否會對駕駛人意圖識別的精度造成影響，本文建立兩個LSTM模型，T-LSTM的輸入為剔除非正常變道時間后的數據，LSTM的輸入為使用全部變道時間的數據，將兩個模型參數設置成同樣的參數，對比兩個模型的準確率，結果如圖2所示。從圖中可觀察到T-LSTM相對于LSTM的準確率有著較為明顯的提升，從而證明非正常變道時間的數據會對駕駛人意圖識別的精度造成一定的影響，所以為了消除這兩部分數據對結果準確性的干擾，將剔除變道時間1～2 s和8～15 s的數據。

1.2.2輸入特征優化過程

調研國內外文獻可知，根據輸入特征的不同和參數的設置來劃定不同類型的LSTM網絡取得的效果各有差異。因此，為了找尋最符合預測需求的輸入特征，本文將定義3種類型LSTM網絡模型，并通過對比實驗，以準確率為評價指標，對各類型的LSTM網絡模型性能進行評估，最后選取效果最好的模型。本文將對X-LSTM、Y-LSTM、Z-LSTM模型進行訓練驗證：

（1）X-LSTM模型：采用目標車輛歷史運動信息（目標車輛速度、加速度、車輛轉向角、橫向位置和縱向位置）訓練LSTM網絡。

（2）Y-LSTM模型：在X-LSTM模型基礎上，引入目標車輛與周圍車輛的相對距離與速度特征。

（3）Z-LSTM模型：在Y-LSTM基礎上，將目標車輛的橫向位置和縱向位置改為當前時刻與上一時刻的位置差。

為了保證對比效果，對于X-LSTM、Y-LSTM、Z-LSTM模型中的所有實驗采取相同的參數設置。具體參數設置如下：迭代次數epoch設置為30，選定一次讀入的訓練樣本batch_size設置為64，學習率α設置為0.001，LSTM神經元數量設置為64，并使用Adam優化算法更新模型參數，采用分類問題中的交叉熵作為損失函數。在模型參數設置完成后，進行對照實驗并輸出結果和分析。

圖3中給出了X-LSTM、Y-LSTM、Z-LSTM模型的準確率對比。觀察可知，Z-LSTM、Y-LSTM和X-LSTM模型的準確率依次降低。這充分證明我們引入和修改模型特征優化了模型結果，引入周圍信息特征和優化被預測車輛自身特征后Z-LSTM相比于X-LSTM在準確率方面最大提升了8.8%，證明引入空間環境信息和改進自身位置特征優化提高了意圖識別準確率。

2基于Attention機制的CNN-LSTM網絡模型

本文提出的基于Attention機制的CNN-LSTM駕駛人意圖識別方法網絡結構如圖4所示，主要有卷積層、LSTM層、Attention層和全連接層組成。

將預處理完的數據特征向量 xt= xt，1，xt，2，…，xt，i，…，xt，K 通過Conv1D結構來進行特征提取，挖掘輸入數據之間的內在聯系并提取出數據特征信息。Conv1D進行特征提取之后的時間序列數據ct= ct，1，ct，2…，ct，i，…，ct，K 仍然具有時間序列特性，所以將經Conv1D得到的輸出直接作為LSTM的輸入，LSTM利用自身的門控結構控制信息傳遞路徑，輸入數據在LSTM單元中前向傳播，在每一時刻t，LSTM單元體讀取當前時刻的輸入 ct和上一時刻以前歷史運動信息的隱藏狀態 h（t），以此更新當前時刻的隱藏狀態 h t-1 ，即 h（t）=f（ h t-1 ， c（t）），LSTM通過這種方式學習歷史軌跡序列中的規律。考慮到目標車輛在不同的時間階段反應時間會出現顯著的差異，Attention層可以全面獲取時間序列數據信息，學習不同時間節點的時間序列的重要程度，最終降低模型非重要時間序列的影響力，所以將經過CNN-LSTM提取到的特征信息輸入到Attention層進行加權。首先通過一個打分函數SCORE ""ht，i， ht "=Ws hTt+bs計算隱藏狀態中每個時刻數據的特征向量 ht，i然后使用softmax函數獲取輸入樣本中每個時刻數據的Attention權重αi，并將對其 ht，i加權聚合得到Attention層的輸出h*t。將數據送入全連接層，全連接層使用softmax激活函數輸出橫向和縱向駕駛意圖 Ω=（ω1，ω2，ω3，ω4，ω5），5個輸出神經元對應于5個駕駛意圖的概率，最后將概率值最大的神經元作為最終預測結果。

3基于CNN-LSTM-Attention網絡駕駛人意圖識別模型

3.1數據集

根據前文結論，采用Z-LSTM模型中的輸入特征目標車輛的歷史運動數據和周圍車輛的特征信息作為輸入，包括位置特征信息、速度特征信息等。記輸入的特征信息為 DT，可以表示為：

DT=［ Tt， Et］，（3）

式中， Tt表示在t時刻下所研究目標車輛的歷史運動特征信息， Et表示在t時刻下周圍環境的特征信息。

3.2模型參數設置

本文中提出的CNN-LSTM-Attention對駕駛人意圖識別模型模型主要由輸入層、一層卷積層、一層LSTM層、Attention層和全連接層組成。因為自適應矩估計（adaptive moment estimation ，Adam）具有收斂速度快和學習能力更好的優點，所以本文預測模型使用Adam優化算法對模型進行優化訓練。為了減少人為因素對預測模型的影響，將模型的參數進行多次訓練試驗，最終得到CNN-LSTM-Attention模型的參數。

首先，使用Z-LSTM的輸入特征數據對傳統LSTM模型進行訓練，結果見表2，當LSTM層的神經元個數是16時，3個指標的值最大，此時LSTM模型的準確性和穩定性最好。

然后，將卷積層接在LSTM模型的前面，經過卷積層特征提取的數據直接作為LSTM的輸入，構建CNN-LSTM-Attention駕駛人意圖識別模型。卷積核的個數經過多次訓練試驗的結果如表3所示。

結合表2和表3可知，當LSTM層的神經元個數是16，卷積層的卷積核個數為16時，CNN-LSTM-Attention模型的預測性能最好。

3.3結果與分析

圖5是CNN-LSTM-Attention模型的損失函數變化曲線，從圖中可以看出，隨著訓練過程中迭代次數的增加，訓練集和測試集的損失變化曲線都逐漸減小并最終趨向0，當迭代次數達到20次以上時，測試集的損失變化曲線不再下降，可得到最終的預測模型。

為了驗證本文的CNN-LSTM-Attention駕駛人意圖識別模型的優勢，我們將該模型與LSTM模型和CNN-LSTM模型進行對比，圖6為3種模型不同時間窗口下準確率、精確率和召回率的對比圖。

相較于原始的LSTM預測模型，將經過CNN特征提取的時序數據作為LSTM輸入的CNN-LSTM模型對駕駛人意圖識別的準確率、精確率以及召回率都有一定程度的提升，平均增長分別為1.54%、4.06%和3.52%，最大增長分別為2.55%、6.52%和5.24%。因此，CNN-LSTM模型的預測精度得到了提高。經過Attention優化后的CNN-LSTM-Attention模型的性能評價指標準確率、精確率以及召回率在3種模型中都是最高值，與CNN-LSTM模型相比，其準確率、精確率和召回率，平均增長分別為2.15%、4.42%和3.63%，最大增加分別為2.89%、7.06%和5.62%。證明了該模型的有效性和合理性，且在駕駛人意圖識別上能夠取得更好的結果。

此外，網絡模型還需要盡快識別出換道意圖，定義預測時間為車輛從當前位置走到換道點的時間間隔，從圖6（a）中可發現，隨著被預測車輛駛向換道點，意圖識別準確率逐漸提升。車輛在換道前1 s，就能較為準確地識別出換道意圖，準確率達到80％以上，在車輛行駛至換道點準確率高達85％。

4結論

針對目前的駕駛意圖識別模型依舊存在準確率不高和預測誤差較大的問題，本文提出一種基于Attention機制融合CNN和LSTM駕駛人意圖識別的方法，來模擬周圍車輛的整體時間依賴性和空間相互作用，識別目標車輛的橫向駕駛意圖和縱向駕駛意圖。首先，結合考慮特征信息輸入的差異，構建了X-LSTM、Y-LSTM和Z-LSTM模型，以準確率為評價指標，最終選出效果最好的模型為Z-LSTM，證明了環境信息和優化自身特征信息對意圖識別精度的影響。其次，將本文提出的模型與LSTM與CNN-LSTM模型進行比較，相比LSTM模型，本文模型準確率、精確率和召回率平均增長分別為1.54%、4.06%和3.52%，相比CNN-LSTM模型，本文模型準確率、精確率和召回率平均增長分別為2.15%、4.42%和3.63%，證明了CNN-LSTM-Attention模型能夠取得更好的效果，驗證了模型的有效性。

但本文將模型中的轉向定義為高速路中的變道行為，然后真實的直行、換道和轉向操作更多地發生在城市道路場景中，且本文的研究對象只是小汽車，不包括對非機動車和行人的意圖預測，因此，未來將對不同的研究對象進行預測模型的構建，這也是讓模型更符合真實道路環境的必經途徑。

參考文獻：

［1］ PENTLAND A， LIU A. Modeling and prediction of human behavior[J]. Neural Computation， 1999， 11（1）： 229-242. DOI：10.1162/08997669930001689.

[2]GENG X L， LIANG H W， YU B， et al. A scenario-adaptive driving behavior prediction approach to urban autonomous driving[J]. Applied Sciences， 2017， 7（4）： 426. DOI：10.3390/app7040426.

[3]HE L，ZONG C F，WANG C.Driving intention recognition andbehaviour prediction based on a double-layer hidden Markov model[J]. Journal of Zhejiang University SCIENCE C， 2012， 13（3）： 208-217. DOI：10.1631/jzus.c11a0195.

[4]HOU H J， JIN L S， NIU Q N， et al. Driver intention recognition method using continuous hidden Markov model[J]. International Journal of Computational Intelligence Systems， 2011， 4（3）： 386-393. DOI：10.1080/18756891.2011.9727797.

[5]張雁雁. 面向行人防碰撞預警的駕駛員駕駛意圖辨識方法研究[D]. 大連： 大連理工大學， 2015.

[6]侯海晶. 高速公路駕駛人換道意圖識別方法研究[D]. 長春： 吉林大學， 2013.

[7]冀秉魁. 基于駕駛員視覺特性的駕駛行為預測方法研究[D]. 長春： 吉林大學， 2014.

[8]田彥濤， 趙鳳凱， 聶光明. 考慮駕駛習慣的駕駛員換道意圖識別[J]. 吉林大學學報（工學版）， 2020， 50（6）： 2266-2273. DOI：10.13229/j.cnki.jdxbgxb20190678.

[9]季學武， 費聰， 何祥坤， 等. 基于LSTM網絡的駕駛意圖識別及車輛軌跡預測[J]. 中國公路學報， 2019， 32（6）： 34-42. DOI：10.19721/j.cnki.1001-7372.2019.06.003.

[10]DAI S Z， LI L， LI Z H. Modeling vehicle interactions via modified LSTM models for trajectory prediction[J]. IEEE Access， 7： 38287-38296. DOI：10.1109/ACCESS.2019.2907000.

[11]SU S， MUELLING K， DOLAN J， et al.Learning vehicle surrounding-aware lane-changing behavior from observed trajectories[C]//2018 IEEE Intelligent Vehicles Symposium. Changshu， China：IEEE， 2018： 1412-1417. DOI：10.1109/IVS.2018.8500445.

[12]商艷， 朱守林， 戚春華. 基于瞳孔變動視覺特征的駕駛人換道意圖識別[J]. 計算機仿真， 2020， 37（8）： 77-81.

[13]胡雪龍，仲建蘭，吳姝，等.單邊指數加權移動平均t控制圖設計[J].數理統計與管理，2020，39（3）：478-486.DOI：10.13860/j.cnki.sltj.20200122-010.

[14]張穎達， 邵春福， 李慧軒， 等. 基于 NGSIM 軌跡數據的換道行為微觀特性分析[J]. 交通信息與安全， 2015， 33（6）： 19-24.DOI：10.3963/j.issn 1674-4861.2015.06.003.