基于LSTM概率多模態預期軌跡預測方法*

高鎮海，鮑明喜，高 菲，唐明弘

（吉林大學，汽車仿真與控制國家重點實驗室，長春 130022）

前言

為使自動駕駛汽車安全有效地在復雜的交通場景中行駛，需要具備預測周圍車輛意圖和未來軌跡的能力［1-4］。由于車輛未來的預測空間具有多樣性，即不同的車輛在相同的場景下有不同的表現，即未來有多種可能性的結果，預測未來的不確定性問題導致軌跡預測存在多模態屬性（一般性換道、加速換道、車道保持），使得軌跡預測成為一個具有挑戰性的問題。

為解決動態環境下長時域預測準確度低的問題，基于深度學習在軌跡預測方面受到廣泛學者的關注。張曉寧［5］基于LSTM 構建了高速公路下車輛軌跡預測模型，考慮位置、加速度、橫擺角速度等因素進行預測。張一恒［6］主要通過Bi-LSTM 構建駕駛意圖識別模型，并針對駕駛人員的駕駛風格進行具體分析。李亞秋等［7］基于EKF 的BP 神經網絡構建了高速公路數據訓練模型，但僅識別換道和車道保持兩種意圖。Xie等［8］僅基于LSTM 神經網絡構建的車道變換的數據驅動模型，沒有考慮車道保持等駕駛行為對模型的影響。Lin 等［9］基于時空注意力LSTM 著重分析了歷史軌跡和相鄰車輛對目標車輛的影響，缺乏對駕駛意圖的可解釋性。Xiao 等［10］基于UB-LSTM 構建了高速公路的車輛行為意圖模型和軌跡預測模型去預測車輛未來單模態軌跡，能有效識別車輛未來的行為意圖但模型輸出的軌跡與真實軌跡有較大的誤差，須進一步通過優化的方式擬合車輛軌跡。

近期大量學者為模擬未來軌跡的不確定性以及充分表示預測空間，通過學習潛在變量［11］來表現軌跡的多模態屬性，例如VAES［12-13］和GANS［14］。Tang等［11］通過引入潛在變量和并行的神經網絡來構建模型架構捕獲多模態屬性。同時大量工作聚焦于光柵或者柵格圖像處理環境建模交互，應用卷積網絡［15-19］和循環神經網絡提取環境信息。Deo 等［20-22］提出基于卷積社交池的LSTM 網絡模型，該方法預測了未來交通車輛行駛軌跡的分布情況，但忽略了交通車輛間交互作用的影響。Cui 等［23］將每個參與者的周圍環境編碼為柵格圖像，作為深度卷積網絡的輸入。

然而，前期基于數據驅動構建的軌跡預測模型均是通過歷史時域信息預測未來單模態軌跡，沒有充分表征目標車輛的未來預測空間和分析駕駛行為意圖對模型的影響。并且基于柵格圖像的方法預測車輛的多模態屬性，導致所提出的模型產生兩大問題：（1）造成稀疏卷積，浪費計算資源；（2）很難具有解釋性。

因此，為充分表示車輛行為預測空間，減輕模型復雜度，解決預測的固有不確定性，減少運動規劃的安全問題，本文通過深度提取環境特征信息提出一種基于概率密度的多模態預期軌跡預測（probabilistic multi-modal expected trajectory prediction，PMETP）模型。該模型從歷史環境信息直接生成多種可能發生未來行為（左換道，車道保持，右換道，左加速換道，右加速換道）。PMETP 是基于Seq2seq 編碼器-解碼器架構構建，包含交通車輛行為意圖識別模塊和軌跡預測模塊。同時在PMETP 模型中對自動駕駛交通車輛及其所處駕駛場景進行具體化意圖預測，可為自動駕駛車輛安全高效地決策規劃提供先驗知識。

1 運動預測理論闡述

本文將預期軌跡預測表示為通過目標車輛和其周圍交通車輛的歷史特征信息預測車輛每一時間步未來位置的概率分布。PMETP 旨在為處于復雜高動態環境中的交通車輛生成多條可能的且具有安全的軌跡，充分表示未來預測空間。

1.1 環境特征信息

在復雜的動態交通環境中，自動駕駛交通車輛軌跡預測不僅考慮被預測車輛的運動狀態，而且還應考慮被預測車輛的環境信息，即周邊交通車輛的特征信息、被預測車輛與周邊交通車輛以及周邊交通車輛之間的交互作用特征信息。為使運動預測模型理解車輛間的交互式行為，輸入信息包括被預測車輛歷史特征信息及環境特征信息，輸入信息如式（1）所示。

圖1 被預測車輛方位示意圖

1.2 駕駛行為意圖分類

無人駕駛車輛在駕駛過程中會產生直線行駛、左換道、右換道、轉向等多種駕駛行為，在無人駕駛車輛行駛過程中，被預測車輛的具體駕駛行為影響本車認知所處復雜的交通行駛環境。換道場景示意圖如圖2 所示。圖2（a）中表征當被預測車輛發生正常換道時，本車無人駕駛決策可進行車道保持和左右換道等駕駛策略。圖2（b）中表征當被預測車輛產生加速換道的駕駛行為時，本車行駛策略基于此駕駛行為判斷本車與被預測車輛之間碰撞風險程度增大，造成嚴重的交通事故，因此本車的行駛策略避免發生車輛碰撞產生保持現狀或者向右換道的駕駛行為。無人駕駛車輛在動態交通環境中行駛時，換道行為的產生一般是由兩種原因造成：（1）為了獲取更大的行駛空間，滿足車輛的高效行駛；（2）為了避免碰撞風險，降低車與車之間的事故發生率。因此，在本文中，針對左、右換道具體駕駛行為意圖劃分為加速換道和一般換道，即駕駛行為意圖分為左換道、車道保持、右換道、左加速換道和右加速換道5 種類別，如圖3 所示。當預測時域內的平均速度大于歷史時域平均速度7.2 km/h，則定義為加速換道，反之，車輛意圖為正常行駛狀態下的左、右換道。

圖2 換道場景示意圖

圖3 駕駛行為意圖示意圖

2 概率多模態預期軌跡預測模型

2.1 模型架構

本文提出的PMETP 由駕駛行為意圖識別模塊和交通車輛預期軌跡預測模塊組成，如圖4 所示。自動駕駛交通車輛駕駛行為意圖識別模塊基于車輛歷史編碼狀態信息輸出當前時刻車輛在車道保持、左換道、右換道、左加速換道和右加速換道等5 種駕駛行為概率。交通車輛預期軌跡預測模塊基于歷史編碼信息以及駕駛行為意圖概率輸出未來時域車輛軌跡的概率分布。

圖4 PMETP架構

基于LSTM 和MLP 構建的自動駕駛交通車輛行為意圖識別模塊，輸入交通車輛的歷史特征信息，通過歸一化指數函數（Softmax 函數）計算各駕駛行為意圖的概率。LSTM［24］是門控循環神經網絡，包含遺忘門、輸入門、輸出門以及與隱藏狀態形狀相同的記憶細胞。設自動駕駛交通車輛當前時刻整體環境的歷史狀態特征信息M為車輛運動預測模型的輸入向量，C=(c1，c2，c3，c4，c5)為駕駛行為意圖識別模塊輸出的意圖類別向量，c1～c5分別代表車道保持、左換道、右換道、左加速換道、右加速換道5 種駕駛意圖類別。駕駛意圖類別概率向量為

式中ωi=P（ci|M）為駕駛意圖為ci的概率，i=1，2，3，4，5。

交通車輛預期軌跡預測模塊由全連接層、編碼器、解碼器、MLP 和MDN 網絡構成，全連接層網絡提取交通車輛歷史狀態的特征信息作為編碼器的輸入，編碼器為提高當前狀態的前后關聯性采用循環神經網絡LSTM將輸入的特征信息編碼成上下文向量，并采用雙向LSTM和單向LSTM結合方法增強提取前向過程中的環境特征信息。編碼器生成的上下文向量和駕駛行為意圖識別模塊輸出的行為識別向量生成車輛軌跡信息中間向量并作為解碼器的輸入。MLP網絡和MDN 網絡輸入解碼器的輸出向量，使模型在基于意圖識別的基礎上，預測未來軌跡的概率分布。

2.2 交通車輛行為意圖識別模塊

交通車輛行為意圖識別模塊根據被預測車輛及其周邊交通車輛的運動狀態和交互作用信息理解其運行規律，能準確識別車輛當前狀態的駕駛意圖，模型框架見圖4。整個模型由MLP 和LSTM 層組合搭建完成。歷史狀態信息M首先經過具有128 個神經元、激活函數為Leaky Relu 的全連接層（fully connected layers，FC），編碼后的向量傳遞至深層循環神經網絡中，深層循環神經網絡采用雙層LSTM網絡結構，隱藏特征為256，Dropout 比率為0.5。每一時間步LSTM 單元讀取當前時間步的輸入特征信息M和歷史時間步的隱藏狀態Ht-1，更新當前時間步的隱藏狀態Ht，即Ht=f(Ht-1，M）。最后經過MLP神經網絡和Softmax 函數輸出車道保持、左換道、右換道、左加速換道和右加速換道5 種駕駛意圖類別概率矩陣C。softmax函數為

式中：zn為第n個駕駛行為意圖的輸出值，駕駛行為意圖多分類的輸出值在［0，1］范圍內且和為1 的概率分布；m為駕駛行為意圖分類的類別數量。

車輛行為意圖識別模塊采用多分類交叉熵作為損失函數，采用Adam 優化器，學習率為0.000 2。車輛行為意圖識別模塊損失函數為

式中：Lc為行為意圖識別模塊損失函數；yn是第n個樣本標簽的獨熱編碼；pn為第n個預測樣本的類別概率。

2.3 編碼器與解碼器

交通車輛預期軌跡預測模塊是由全連接層、編碼器、解碼器、MLP 和MDN 網絡構成，其中，編碼器由雙向深層循環神經LSTM 網絡、單向深層循環神經LSTM 網絡組成，解碼器的輸入是編碼器輸出的中間向量以及經過全連接層特征提取后的行為意圖識別模塊輸出的概率向量Ω組成。車輛當前時間步的狀態不僅與之前歷史時刻的時序狀態有關，還和未來的狀態有關。被預測車輛當前時刻的特征信息通過雙向深度循環神經LSTM 網絡同時獲得歷史時刻的時序信息和未來時刻的時序信息，組成上下文信息去判斷車輛當前的狀態特征。

歷史狀態信息M經過兩個具有256 個神經元、激活函數為Tanh 的全連接層，分別傳入雙向深層循環神經LSTM 網絡、單向深層循環神經LSTM 網絡，隱藏特征為512，Dropout 比率為0.5。最后由MDN和MLP網絡輸出被預測車輛6 s后預測的軌跡數據。

2.4 混合密度網絡

MDN 是1960 Christopher Bishop 提出用高斯混合模型和神經網絡解決多值映射問題。為使交通車輛更符合駕駛行為多樣性和體現預測未來軌跡的不確定性，通過MDN 網絡預測未來軌跡坐標的概率分布。本文選擇6 個高斯函數的組合作為MDN 的核函數，則MDN層輸出的軌跡分布概率為

式中：x為輸入特征參數；o為車輛某一時刻的位置；n為混合核函數的個數；αi(x)為模型權重系數；μi(x)為第i個核函數的中心。

確保模型權重系數總和為1，且各項均大于0，同時指數運算保證σi為正。

使用極小化負對數的極大似然函數損失函數為優化目標。損失函數為

式中：Xobs為所預測車輛的歷史軌跡序列；Ck為駕駛行為預測階段預測出的駕駛行為；G為軌跡預測階段預測出的車輛未來軌跡的高斯分布。

3 基于HighD數據集試驗分析

3.1 數據集

本文選取德國亞琛工業大學汽車工程研究所發布的HighD［25］自然車輛軌跡數據集用于訓練、驗證和測試。HighD 軌跡數據采樣頻率為25 Hz，為符合試驗場景并減少計算成本，將HighD 數據集采樣頻率定為8 Hz，HighD數據集場景圖如圖5所示。

圖5 HighD數據集場景圖

3.2 數據預處理

自動駕駛交通車輛行為意圖識別模塊共提取HighD 數據集27 137 條軌跡數據，其中203 139 條車道保持、29 361 條左換道、35 820 條右換道、4 102 條左加速換道、4 715 條右加速換道駕駛軌跡，并添加相對應的標簽（0，1，2，3，4）。每次采樣序列的步長為3 s，預測序列的步長為6 s。車輛的換道軌跡分類步驟如下。

（1）提取軌跡與車道線的交點，作為換道點。

（2）計算其軌跡點的偏航角θ

式中：xt、yt是車輛t時刻的橫縱坐標；xt+1、yt+1是車輛t+1時刻的橫縱坐標。

（3）|θ|＜θb（換道起始點航向角閾值），定義為直線行駛，反之定義為換道。

（4）確定換道時域、換道起始點以及換道結束點，換道軌跡示意圖如圖6所示。

圖6 換道軌跡示意圖

（5）確定換道軌跡。將HighD 中80%作為訓練集、10%作為驗證集、10%作為測試集。最后，需要對所有提取的數據做標準化處理，以便于神經網絡進行訓練。

3.3 交通車輛行為意圖識別模塊性能分析

交通車輛行為意圖識別模塊的精度對車輛輸出軌跡具有至關重要的作用。采用負對數似然損失（negative loglikehood loss，NLL）為模型的損失函數。車輛行為意圖分類器采用的評價指標為精確率、召回率、F1-score、準確率。輸入歷史軌跡時域3 s，由表1 可知，行為意圖識別性能指標均較好，車輛駕駛行為精確率p均達到90%以上；直線行駛、左換道和右換道駕駛行為召回率達到97%以上，左加速換道和右加速換道駕駛行為達到81%以上；F1-score 反映了精確率和召回率的平均水平，直線行駛、左換道和右換道駕駛行為F1-score 達到97%以上，左加速換道和右加速換道駕駛行為達到85%以上；準確率反映了模型的好壞程度，模型的準確率達到了98%以上，表明車輛行為意圖識別模塊具有較好意圖識別能力，滿足車輛運動預測模塊的要求。

表1 行為意圖識別性能度量

3.4 完整模型性能分析

圖7 中顯示在直線行駛和換道兩種場景下車輛不同時域的多模態預測結果。每個圖都顯示了車輛過去3 s的歷史軌跡和未來6 s的預測軌跡。圖7（a）中主要展現了直線行駛場景下PMETP 的影響。基于當前駕駛環境及目標車輛的歷史軌跡，PMETP 預測目標車輛將繼續保持直行狀態。然而，在預測過程中，PMETP 基于歷史軌跡信息預測目標車輛的行為意圖和未來軌跡均不會發生換道。圖7（b）和圖7（c）主要展現了換道場景下相鄰車道和同車道的車輛對PMETP的影響，間隔0.84 s。由圖中可以看出，被預測車輛處于擁擠的最右側車道，中間車道的車速高于右側車道。圖7（b）表明基于當前環境和車輛的歷史軌跡，目標車輛沒有發生明顯的換道（轉向）行為，然而，PMETP 除了預測最高的概率為繼續保持在當前車道上，仍然能預測出較小的概率為向中間車道移動，并且能距離換道點5.16 s 處判斷車輛有換道行為。圖7（c）中被預測車輛有略微的轉向行為趨勢，車輛歷史軌跡繼續朝向中間車道，PMETP基于當前環境和歷史軌跡信息預測目標車輛未來軌跡主要走向是一致的，但在未來時域的后期預測兩條中間車道的軌跡，并且能距離換道點2.64 s 處判斷車輛有換道行為。通過HighD 的測試集可以看出，本文提出的PMETP 在預測多模態分布中具有良好的表現。

圖7 PMETP模型多模態軌跡預測

本文以6 s 預測軌跡和真實軌跡均方根誤差（root mean square error，RMSE）和負對數似然（negative log likelihood，NLL）函數作為PMETP 預測結果的評價指標。對多模態分布的軌跡預測模型，通過最大的概率軌跡計算RMSE。通過模型生成的軌跡分布和真實軌跡的NLL比較單模態和多模態分布的優劣。

本文對比以下幾個模型在6 s 內的RMSE 和NLL以檢驗模型的有效性。

（1）constant velocity（CV）：采用定速卡爾曼濾波器作為基礎模型。

（2）social LSTM（S-LSTM）：該方法由Alahi 等提出。每輛車都通過LSTM 建模交互，隱藏狀態在每次迭代中使用社會池化層進行池化，在輸入軌跡坐標的基礎上，增加車輛速度、周車信息。

（3）XY-LSTM：基于本文架構，輸入被預測車輛和周圍車輛的位置特征信息。

（4）V-LSTM：在XY-LSTM 基礎上增加車輛的速度特征信息。

（5）E1-LSTM：在V-LSTM 基礎上增加被預測車輛和周圍車輛的交互作用信息。

（6）E2-LSTM：在E1-LSTM 基礎上增加周圍車輛之間的交互作用信息。

（7）PMETP：本文描述的完整模型，包括行為意圖識別和編碼器-解碼器生成的多模態預測模型。

圖8 和圖9 分別表示基于HighD 數據集的各模型RMSE 和NLL 比較結果。可以看出，考慮被預測車輛和周圍車輛的交互作用特征信息的模型（SLSTM、E1-LSTM、E2-LSTM、PMETP）的RMSE 要明顯低于XY-LSTM 和V-LSTM，說明車輛間的交互作用對運動預測是很重要的因素之一。并且在短時域內基于CV 模型和基于LSTM 模型的RMSE 值接近，表明基于模型的預測方法只適合應用在較短時間內需要預測的自動駕駛車輛，也證明了LSTM 在長時域預測具有較強的優勢。同時，根據所提出的基于HighD 數據集各個模型之間的RMSE和NLL對比，6 s內RMSE 的平均誤差PMETP 依次降低了45.93%、3.72%、34.76%、29.6%、10.7%、5.51%，6 s 內NLL的平均誤差PMETP 依次降低了5.04%、28.29%、22.49%、16.06%、8.7%。由此表明本文提出的PMETP 在評價指標中均低于其它模型，且生成的多模態概率分布更符合真實的軌跡，具有明顯的優勢。

圖8 基于HighD數據集的各模型RMSE比較結果

圖9 基于HighD數據集的各模型NLL比較結果

4 結論

為充分表示車輛行為預測空間，解決預測的固有不確定性，本文提出一種基于概率密度的多模態預期軌跡預測模型。

（1）不僅考慮被預測車輛的運動狀態，而且還考慮被預測車輛的環境信息，即周邊交通車輛的特征信息、被預測車輛與周邊交通車輛以及周邊交通車輛之間的交互作用特征信息，同時基于偏航角提取車輛的分類標簽，為PMETP 模型提供了數據支撐。

（2）通過駕駛行為意圖識別模塊預測目標車輛在車道保持、左換道、右換道、左加速換道和右加速換道的駕駛行為概率。并通過MDN 高斯核函數預測未來軌跡位置的概率分布。

（3）通過精確率、召回率、F1-score、準確率評價指標對駕駛行為意圖識別模塊進行分析，模型的準確率達到了98%以上。同時本文比較所提出的PMETP 和不同模型的RMSE 和NLL。6 s內RMSE 的平均誤差PMETP 依次降低了45.93%、3.72%、34.76%、29.6%、10.7%、5.51%，6 s 內NLL 的平均誤差PMETP 依次降低了5.04%、28.29%、22.49%、16.06%、8.7%。

后續將進一步研究地圖、交通狀態等因素在多模態軌跡預測方面的應用。