基于圖神經網絡的交互車輛駕駛意圖識別及軌跡預測*

趙樹恩 蘇天彬 趙東宇

（重慶交通大學，重慶 400074）

主題詞：自動駕駛 駕駛意圖識別 軌跡預測 圖神經網絡 門控循環單元

1 前言

傳統車輛與自動駕駛車輛混行交互場景中，由于駕駛人意圖與環境的不確定性，車輛的未來軌跡仍有多種可能性。對周圍車輛軌跡進行精準預測有助于自動駕駛車輛作出合理的決策規劃，進而實現自動駕駛車輛在高動態復雜環境中的安全行駛。

目前車輛運動軌跡預測方法可分為基于模型和基于數據驅動2 種類型[1]。M.Brannstrom 等[2]將車輛動力學模型簡化為二自由度車輛模型，根據車輛當前狀態分析潛在的運動模式，生成預測軌跡。L.Rummelhard等[3]基于車輛速度和運動學模型預測其運動軌跡。A.Eidehall 等[4]基于車輛動力學模型，采用蒙特卡羅（Monte Carlo）仿真算法從模型的輸入變量中隨機選取值生成可能的軌跡簇，并通過車輛模型約束得到可行駛的軌跡簇。

基于數據驅動的車輛軌跡預測主要采用基于神經網絡的方法。季學武等[5]運用深度學習方法設計了一種基于長短時記憶（Long Short Term Memory，LSTM）網絡的駕駛意圖識別及車輛軌跡預測模型，通過混合密度網絡（Mixture Density Network，MDN）輸出預測軌跡分布。Xie 等[6]利用卷積神經網絡（Convolutional Neural Networks，CNN）在空間上的優勢和LSTM在時間上的優勢，提出了CNN與LSTM相結合的周圍車輛軌跡預測模型。郭景華等[7-8]提出了一種基于殘差雙向長短時記憶（Residual Bidirectional Long Short Term Memory，Residual Bi-LSTM）網絡的車輛駕駛行為識別和軌跡預測模型。Yook 等[9]提出了一種高精地圖與深度學習模型結合的方法來提升軌跡的預測效果。高振海等[10]基于環境交互信息提出了基于單雙向長短時記憶（Monodirectional and Bidirectional LSTM，MB-LSTM）的交通車輛意圖識別及軌跡預測模型，以提高長時域內軌跡的預測精度。

綜上所述，基于車輛物理模型的軌跡預測方法適用于短時域運動軌跡預測，但由于車輛軌跡的高度非線性及駕駛人習慣的多樣性，基于模型的軌跡預測方法在長時域預測上難以取得令人滿意的精度。基于數據驅動的軌跡預測雖能預測長時域內軌跡的變化，但未考慮被預測車輛和周圍車輛的相互影響，其軌跡預測精度有待進一步提升。

為了充分理解車-車間的交互行為，提高對周圍車輛駕駛意圖識別及軌跡預測的準確性，本文基于圖采樣與聚合（Graph SAmple and aggreGatE，GraphSAGE）的圖神經網絡和門控循環單元（Gated Recurrent Unit，GRU）網絡，提出一種基于GraphSAGE-GRU 的車輛駕駛意圖識別及軌跡預測模型。通過構建被預測車輛與其周圍車輛之間交互的時空圖，運用GraphSAGE 圖神經網絡識別出被預測車輛的駕駛意圖，然后采用編碼-解碼的GRU網絡，構建考慮駕駛意圖的軌跡預測模型。

2 周圍車輛軌跡預測框架

圖1 所示為傳統駕駛與自動駕駛多車混行匯流場景示意。

圖1 高速混行匯流場景示意

為了更好地作出決策，自動駕駛車輛S4需要對周圍車輛進行駕駛意圖識別和軌跡預測。假設自動駕駛車輛對周圍車輛S0進行駕駛意圖識別和軌跡預測時，被預測車輛S0的駕駛意圖和軌跡受到其左前車S1、左后車S2、前車S3、后車S4、右前車S5、右后車S6的直接交互影響。因此，以被預測車輛S0及與其存在交互影響的車輛的狀態參數作為駕駛意圖識別和軌跡預測模型的輸入，輸出為車輛的預測軌跡，即

式中，I(t)為被預測車輛及與其存在交互的車輛的歷史狀態參數矩陣；Si(t)為t時刻i位置車輛狀態信息；i=1,2,3,4,5,6分別表示左前、左后、前、后、右前、右后位置；x(t)、y(t)分別為t時刻車輛橫、縱向坐標；v(t)為t時刻車輛絕對速度；a(t)為t時刻車輛加速度；L、LW分別為車輛長度、寬度；T為當前時刻；TP為歷史時域；為t1時刻預測的軌跡坐標；分別為t1時刻預測的橫、縱向坐標；TF為預測時域。

在實際行駛過程中，t時刻i位置被預測車輛的周圍可能存在沒有車輛的情況，則可默認t時刻i位置的車輛與被預測車輛的距離為無窮大，將t時刻i位置車輛狀態參數設為Si(t)=[10 000,10 000,0,0,0,0]。

由圖1 可以看出，車-車間的動態交互特性具有時空關聯關系。將車輛視為“節點”，則車-車間的交互關系即為連接節點的“邊”，從而，多車間動態交互特性就構成了無向圖（Undirected Graph）網絡結構。

本文運用圖神經網絡和門控循環單元理論，提出基于圖神經網絡和門控循環單元的周圍車輛駕駛意圖識別和軌跡預測模型，模型架構如圖2所示。該模型主要包括駕駛意圖識別模塊和軌跡預測模塊。其中駕駛意圖識別模塊首先將多車動態交互場景內車-車間的運動狀態描述為時空圖的形式，運用GraphSAGE 圖神經網絡理論對時空圖中車輛的運動狀態進行推理，進而識別出周圍車輛的駕駛意圖。軌跡預測模塊由GRU網絡構建的軌跡編碼器和解碼器組成。編碼器對歷史軌跡進行編碼，并將編碼信息和駕駛意圖向量共同輸入解碼器，最終得到考慮駕駛意圖的周圍車輛預測軌跡。

圖2 基于圖神經網絡與門控循環單元的周圍車輛軌跡預測框架

3 基于GraphSAGE的車輛駕駛意圖識別

3.1 車輛動態交互時空關聯關系

結合圖1所示的復雜交通場景，建立描述多車間交互關系的時空關聯圖，如圖3所示。將車輛作為“節點”，根據同一時刻車輛的空間位置確定多車交互關系的“邊”。從而，多車動態交互特性即可描述為無向圖網絡結構，即G=(V,E)。其中，為車輛“節點”的集合；為車車間關聯關系“邊”的集合，為連接2個節點的“邊”。

圖3 車輛動態交互時空圖

將“節點”的特征矩陣H和“邊”的鄰接矩陣A作為圖神經網絡的輸入，交互規律信息hG為圖神經網絡輸出。其中，特征矩陣的變量分別為不同時刻交互車輛的位置(x(t),y(t))、速度v(t)、加速度a(t)、長度L、寬度LW等動靜態特征變量，用特征矩陣H0表示：

式中，d(Si(n),Sj(k))為同一時刻2 個節點的歐式距離；d0=50 m為距離閾值。

3.2 基于GraphSAGE網絡的駕駛意圖識別

駕駛意圖識別模型如圖4所示。

圖4 基于GraphSAGE網絡的駕駛意圖識別模型

車輛動態交互時空圖的特征矩陣H0和鄰接矩陣A作為GraphSAGE[11]圖神經網絡的輸入，經過2 層Graph?SAGE 圖神經網絡深度學習，得到車-車間的交互規律信息hG，再經過全連接層的映射和Softmax函數的計算，即可得到車輛向左換道、直行或向右換道的駕駛意圖概率，進而實現對車輛駕駛意圖的識別。主要步驟如下：

式中，fGraphSAGE()為GraphSAGE圖神經網絡函數；fFC()為全連接網絡函數；hFC為全連接層映射的信息；wFC為全連接層的權重；b為全連接層的偏置參數；P為輸出的概率矩陣；P1、P2、P3分別為周圍車輛左換道、直行、右換道的概率。

基于GraphSAGE的駕駛意圖識別算法偽代碼為：

其中，Hv0為輸入的節點v的特征；K為GraphSAGE網絡的層數；Wk為k層GraphSAGE網絡中的權重參數矩陣；σ為非線性激活函數；AGGREGATEk為鄰居節點特征的聚合函數；N為鄰居節點的領域函數；為節點v的鄰居節點在(k-1)層的特征；為節點v的鄰居節點在k層聚合后的特征值；CONCAT()為將(k-1)層v節點的特征與k層聚合的鄰居節點特征拼接的函數；為節點v在k層的特征；zv為節點v最終的輸出特征。

4 考慮駕駛意圖的周圍車輛軌跡預測模型

為準確預測長短時域內自動駕駛周圍車輛的行駛軌跡，本文提出了考慮車輛駕駛意圖的GRU編碼-解碼軌跡預測模型，如圖5所示。將周圍車輛歷史軌跡特征信息輸入GRU 編碼層，對編碼信息和駕駛意圖信息進行融合，再經過GRU 解碼層和全連接層進行軌跡維度調整，最后得到車輛的預測軌跡。

圖5 基于GRU編碼-解碼的軌跡預測模型

4.1 車輛歷史軌跡編碼

T時刻GRU編碼器中的單元體輸入車輛軌跡信息I(T)和上一時刻歷史軌跡信息的隱含狀態he(T-1)，經過“更新門”對輸入信息進行“丟棄”或“保留”，得到新的更新信息Ze(T)，再經過“重置門”的重置，得到重置信息Re(T)，以及候選編碼隱藏信息，歷史軌跡信息編碼過程如下：

4.2 車輛軌跡解碼

周圍車輛的駕駛意圖對被預測車輛軌跡的準確預測至關重要。基于GraphSAGE 的駕駛意圖識別模型輸出的結果是周圍車輛駕駛意圖的概率。為準確預測長短時域內周圍車輛的行駛軌跡，本文將駕駛意圖識別結果與GRU 編碼信息融合，作為GRU 解碼器的輸入信息。為了更好地表達駕駛意圖信息，選擇識別結果概率最大的駕駛意圖為確信類別，令該駕駛意圖為1，其余為0。此時駕駛意圖的識別結果成為一個“獨熱編碼”向量，并將此向量與編碼的歷史軌跡信息融合，建立一個新的特征向量C(t)作為軌跡預測解碼器GRU的輸入。

在T時刻，GRU解碼器根據當前時刻的融合向量C(t)和上一時刻的隱藏信息hd(T-1)，經過GRU解碼器中“更新門”對融合信息進行“丟棄”或“保留”，得到解碼更新信息Zd(T)，再經過“重置門”重置，得到解碼重置信息Rd(T)，以及候選解碼信息，解碼過程如下：

式中，WZd、WRd、UZd、URd為GRU解碼器中“更新門”和“重置門”中的參數矩陣；、為候選解碼隱藏信息的權值矩陣。

GRU解碼器經過對融合信息的重置、更新，解碼出當前時刻車輛預測的軌跡信息：

最后，為了得到不同時域的車輛預測軌跡，需要將解碼的信息經過一層全連接層進行軌跡維度的調整，從而映射出預測的軌跡坐標，其映射過程為：

式中，[X(t1),Y(t1)]為預測的軌跡坐標；fFCd為輸出層的全連接網絡函數；wFCd為全連接層的權重；bd為偏置向量。

5 試驗與分析

5.1 數據處理

本文采用美國聯邦公路局提供的NGSIM（Next Generation Simulation）的US-101 與I-80 高速公路開源數據集，從數據集中提取交互場景。Deo 等[12]定義了車輛換道時間為8 s，韓皓等[13]研究了軌跡預測的最佳歷史序列長度為3 s，因此，本文以當前幀被預測車輛的坐標為參考點，分別提取前3 s 軌跡和后5 s 的軌跡，并將前3 s 的軌跡進行駕駛意圖標注，用于駕駛意圖識別模塊的訓練與驗證。從數據集中共提取到20 543 條左換道、31 747條直行數據、8 491條右換道。為了避免駕駛意圖識別模型訓練時出現嚴重的偏向性，將標注的樣本均衡化，即從3種標注的類型中各選取8 491組數據，共25 473組數據作為總數據集，按照8∶2的比例隨機劃分為訓練集和測試集，進行預測模型的訓練和測試。

5.2 駕駛意圖識別試驗結果

為了測試本文提出的基于GraphSAGE 圖神經網絡的周圍車輛駕駛意圖識別模型的識別效果，分別選取1 698個左換道、直線行駛、右換道3種駕駛意圖歷史數據，并與圖卷積神經網絡（Graph Convolution Network，GCN）識別模型和基于LSTM[5]的駕駛意圖識別模型進行了對比，識別效果對比結果如表1所示。

表1 駕駛意圖識別效果對比

由表1可以看出：GraphSAGE模型識別的總準確率相較于其他2種算法分別提高了6.20百分點、6.57百分點；在對直線行駛駕駛意圖識別中，基于GCN 和LSTM模型的識別準確率均明顯小于GraphSAGE 模型的準確率，車輛在行駛過程中存在一定的抖動，導致易將直線駕駛意圖誤判為換道意圖，降低了對直線行駛駕駛意圖識別的準確率。通過GraphSAGE 圖神經網絡對車車交互行為的學習推理，能更好地識別出車輛的駕駛意圖，提高意圖識別的準確率。

5.3 軌跡預測結果分析

為了評價軌跡預測模型在預測時域5 s 內的優勢，選擇均方根誤差（Root Mean Square Error，RMSE）Erms進行評價：

式中，n為預測軌跡坐標的總數量；xi、yi分別為橫向坐標和縱向坐標的真實值；、分別為橫向坐標和縱向坐標的預測值。

對比未考慮駕駛意圖的GRU模型和未考慮駕駛意圖的LSTM模型，各軌跡預測模型的均方根誤差結果如表2所示。

表2 均方根誤差

從表2中可以看出，本文所建立的考慮駕駛意圖的GRU 編碼-解碼的軌跡預測模型在長短時域內對車輛未來的運動軌跡預測的準確度最高，隨著預測時域的增加，雖然車輛未來運動的不確定性增加，預測誤差隨之增大，但本文的模型的均方根誤差增加緩慢，說明考慮車輛的駕駛意圖能夠增加預測模型的語義信息，從而提高車輛軌跡的預測精度。

5.4 實例分析

被預測車輛換道時，在車輛到達車道線前，越早識別出車輛的駕駛意圖和預測出未來的軌跡，越有利于車輛的決策。從測試集中選擇一段向左換道的車輛行駛數據進行駕駛意圖識別和軌跡預測，輸入的歷史時域為3 s，預測時域為5 s。圖6 所示為車輛在達到車道線的過程中，實時輸出的3類駕駛意圖的概率。圖7所示為車輛在距離車道線2 s、1 s、0 s 時距時，預測出未來5 s的軌跡。

圖6 駕駛意圖識別結果

圖7 軌跡預測結果

從圖6 中可以看出，在距離車道線2.5 s 時距時，車輛開始進行左換道，但是左換道駕駛意圖不明顯，此時模型識別出的左換道概率較低，隨著車輛接近車道線，識別出的左換道駕駛意圖概率逐漸增高，在距離車道線2 s 時距時，識別出的左換道意圖概率已經超過了直線行駛概率，將其判斷為左換道意圖，在到達車道線時，識別出的左換道駕駛意圖概率為100%，說明基于Graph?SAGE 網絡的駕駛意圖識別模型能夠準確識別出車輛的意圖。

從圖7中可以看出，在距離車道線2 s時距時，車輛已經向左偏移，但是對于左換道軌跡編碼的信息較少，使預測的軌跡誤差較大。隨著提前預測時間的縮短，車輛越靠近車道線，車輛換道的運動軌跡信息越多，預測出的換道軌跡也更加精確。同時，相比其他2種模型的軌跡預測效果，增加車輛的駕駛意圖信息，能夠有效提高軌跡的預測精度。

6 結束語

本文提出了基于GraphSAGE-GRU 周圍車輛駕駛意圖識別及軌跡預測模型，分析了高速環境下被預測車輛與其周圍車輛的相對位置關系，構建了車輛之間交互博弈的動態時空圖，采用GraphSAGE 圖神經網絡對其推理，識別出車輛意圖為左換道、直線行駛、右換道的概率，運用GRU 網絡對車輛歷史軌跡進行編碼-解碼，充分挖掘車輛歷史軌跡中的運動信息，并融入駕駛意圖信息，使其輸出更為合理的預測軌跡，并在NGSIM自然駕駛數據集上進行了驗證。試驗結果表明，該模型能更好地推理車-車之間的交互關系，理解周圍車輛的駕駛意圖，提高自動駕駛車輛對周圍車輛的態勢認知能力，并且考慮對周圍車輛駕駛行為認知的車輛軌跡預測模型能夠提高預測軌跡的精度和合理性。

本文模型是基于高速匯流場景數據進行訓練的，未考慮如十字路口等存在轉彎等駕駛意圖，同時，車輛的運動軌跡也受到交通環境中道路結構、交通流等的影響，因此后續研究中將考慮更多的駕駛意圖以及將道路結構、交通流信息融入到模型中，得到更為精確的駕駛意圖和更合理的預測軌跡。