基于層次圖注意的異構多目標軌跡預測方法*

胡啟慧，蔡英鳳，王 海，陳 龍，董釗志，劉擎超

（1.江蘇大學汽車工程研究院，鎮江 212013；2.江蘇大學汽車與交通工程學院，鎮江 212013；3.南京金龍客車制造有限公司，南京 211200）

前言

智能汽車作為改善交通安全、交通堵塞、能源短缺等問題的有效解決方案，有效的軌跡預測是智能汽車科學決策和安全控制的重要前提。目前智能汽車的軌跡預測大多基于周邊的多個車輛目標來建模，但在城市等復雜駕駛場景中，智能汽車的相鄰交通參與者不僅包括車輛，而是由不同形狀、動力學、行為和類型的交通參與者組成，包括車輛、行人、自行車等，同時還受到道路幾何結構、交通標識、交通規則等車道環境的約束。因此，如何在預測過程中充分結合駕駛場景中的車道環境約束和其他異構多目標的交互影響，與周邊環境進行合理交互是提高軌跡預測精度的關鍵所在。

目前，國內外學者對軌跡預測問題進行了深入研究，所用方法大體上分為3 類，包括基于傳統物理模型的方法、基于車輛機動性的方法和基于深度學習的方法。其中基于物理模型的方法考慮車輛運動學和動力學的影響來預測未來的軌跡，如Lefèvre等［1］將車輛特性（例如質量和軸距）、環境條件（例如速度限制和道路類型）和控制輸入（例如加速度、速度和轉向）考慮在內。這些方法通常側重基于對象先前的運動來分析對象，且未考慮不同交通參與者的明確意圖和操縱，無法適應具有復雜車輛交互的交通。進而，一些學者提出使用機動識別和行為預測兩個階段對交通參與者的行為進行建模。例如，Aoude 等［2］在車道變換場景中，預定義左車道變換、右車道變換和車道保持3 種機動，然后基于行為預測模型第一步中的機動結果，生成規劃結果。然而大多數基于機動的交通參與者行為模型都是單獨的，而沒有考慮交通參與者之間的影響和互動，且如果他們推斷出錯誤的機動類型或計算成本非常高，則無法準確預測交通代理的意圖。因此隨著深度神經網絡強大的表征能力，基于深度學習的軌跡預測表現出良好的效果。如Alahi 等［3］提出基于社會共享機制的社交池捕捉個體之間的動態交互。文獻［4］中在此基礎上開始預測多條軌跡的不確定性。Bi 等［5］將車輛的動力學特征與神經網絡結合來表征目標之間的交互。為更加定量地建模交互，Jain等［6］將social層依照社交圖的原理改進為圖結構和LSTM的形式，可以基于網絡中節點和邊緣的組合對交通參與者之間的交互建模為圖形結構。Grip++網絡［7］使用動態圖和靜態圖結合的方式編碼目標之間的交互，以求捕捉事變的交互關系。Yu 等［8］使用流行的Transformer［9］架構分別對空間交互和時間連續性進行建模。同時，一些方法采用高精地圖矢量化編碼的方式來表達目標與靜態環境的交互，如Zhao等［10-11］提出使用地圖對象和代理軌跡的分層Vectornet表示編碼場景上下文。每個分量都表示為一系列向量，然后由本地圖形網絡進行處理。生成的特征通過完全連接的圖形網絡進行全局聚合。LaneGCN 方法［12］從高清地圖中提取車道圖，并使用圖卷積網絡計算車道特征。這些特征與融合網絡中的代理和其他車道特征相結合。然而，這些方法只考慮了對同構多車輛與環境之間的交互，沒有考慮場景中包含更多異構目標的情況，且這些方法在構建交互關系時忽略了不同個體的影響權值，相同權重劃分并不利于智能汽車做出安全可靠的運動決策。

在大多數城市交通環境下，目標的軌跡預測主要針對包含多類不同動力學形態目標的復雜交通環境而設計的軌跡預測模型，相比現有方法，異構多目標場景下的預測需要同時考慮不同目標之間的動力學差異、目標之間的交互作用和道路結構的約束，其核心和難點在于對異構關系的提取和建模上。目前一些方法考慮到包含異構目標場景下的軌跡預測。Chandra 等［13］提出了一種由LSTM 和CNN 混合的TraPhic 網絡用于軌跡預測，隱含地解釋了具有不同動力學和行為的動態代理間的異構交互，設置代理的影響范圍為半橢圓，LSTM通過閾值內的目標代理和鄰域內的交互代理創建交互地圖。這種方案計算成本高，且使用CNN 匯集附近代理的隱藏狀態會丟失某些運動信息，限制了模型所能達到的精度。為克服這種缺陷，Ma 等［14］提出了另一種方案，從實例層和類別層分別分析代理之間的復雜交互，其中實例層用于捕獲交通中每個個體的移動和交互，類別層用于學習屬于相同類別個體的移動模式，因為同類物體的移動速度、個體間交互方式較接近，因此這種同時提取類別運動特征和個體運動特征的方法能取得一個更好的結果。該方案的性能優于TraPhic，但由于鄰域中的每個流量代理都使用LSTM，因此其計算成本仍然很高。另一方面，這些模型的輸入輸出表示都是在固定大小和固定空間組織的數據上呈現的，不具有很好的泛化性，即不能靈活地適應代理的數量和類型，以及模型在不同場景下的可轉移性。

因此，針對軌跡預測中交互關系提取存在的不足，本文綜合考慮異構目標類別之間的差異性、個體之間的交互性和道路結構的約束性，提出一種基于層次圖注意的異構多目標軌跡預測模型（HGATP）。該模型將多因素的異構交互關系表征為目標-類別-地圖之間的層次圖，其中類別層對不同異構目標的行駛狀態參數獨立編碼，并通過注意力機制求得不同類目標之間的差異權值，此權值作用于目標層中由各獨立目標所構建的異構圖，來表征異構目標之間的對不同對象的差異性互動，地圖層則通過矢量化的方式構建拓撲關系后添加選擇性采樣機制和目標層實現交互，以此滿足不同運動模式對象對地圖的差異性關注。通過異構圖來提取交互關系彌補了常規交互對異構交互關系提取不充分的問題，同時添加層次圖之間的注意力機制更加準確地捕捉不同因素之間的依賴關系的差異，不僅提升了算法訓練時的收斂速度，也提高了異構多目標軌跡預測的精確性和可解釋性，更加適用于復雜場景中的軌跡預測。

1 方法

1.1 問題定義

經典的車輛軌跡預測問題可以表述為一個基于目標車輛歷史軌跡信息預測其在未來場景中軌跡信息的問題。具體來講，將目標車歷史軌跡信息表示為X=[p(1)，p(2)，…，p(th)]，未來預測時刻tf段的目標車軌跡信息=f(X)，其中p(t)=[x(t)，y(t)]，指目標車在時刻t的位置坐標信息，th指歷史觀測時間段，tf指未來預測時間段。

本文將此問題擴展為綜合考慮周邊多類目標和靜態交通道路信息的多目標軌跡預測問題。具體來講，本文假設自車所在的場景中有N個周邊目標，即交互目標的集合表示為X={X1，X2，…，XN}，每一個目標Xi在時刻t時的運動狀態表示為=，即用目標的質心坐標（x，y）、速度v、加速度a和偏航角θ等微觀運動參數表示。此外，本文目標所處交通場景的道路信息表示為M=[lid，lcen，lturn，lcon，linter]，其中lid指車道序列號，lcen指車道中心線序列點，lturn指車道轉向情況，lcon指車道是否有交通控制，linter指車道是否是交叉口。因此本文的預測問題表示為

式中Yi包含目標i在未來時刻t(t∈(tobs，tobs+tf))時的運動狀態，表示為=[，]。

1.2 基于層次圖注意的異構多目標軌跡預測模型

本文所提模型主要由3 部分組成，分別是多目標特征編碼網絡、層次圖注意聚合網絡和多目標預測網絡。首先，多目標特征編碼網絡構建異構目標之間的交互圖和車道的拓撲關系圖，并對不同類目標之間獨立編碼來保留不同對象之間的差異性。然后，層次圖注意聚合網絡分別對編碼獲得的不同類對象進行圖注意力機制的運算，將得到的不同目標之間的關注度作用于異構目標之間的交互圖上來加強表征異構對象之間的交互，同時使用縮放點積注意力對編碼的車道特征進行針對異構目標的選擇性采樣，完成各目標之間的特征聚合。最后，將聚合后的特征傳入預測網絡，輸出多個異構對象的未來軌跡。模型整體架構圖如圖1所示。

圖1 HGATP模型整體框架圖

1.2.1 多目標特征編碼網絡

（1）層次圖的構建

異構目標交互圖：本文首先對多目標之間的交互關系構建交互圖，表示為有向圖G=，其中V={V1，V2，…，VN}表示場景中的N個目標，每個節點包含時刻t時目標的位置、速度、加速度、偏航角和類別信息，即=。而節點之間的連邊主要包括時間連邊和空間連邊，如圖2 所示。其中時間連邊由各個目標在不同幀之間的狀態演變組成，也就是任一目標的歷史運動信息，而空間連邊是指不同目標在相同時間幀內的特征交互關系。具體來講，如果目標i位于目標j預設的鄰域范圍內，便認為存在由i指向j的空間連邊，表示為={Eid，Eattr，Etype}?V×V，即空間連邊包含對應目標id 之間的連接信息、特征（x，y，v，a，θ）之間的屬性差值信息和串聯的特征類別嵌入，且這些邊都屬于有向邊。通過這些信息所構建的有向圖不僅包含了每個目標間的交互信息，還包含了每個類別的信息，因此可以使用其來建立類別和目標之間分層的互動。

圖2 異構目標交互圖

車道矢量拓撲圖：本文參考LaneGCN［12］中直接從矢量化地圖表征車輛行駛環境的思想，將HD 地圖編碼為有向圖G(V，E)，來捕獲車輛代理和地圖信息的拓撲和長期依賴關系。具體來講，使用車道中心線作為節點V，即將車道中心線均勻采樣為一系列鳥瞰點，每個點用車道中心線點序列的中點表示，且同時具有方向屬性和位置屬性。為確保每個節點代表長度相似的車道段，將較長的車道中心線劃分為固定長度的較小片段，并將其離散為一組N個車道段的集合，如圖3 所示。每個片段對應于圖中的一個節點，節點V表示為一系列特征向量：

圖3 車道矢量拓撲圖

式中、和表示第n段道路片段的位置和偏航。

車道節點之間的邊考慮3 種類型，分別為后續邊、前連邊和相鄰邊［15］。其中，后續邊Esuc指沿車道將節點連接到下一個節點的邊，如果車道在交叉口分叉，則給定節點可以有多個后續節點。同理，如果兩個或多個車道合并，則多個節點可以具有相同的后續節點。前連邊Epre則剛好相反，考慮當前節點的前段相連邊是為考慮目標車附近車輛的影響和意外情況的出現。同時為考慮變道情況的出現，本文還定義了相鄰車道節點之間的相鄰邊Eprox。因此，節點之間的拓撲連邊信息使用鄰接矩陣來表達：

式中Ai∈RN×N，若Ai，jk=1 說明nodej和nodek之間存在第i種鄰居關系。

（2）特征編碼

對于異構目標的特征表示，之前的研究大多使用同一個循環神經網絡RNNs 來表征，沒有考慮到不同對象之間的運動差異。但實際上，不同類別的目標速度、常規安全距離和對彼此的反應都大不相同［16］，比如車輛對行人的安全距離比自行車對行人的安全距離要大得多，二者對于前方出現的行人的反應也大不相同，汽車相對自行車更為謹慎，會更快速地做出反應。因此對于不同類型的目標，本文考慮獨立的循環神經網絡（RNN）來提取動態特征，常用的處理時序數據的RNN 有門控遞歸網絡（GRU）和長短時記憶網絡（LSTM），由于GRU 相比LSTM 更加高效，計算也更加簡便，本文在實施時采用GRU來實現目標節點特征的編碼，即分別使用3 個GRU編碼器編碼周邊車輛軌跡、行人的軌跡和自行車的軌跡，分別輸出車輛編碼hcar、行人編碼hped和自行車編碼hbic。

而對于矢量地圖的拓撲化編碼，本文使用LaneGCN［12］中的圖卷積算法進行編碼。首先對構建的車道節點進行車道段的局部特征編碼，本文用全連接實現一條車道的信息聚合：

式中：vi是第i個節點的坐標，即第i個車道段的中心坐標；分別表示此車道段的起始點。聚合后的xi表示節點特征矩陣X的第i行，表示第i個車道節點的輸入特征。然后同樣使用LonvConv 算子獲取車道間的拓撲結構，將交互車道圖G（包括車道節點X和車道連邊情況A）輸入圖卷積網絡中，表示為

式中：Ai和Wi指第i種車道的鄰居連接方式（即i∈{相鄰}）對應的鄰接矩陣和權重矩陣；X指節點特征矩陣；kc是卷積層第c個膨脹大小。

1.2.2 層次圖注意聚合網絡

（1）目標-類別注意

注意力模塊源于人類的視覺注意力機制，人類通常利用有限的注意力從大量的信息源中獲取對自己最有效的信息［17］。對于異構多目標的交互來說，當前設置的異構圖僅設置了不同節點之間的差異，沒有體現不同類別對節點之間的互動影響。因此，本文設置目標-類別之間的注意模塊來捕捉異構目標之間的互動，由于異構目標之間圖關系的構建，首先對類別之間設置圖形注意力模塊［18］來獲取不同類之間的彼此關注度，然后將此關注度作用于前文構建的異構圖上來捕捉異構目標之間的交互。

對于不同類型的權值，上文編碼得到了各自的編碼特征，在此基礎上獲取每個類別編碼的投影以作為類別嵌入，然后求取任意兩個類別間的注意力分數，表示為

式中：hc表示各類目標的編碼特征（即前文節點經由GRU 編碼之后的hcar、hped和hbic）；?表示線性層；Aci，cj表示ci類目標對于cj類目標的注意力分數；||表示不同rc的級聯；ac是學習的注意力權值向量；δ(?)表示非線性激活層。

獲取的類別間的注意力分數A主要用于為異構圖的邊值添加類別權值，使之更合理地表征不同目標對彼此的關注度。具體而言，對前文構建的異構圖連邊分別進行投影之后與類別間注意分數Aci，cj進行點乘：

（2）目標-車道注意

目標的移動除受自身動力學約束和其他參與者的交互影響外，道路結構帶來的約束也不容忽視［19］。例如行人更關注人行道，車隊中較慢的車輛更可能換道等。因此，本文在地圖編碼時像其他針對單目標的預測研究一樣，選擇地圖矢量化編碼來表征其影響。但在異構目標中，不同類型的目標由于其運動模式大不相同，對于地圖的關注度也有很大差異。比如在同時移動的相同時間內，車輛走過的地圖極大可能遠超過行人步行的距離，如果只使用固定尺寸的地圖，將遺漏掉車道對于不同目標移動的許多約束［20］。因此，本文對目標-地圖之間進行縮放點積注意力模塊來對地圖進行更新選擇。

將編碼之后的各類節點特征級聯操作作為Query 值，矢量化編碼之后的車道特征作為Key 和Value值來進行注意力運算，更新后的地圖節點編碼是通過將注意力層的輸出與原始節點編碼連接起來獲得的：

1.2.3 多目標預測網絡

本文的預測網絡由LSTM 和全連接網絡組成。對于類別為c的N個目標來說，異構多目標狀態表示為異構代理的節點編碼向量hc、相鄰目標節點的交互邊狀態編碼ei，j和目標選擇更新后的車道編碼特征3 部分的級聯結果。將異構多目標狀態作為預測網絡的輸入，分別使用3個LSTM 預測不同類型的軌跡，3 個LSTM 共享相同的結構，將被訓練成不同的權重。

1.3 模型訓練

本文使用Python編程語言和PyTorch庫實現，其中模型使用Adam 優化器來加速模型的學習速度，將Adam 優化器的學習率設定為0.001，使訓練能夠更準確地找到全局最優點。每次都將模型訓練為回歸任務，將損失函數設置為預測值與真實值之間的MSE損失，計算如下：

式中：表示軌跡真值；i表示序列長度；j表示輸出數據維度。

2 實驗

2.1 數據集

本文在交互數據集 nuScenes［21］和INTERACTION［22］上分別進行模型訓練和驗證。nuScenes 數據集是一個在波士頓和新加坡收集的自動駕駛汽車數據集，共包含1 000 個場景，每個場景20 s，帶有地面實況注釋和高清地圖。車輛具有手動注釋的3D 邊界框，這些邊界框以2 Hz 采樣，預測任務是利用過去2 s 的物體歷史和地圖來預測接下來的6 s。由于nuScenes 豐富的場景和注釋詳細的高精地圖，本文在此數據集上進行了部分驗證，但官方提供的是預測單目標車輛的軌跡，因此為驗證多目標的效果，本文同時在INTERACTION 數據集上進行了驗證。INTERACTION 數據集包含來自世界各地的高度互動的城市場景中不同交通參與者（即車輛和行人）的自然軌跡，記錄的場景可分為3 個部分：并道、十字路口、環島場景。預測任務是利用過去1 s 的目標歷史軌跡和地圖來預測未來的3 s，10 Hz 的采樣頻率。數據集的劃分本文使用兩個數據集的官方劃分標準。

從平均位移誤差（ADE）和最終位移誤差（FDE）兩方面對預測性能進行評價。其中ADE 是整個時間步長上預測軌跡與地面真實值之間的平均L2 距離，FDE 定義為預測軌跡端點與地面真值之間的位移誤差。對于nuScenes 數據集的標準來說，文中預測了同一目標的多模軌跡，因此在評價指標上略有差異，使用K條軌跡的最小ADE 和最小FDE 作為度量，即使用minADE和minFDE。計算結果如下：

式中：(，)為時刻τ目標的預測軌跡；(，)為時刻τ的地面真實軌跡；Tf為預測范圍。

2.2 結果分析

將現有的異構目標軌跡預測模型GRIP、Trajectron++和本文提出的HGATP 及一些基線模型進行定量和定性分析，典型模型和HGATP 變體如下所示。

（1）GRIP［7］：通過引入固定圖和可訓練圖來模擬時刻變化的異構目標交互，沒有考慮靜態車道環境和異構目標之間差異的影響，使用GCN 網絡提取代理之間的交互特征，并同時預測多個目標的軌跡。

（2）Trajectron++［23］：通過編碼語義地圖有效地整合高維數據，并將動力學約束融入到基于學習的多智能體軌跡預測方法中的通用方法。

（3）HGATP-GCN：本方法的一種只考慮目標個體之間的變體交互。在本方法中只按照目標間空間距離構建交互，用GCN 提取交互特征，不考慮其他因素的影響。

（4）HGATP-NoMap：本方法的一種不考慮車道約束的變體方法。在本方法中，只使用目標和類別之間的交互，即使用了類別和目標之間的注意力模塊，并將權值與目標連接邊點乘來加強交互圖的方法。

（5）HGATP-NoCat：本方法的一種不考慮類別交互的變體方法。在本方法中，舍棄類別之間的權重值，考慮目標和車道之間的注意。

（6）HGATP：作為本文的主要方法，不僅考慮目標個體之間時空的交互，同時添加類別層的權值強化異構圖，并考慮車道對目標的約束。

2.2.1 定量分析

對比GRIP、Trajectron++、本文所提方法HGATP和nuScenes數據集榜單上的其他先進模型的性能如表1 所示。由于nuScenes 數據集上針對單一目標預測多模軌跡，因此本文計算了同時預測5 條軌跡和10 條軌跡時的6 s 平均位移誤差（ADE）和對應置信度最高軌跡的最終位移誤差（FDE），單位為m。與不考慮目標之間的差異和地圖的GRIP相比，本文所提模型在預測多條軌跡時，ADE的誤差減小約23%，對應最高置信度的軌跡FDE 減小約22%，這意味著本文模型同時考慮諸多因素是合理的。而與考慮動力學和地圖的Trajectron++方法相比，ADE 和FDE 也都有所提升，說明本文方法在考慮相同因素時設置的結構有一定優勢。此外，與先進模型SG-Net［24］和Lapred［25］的對比結果表明，在預測較少模態軌跡時，本文方法均取得較小的誤差，而在多模預測時，本文方法預測效果相比Lapred 略差，這可能與本模型在異構目標關系的構建有關，如不同運動類別的行人和車輛在進行多模軌跡預測時可能表現了更多的可能性。

表1 幾種模型在nuScenes數據集上驗證結果的對比

表2 中對比了本文所提模型與一些基線模型和INTERACTION 數據集上的其他先進模型的實驗結果。但由于INTERACTION 數據集榜單的排名限制，將所有模型復現并在選擇的3 個典型場景（如圖6 可視路段）中進行對比，以求更加公平地進行驗證。其中，Seq2Seq 為只使用GRU 無差別編碼目標并解碼多目標的基線，GCN 為考慮目標之間固定交互圖的多目標預測基線，HEAT 模型［20］構建異構對象之間的邊緣增強圖，同時選擇門控機制選擇地圖。由于INTERACTION 數據集規定的預測任務為利用過去1 s 時間的歷史軌跡預測未來3 s 時間的一條確定性軌跡，因此本文使用未來3 s 內單模態軌跡的ADE 和FDE 指標在INTERACTION 數據集上進行測試。結果表明，本文所提模型的ADE 和FDE 較基線模型都有較大提升，說明本模型在同時預測多個目標時也能很好地提升預測精度。另外，在與典型的GRIP 和Trajectron++模型相比，本模型在平均誤差數據上依然保持較好的預測精度。在與榜單先進模型HEAT 模型相比，本文所提模型在ADE 的效果優于該模型，但FDE 的效果略差，說明本模型在短時間的預測效果較好，但終點預測存在改進之處。

表2 基線模型在INTERACTION 數據集上驗證結果的對比

為驗證所提模型的各組件對最終結果的影響，本文在INTERACTION 數據集上分別驗證了本模型的幾種變體。如圖4 所示，分別計算不同變體在預測3 s軌跡時的預測誤差，由于數據集將目標中的自行車和行人目標歸為一類，因此評估了兩類目標的誤差。

圖4 HGATP及變體在INTERACTION 上的對比實驗

2.2.2 測試效果

圖5 和圖6 為本文所提模型分別在nuScenes 和INTERACTION 兩個數據集上的可視化效果。如圖5 所示，在預測單目標車輛的nuScenes 數據集上，目標車的預測軌跡與車道結構有緊密聯系，直道上的預測效果更貼合真實軌跡，而交叉口的預測軌跡則展現了較好的多模態性，匹配不同軌跡的置信度，更能體現預測的安全性。除此之外，可以看出不同軌跡也捕捉到可能的速度差異。在INTERACTION 數據集上，有環島、并道和路口3 種場景，圖6 的第1、3、5 行展示道路實際場景和目標的真實軌跡，對應的第2、4、6 行為預測結果。結果顯示，在路口的場景中，大多數目標直線行駛，預測效果最好，環島場景中大部分目標預測效果較準，但一些轉彎弧度較大的目標誤差較大，這與并道場景中顯示的結果類似，其原因可能是忽視了車道的曲率和目標的速度方向，從而影響了模型在這些場景中的效果。

圖5 nuScenes數據集上模型預測效果

圖6 INTERACTION 數據集上模型預測效果

3 結論

提出基于層次圖注意的異構多目標軌跡預測方法，通過構建目標-類別-車道之間的層次圖來表征交互場景，有效地考慮不同因素之間影響異構多目標軌跡預測的時空交互，為進一步突出各因素對交互的影響力大小，進行層次之間的注意力權值運算來加強異構圖的交互表示，最后傳遞給LSTM 網絡進行軌跡解碼重構。本方法將不同運動模式的目標對交互的不同反應考慮到實際影響中，有效解決了對異構多目標個體的差異化建模。基于INTERACTION 和nuScenes 數據集上的對比實驗驗證了所提方法在異構場景中預測單目標和多目標時都有優異的效果。未來將考慮異構目標的動力學因素建模差異性交互，使建模更具有可解釋性，同時車道曲率、信號裝置等更多道路約束也將被更充分地考慮，以進一步提升預測精度。