基于圖Transformer網絡的城市路網短時交通流預測模型

周烽, 王世璞, 張坤鵬,2*

(1.河南工業大學電氣工程學院, 鄭州 450001; 2.清華大學自動化系, 北京 100084)

隨著中國城市化迅速發展,交通工具增多,城市交通面臨巨大壓力。作為是智能交通系統(intelligent transportation system,ITS)的重要組成部分,準確實時的交通流預測對于減輕交通壓力至關重要。它在路徑規劃和城市交通管理等應用方面發揮關鍵作用[1]。交通流預測的目標是基于歷史交通流數據預測未來交通網絡的狀態。

早期研究者使用統計學的方法預測交通流,例如利用差分自回歸移動平均模型(autoregressive integrated moving average model, ARIMA)[2]去預測交通流。因為交通流數據具有非線性的特性,但統計學模型并不能解決該問題,因此預測精度較不高且有局限性。機器學習方法能更好地處理交通流非線性問題,何祖杰等[3]使用支持向量機(support vector machine,SVM)模型并應用于交通流預測,取得了良好的效果。研究者使用改進貝葉斯模型[4-5]的方法,實現了預測精度的提高。

近年來,隨著圖卷積神經網絡(graph convolution network,GCN)[9]和Transformer[10]模型的不斷發展,越來越多的學者開始將這兩種方法應用于交通流預測領域,以綜合考慮交通數據的時間和空間相關性。

在國外,Ali等[11]利用GCN和LSTM分別對交通流預測問題中的時間和空間相關性進行建模。為了模擬路網中復雜的空間關系,Djenouri等[12]在物聯網環境下,使用GCN對城市路網的交通流進行了預測。Reza等[13]提出了一種基于多頭注意力機制的Transformer模型,用于捕捉交通流的時空相關性。Shuvro等[14]為了捕捉交通流的時空相關性,引入基于二維多頭注意力機制的2D-Transformer模型。Xu等[15]提出了時空Transformer網絡(spatial-temporal transformer network,STTN)模型預測交通流,STTN利用空間變換網絡的自注意力機制對空間相關性進行建模,利用時間轉換器來模擬時間相關性。

在國內,為了預測城市路網交通流,張建旭等[16]提出一種多因子融合時空圖神經網絡,分別使用GCN和GRU對空間相關性和時間相關性進行建模。劉志等[17]設計了一個時空動態循環圖卷積框架,通過圖卷積層和全連接層來建模交通流預測中的時空關系。周楚昊等[18]提出了一種多通道Transformer交通流預測方法。將Transformer模型提取交通數據的內在規律,使用注意力融合時空特征。汪鳴等[19]提出了一個時空圖網絡模型。使用GCN和變體Transformer分別捕獲數據中的時間和空間相關性,并通過門控融合機制將時空特征進行融合。夏英等[20]提出了一種基于時空注意力卷積神經網絡的交通流量預測模型,由門控時間卷積網絡模塊用于獲取交通流的動態相關性,采用空間注意力機制與GCN結合提取路網的空間動態相關性。盡管上述方法在解決交通流預測問題方面取得了一定進展,但GCN在處理復雜的空間路網圖時存在不足,難以有效區分具有不同鄰域結構但相同空間路網結構的節點,因此未能充分提取交通流數據的空間特征。

為解決上述問題,現提出一種基于圖Transformer(Graformer)的交通流預測方法,將多條路段的交通狀態預測問題轉化為圖節點狀態預測問題。首先,Graformer模型利用LSTM挖掘交通流的時間特征。接著,采用帶邊的圖同構網絡(graph isomorphism network with edges,GINE)[21]對空間路網結構進行分析,并對具有相同空間路網結構的節點進行分類。此外,通過Transformer中的全局注意力機制對全部交通節點進行加權平均,生成全局特征。最終,將GINE與Transformer的輸出進行聚合,獲得交通流數據的全局空間特征。為驗證模型的有效性,利用PeMS數據集對Graformer進行了驗證,并與其他預測模型進行了性能比較。

1 圖Transformer模型

1.1 交通流量預測問題定義

圖1 空間路網結構圖Fig.1 Spatial road network structure diagram

(1)

1.2 Graformer模型框架

如圖2所示,模型包含一個時間相關性模塊、一個空間相關性模塊以及一個全連接層。為充分捕獲交通數據的時空相關性,時間相關性模塊采用2層LSTM,以有效解決一維卷積在處理長時間序列時出現的梯度消失問題。空間相關性模塊由一個消息傳遞圖神經網絡(message-passing graph neural networks,MPNN)模塊、一個全局注意力模塊Transformer組成以及一個多層感知器(multi-layer perceptron,MLP)模塊。其中,MPNN模塊采用GINE。Transformer模塊作為全局注意力模塊,將GINE與Transformer輸出的數據整合輸入進MLP模塊。在各功能模塊中采用殘差連接,并進行批量歸一化(batch norm)。最后,通過一個全連接層(即圖2的Linear層)輸出路網上所有路段的交通流。

L為空間相關性的層數;Xl為交通流數據的節點特征;El為交通流數據的邊緣特征;為全局注意力模塊輸出的節點;為MPNN模塊輸出的節點;Xl+1為空間相關性模塊輸出的節點特征;El+1為空間相關性模塊輸出的邊緣特征 圖2 Graformer模型框架圖Fig.2 Structure of Graformer model

1.2.1 時間相關性建模

本文研究中使用2層的LSTM網絡去捕獲交通流的時間相關性。LSTM的單元結構包括輸入門、遺忘門和輸出門,如圖3所示。輸入門激活新的輸入信息并控制需要更新的信息;遺忘門確定丟棄上一時刻的狀態信息量;輸出門控制可以導出當前單元狀態的信息,LSTM單元的描述公式為

xt為當前時刻輸入數據;Ct-1為上一時刻的單元狀態;Ct為當前時刻的單元狀態;ot為輸出門的輸出;it為輸入門的輸出;ft為遺忘門的輸出;σ為sigmoid激活函數;tanh為激活函數;ht-1為上一時刻的隱藏狀態;ht為當前時刻的輸出結果圖3 LSTM神經網絡圖Fig.3 LSTM neural network diagram

ft=σ(Wf[ht-1,xt]+bf)

(2)

it=σ(Wi[ht-1,xt]+bi)

(3)

οt=σ(Wο[ht-1,xt]+bο)

(4)

(5)

(6)

ht=οttanh(Ct)

(7)

本文研究中采用的是2層LSTM網絡,輸入的數據為Xt-T+1,…,Xt-1,Xt,第一層網絡的輸出作為第二層LSTM網絡的輸入,再經過第二層LSTM網絡得到輸出結果。

1.2.2 空間相關性建模

對于實際的交通圖數據集,交通路網在空間上表現出復雜的連接結構,空間路網結構為交通流時空相關性信息提供了豐富的來源。但是具有不同鄰域結構但有相同空間路網圖的節點會使得提取空間特征不充分,為了充分捕獲交通流的空間相關性,提出了Graformer模型,該模型基于圖同構網絡(graph isomorphism network with edges,GINE)和注意力機制(即Transformer),處理節點及其相鄰節點的時間和空間信息。GINE節點更新過程如圖4所示。

圖4 GINE中節點更新過程Fig.4 Node update process in GINE

在GINE中,空間網絡結構圖G=(V,E,A)表示對于v∈V具有節點特征Xv,對于(u,v)∈E具有邊屬性euv。空間路網結構圖的原始節點特征和邊緣特征都是二維分類向量,分別表示為節點v和邊緣e的(iv,1,iv,2)和(je,1,je,2)。本文研究中引入了唯一的類別來指示掩碼節點和邊以及自循環邊,作為GINE的輸入特征,首先通過以下方式嵌入分類向量。

(8)

(9)

由圖4所示,在第l層,GINE將節點特征更新為此節點的邊緣特征以及節點在上一GINE層激活值的聚合,再將聚合得到的節點特征輸入MLP中更新節點,GINE更新節點方式為

(10)

要區分同構的空間路網圖,通過每一層GINE獲得節點的特征后,還需要獲取整個圖的特征。常利用READOUT函數(求和、求平均值和求最大值)將節點特征轉化成圖特征,使用READOUT的平均函數,通過對最后一層處的節點嵌入進行平均,然后將中心節點vcenter的嵌入和單個GINE層更新后得到的節點特征連接起來獲得圖特征hG。其中,MEAN函數為平均函數,CONCAT是連接函數。

(11)

在第l層的GINE中,一個節點包含和本節點在l層以內所有節點的信息,更深的GINE層中節點的特征可以提取以該節點為中心的更大的子圖結構信息,利用GINE的圖特征表示,可以獲得更多圖上信息,在最后一層,通過MEAN函數和CONCAT函數獲得圖特征表達。

在提取空間特征時使用Transformer模型中的多頭注意力機制,具體來說,多頭在注意力機制用不同的、學習過的線性投影將查詢值Q、鍵值K和值V線性投影h次,分別投影到dk和dv維度。然后,在這些Q、K和V的投影版本中的每一個上執行注意力函數,生成dv維輸出值。把它們連接起來并再次投影,從而產生最終值。多頭注意力機制計算如圖5所示,多頭注意力機制計算公式為

圖5 多頭注意力機制計算示意圖Fig.5 Schematic diagram for calculation of multi-head attention mechanism

MultiHead(Q,K,V)=Concat(head1,head2,…,headh)WO

(12)

(13)

Graformer結合了MPNN和全局注意層組合的處理模塊。處理模塊定義了一個計算圖,允許在MPNN和Transformer的全局注意力之間實現平衡,包括線性節點數量的注意機制。MPNN模塊采用GINE,其作用于具有邊緣特征的給定節點的鄰域。全局注意力模塊使用的是Transformer模型,它處理不帶邊緣特征的可變數量輸入節點。在每一層中,通過將MPNN模塊的輸出與全局注意力模塊Transformer的輸出聚合來更新特征,邊緣特征僅傳遞給MPNN模塊。具有全局注意機制的Transformer與MPNN層相互交織,實現了一輪局部鄰域聚合,實現了迭代的局部和全局交互。Transformer允許信息通過全連接在圖中傳播,從而解決了過度平滑導致的表達性問題。在全局注意力機制中,Q-K-V機制僅顯式依賴于節點特征,而MPNN進行了有效的表示編碼,節點特征可以隱式編碼邊緣信息,因此邊在Q、K或V中發揮作用。

在MPNN模塊、全局注意力模塊以及MLP模塊之后,使用殘差連接,并對輸出進行batch norm。在兩層MLP塊中,使用ReLU激活函數,其內部隱藏維數為層輸入特征維數dl的兩倍。與Transfor-mer模型類似,Graformer模塊的輸入和輸出維數作為一個整體是相同的。Graformer模塊的計算公式為

Xl+1,El+1=Graformerl(Xl,El,A)

(13)

(14)

(15)

(16)

(17)

(18)

2 實驗

2.1 數據集

采用PeMS交通數據驗證所提出的Graformer模型的預測能力。PeMS交通流量數據集來源于加利福尼亞州高速公路系統中部署的15 000多個獨立探測器,數據采集頻率為30 s。研究區域如圖6所示,紅色節點表示數據采集傳感器。本文研究使用的交通流量數據來自第7區,數據以5 min為間隔被重新采樣。以5 min的采集間隔得到的交通數據比較精細,可以得到較為平滑的數據,同時又獲得了交通流量變化的趨勢,及時反映了交通狀況的變化,可以對交通數據分析與預測提供合適的時間尺度。短于5 min會導致數據噪聲增加,變得復雜不易處理。長于5 min會導致信息丟失,模型無法捕捉到交通流短期變化。數據集包含365 d內從1 740個數據采集傳感器收集的交通流量數據,其中,80%數據作為訓練數據集,10%數據用于測試數據集,其余10%數據作為驗證數據集。

圖6 加利福尼亞州第7區的研究區域Fig.6 Study area in California district 7

2.2 實驗設置

為驗證模型有效性并對預測結果進行對比分析,應用3種廣泛的指標來評估模型的預測性能,即平均絕對誤差(mean absolute error,MAE)、平均絕對百分比誤差(mean absolute percentage error,MAPE)和均方根誤差(root mean square error,RMSE)。這些評價指標的計算公式為

(1)平均絕對誤差為

(19)

(2)平均絕對百分比誤差為

(20)

(3)均方根誤差為

(21)

采用PyTorch開發所述模型,PyTorch使用的是動態圖數據,允許修改計算圖,更易于調試和實驗,而TensorFlow和Keras使用的是靜態圖數據,需要在圖構建之前定義整個計算圖,同時PyTorch可以靈活的定義層,損失函數和優化器,有利于實驗的進行。所有數值實驗均在一臺配備有3.2 GHz英特爾Core i7 CPU,64 GB內存以及1個NVIDIA TITAN Xp顯卡的臺式計算機上進行。實驗參數包括:Graformer模塊中的注意力個數K=2,Dropout層的丟棄率為0.25,Graformer層數L=3;訓練200個輪次;批次大小(batch size)為32;本文研究中采用Adam優化器訓練模型,Adam優化器相較于其他優化器,可以自適應調整學習率,不同參數可以有不同的學習率,從而適應數據的不同特征。初始學習率為0.001,但是模型的學習率并不是固定的,在訓練模型的過程中,Adam優化器中學習率是動態變化的,以適應訓練模型過程中的變化。

2.3 實驗結果及分析

為了評估Graformer模型的預測性能,引入如下幾種方法進行對比。

(1)歷史平均模型(history average,HA):HA利用前12 h交通流數據的平均值來預測節點的交通流。

(2)支持向量機(support vector machines, SVM):SVM是一種監督機器學習方法,廣泛應用于分類、回歸、信號處理等領域。依據結構風險最小化原則,SVM能處理非線性、高維及凸二次規劃問題。SVM模型以一條路段的交通流數據為輸入,在考慮交通狀態時間相關性的前提下預測該路段交通流量。

(3)k近鄰(k-nearest neighbors,KNN):KNN是一種用于分類和回歸的非參數方法。算法包含4個步驟:建立歷史交通數據庫、定義兩種交通模式間的相似性、搜索k個最近鄰并執行預測任務。KNN模型在預測路段交通流時僅考慮交通狀態的時間相關性。

(4)LSTM:LSTM模型每次僅預測一條路段的交通流。該模型僅考慮交通狀態的時間相關性。

(5)T-GCN:T-GCN是一種多層神經網絡,利用兩層圖卷積網絡聚合一階和二階鄰居的空間信息提取特征。T-GCN通過捕捉交通數據的時空相關性來預測路網交通流。

(6)GAT-GRU:GAT-GRU模型在利用格蘭杰因果關系算法和圖注意力機制動態提取交通流數據的空間特征;采用GRU編碼-解碼器提取交通流數據的時間特征;最后,對路網各個路段的交通流進行同步預測。

表1表示了不同模型預測15 min交通流性能結果,圖7表示了Graformer模型在3條路段上預測15 min交通流的預測值與真實值的對比。

表1 不同模型預測15 min交通流性能對比Table 1 Comparison of 15-minute traffic flow performance predicted by different models

圖7 Graformer模型在3條路段上的預測結果Fig.7 Prediction results of the Graformer model on three road sections

由表1可知,基于評估指標,Graformer模型在PeMS數據集上針對非線性和復雜交通流量數據實現了較好的預測效果。傳統方法HA、KNN和SVM模型對交通流數據建模能力有限,因此預測效果較差。盡管LSTM是傳統的深度學習模型,但因僅考慮交通流量數據的時間相關性,而未充分挖掘空間相關性,其預測效果并不理想。

由于交通流數據具有時間相關性和空間相關性,因此在路網層面對交通數據進行建模時,應同時考慮這兩方面。T-GCN在時空建模方面相較于傳統深度學習模型已有顯著提升,但其并未深度挖掘高階相鄰節點的空間信息。因此,T-GCN的預測效果尚有提升空間。盡管GAT-GRU模型充分考慮了交通流的時空特性,并在預測性能上表現良好,但仍不如Graformer模型。主要原因有兩點:一是在處理大量交通數據時,LSTM往往優于參數較簡單的GRU;二是Graformer模型中的全局注意力機制在確定不同節點權重方面要優于簡單的GAT模型。因此,本文模型在交通流預測方面具有良好效果。由圖7可知,Graformer模型在3個路段上上對未來交通流的預測值均接近真實值,顯示出較好的預測效果。表2展示了不同模型在預測30、45、60 min交通流的性能對比。

表2 不同模型預測30、45、60 min交通流的性能對比Table 2 Performance comparison of different models predicting 30, 45, 60 minutes traffic flow

由表2可知,在同時考慮時空相關性的模型中,本文提出的模型在30、45、60 min的預測結果上均優于對比模型。隨著預測時間的延長,交通流預測誤差逐漸增大。在60 min的長期預測中,相較于在PeMS數據集上表現良好的GAT-GRU模型,Graformer在MAE、MAPE和RMSE上分別降低了1.65、3.07和3.84。

由圖8可知,傳統的深度學習模型LSTM在建模時較為單一,預測效果較差,且在不同步長中預測評價指標趨于平滑。T-GCN、GAT-GRU和Graformer模型隨著預測時間的增加,預測精度逐漸下降。GAT-GRU模型在不同步長的預測評價指標優于T-GCN模型,而Graformer模型在各時間步長上的評價指標均優于其他對比模型。

圖8 不同模型預測15、30、45、60 min交通流的性能對比Fig.8 Performance comparison of different models for predicting traffic flow in 15, 30, 45, and 60 minutes

2.4 模型擴展能力驗證

為了驗證Graformer模型的性能,本節選擇長沙市中心的道路網作為研究區域。道路分布如圖9示,包括9個信號交叉口和24條路段,路段ID來自長沙市交警支隊的交通信息管理系統。每2 min對這些路段上出租車的GPS數據進行采樣,以估計交通信息。數據屬性包括路段ID、數據采集時間、交通速度等。這些交通數據收集于2017年11月,將其中27 d的完整交通數據作為實驗數據。這些數據進一步分為三部分:前25 d的數據作為訓練數據集,第26天和第27天的數據分別作為驗證數據集以及測試數據集,以測試Graformer的預測性能。

圖9 研究區域的道路分布圖Fig.9 Road distribution map of the study area

表3示了7個模型在長沙數據集上預測結果的平均MAE、MAPE、RMSE。可以看出Graformer模型的MAE、MAPE和RMSE最小,分別為3.64、13.47%和5.16。具體而言,相較于深度學習模型, KNN和SVM模型預測準確度較低。和其他深度學習模型LSTM、T-GCN和GAT-GRU相比,Graformer模型在預測交通流方面顯示了其優異的模型性能。

表3 不同模型在長沙數據集預測15 min交通流性能對比Table 3 Comparison of performance of different models in predicting 15-minute traffic flow in the Changsha dataset

綜上所述,Graformer模型在不同國家地區交通網絡結構的數據集上表現出了良好的預測性能,具有良好的擴展能力。

2.5 消融性實驗分析

為了評估模型中注意力的個數對交通預測的有效性,網絡結構設置了注意力個數K。注意力個數K對交通流預測效果的影響如表4所示。

表4 模型在不同的注意力個數的性能對比Table 4 Performance comparison of models in different attention headcounts

由表4可知,給模型設置不同注意力的個數在PeMS數據集上進行實驗,可得模型適當的增加注意力的個數,在一定程度上有利于提高交通流預測精度,但是注意力的個數太多也會導致模型精度的降低,綜合來看注意力的個數取K=2最適合模型預測精度的提升。

2.6 敏感性實驗分析

表5展示了空間相關性模塊中Graformer層數L對模型性能的影響。在PeMS數據集上的實驗結果表明,隨著層數L的增加,模型預測性能先增加后降低。這說明適當增加Graformer層數有利于提高模型精度,但過多的層數可能導致預測精度降低。綜合來看,Graformer層數L=3最適合模型預測精度的升。由圖10可知,在批次大小為32時,模型預測精度最高。

表5 Graformer層數對模型性能的影響Table 5 Impact of the number of Graformer layer on model performance

圖10 批次大小對模型性能的影響Fig.10 Impact of batch size on model performance

圖11展示了Dropout層丟棄率對模型性能的影響,在PeMS數據集上實驗結果表明,Dropout層丟棄率對于有利于增強模型的魯棒性,防止模型過擬合,使模型更具有泛化能力。本文研究的Dropout層丟棄率設置范圍在0.10～0.50,以預測未來15 min交通流量性能作為對比。由圖11可知,當Dropout層丟棄率為0.25時,模型的MAPE最小,因此,Dropout層丟棄率確定為0.25。

圖11 Dropout層丟棄率對模型性能的影響Fig.11 Impact of dropout rates of the dropout layer on model performance

3 結論

為了利用交通網絡中傳感器節點間的空間相關性和交通流量數據的時間周期特性,提出了一種基于注意力機制的Graformer模型,旨在提高交通流量預測精度。該模型采用了GINE學習空間路網結構圖的節點特征,有效地捕捉交通數據的空間信息,并將相同結構的空間路網結構圖進行分類,并結合Transformer的全局注意力機制,以更準確地捕捉節點之間的影響力。同時,模型實現了自適應權重匹配不同鄰居節點,并通過迭代的局部和全局交互,充分挖掘交通流量的動態空間相關性特征。同時,通過引入LSTM有效捕捉交通數據中的時間相關性,進一步增強模型的表征能力。在PeMS數據集和長沙數據集上的對比實驗中,Graformer模型在預測精度上均優于其他模型。

在未來的研究中,將考慮天氣狀況和交通事故等因素對預測結果的影響,并且將這些因素轉換成模型可以訓練的特征,使模型預測結果更符合真實世界的交通場景。