基于圖注意力網絡的交通流量時空預測模型

王博文，王景升

(中國人民公安大學 交通管理學院,北京 100038)

0 引言

機動車是人們生活中的重要出行方式之一。近年來，機動車數量的急劇增加導致交通擁堵、噪音及尾氣排放問題日益嚴重，給相關部門的管理工作造成了極大壓力。為實現準確的交通控制與交通誘導，構建科學理性的管控機制，智能交通系統(Intelligent Traffic System,ITS)應運而生。ITS是解決緩解交通擁堵、提升道路通行能力的有效途徑，而對交通流量參數進行較為準確的預測工作是輔助ITS進行長、短期決策任務的關鍵。

短時交通流量預測是近年來的熱點話題，早期的研究學者多使用統計學模型、機器學習模型及基準深度學習模型進行建模。統計學模型如季節性自回歸積分滑動平均(Autoregressive Integrated Moving Average,ARIMA) 、卡爾曼濾波模型、指數平滑模型等[1]。Williams等[2]，開發了一種適用于季節性時間序列的ARIMA模型，并使用交通數據集對其進行測試，結果顯示ARIMA的效果優于K鄰近、歷史平均等模型。Kumar等[3]設計實現了一種基于卡爾曼濾波技術的預測方案，并證實了這種技術在小樣本量的交通流量預測任務中的表現優于ARIMA。機器學習模型如支持向量機(Support Vector Regression,SVR)[4]、K鄰近[5]、貝葉斯網絡等。Smola等[6]，概述了SVR用于時間序列預測的過程以及對大型數據集的處理方案。基準深度學習模型如長短時記憶網絡(Long Short-Term Memory,LSTM)、門控循環單元(Gated Recurrent Unit,GRU)等[7-12]。Ma等[13]將LSTM用于交通微波參測器采集的車輛行駛速度的預測上，并將其與流行的參數與非參數模型進行對比，得到LSTM在長時間序列的預測上表現出卓越的效果。Vinayakumar等[14]驗證了循環神經網絡及其變體模型在交通流量預測中的效果，試驗證明，LSTM等模型表現良好。但是統計學及機器學習模型大多都基于時間序列的變化趨勢平穩性假設，基準深度學習模型忽略了交通流量序列的時空特性。

為了同時考慮交通流量序列的時空特性，一些能夠捕捉空間特征的模型被用于交通流量預測任務。Ma等[15]將交通網絡構建為網格形式，并使用卷積神經網絡(Convolutional Neural Networks,CNN)抽象地對網絡范圍內的交通速度進行預測。隨著研究的深入，圖神經網絡(Graph Neural Network,GNN)與圖卷積神經網絡(Graph Convolutional Network,GCN)被用來彌補CNN模型空間處理能力的不足，GNN，GCN可以處理圖結構的數據，更適合道路網絡的建模。Lu等[16]首次將圖神經網絡(Graph Neural Network,GNN)與LSTM進行結合并應用于交通速度預測任務，使用GNN捕捉時空相關性。Lü等[17]GCN使用將路網構成圖結構，并使用循環神經網絡同時對時空特征進行學習，模型效果相對于對照組提升了3%到6%，證明了空間特征對于交通流量預測任務的有用性。Zhao[18]使用GCN對路網的空間特征進行捕捉并將其與現有基準模型進行試驗對比，驗證了使用GCN的有效性。但是GNN,GCN均不允許為鄰居中的不同節點指定不同的權重，限制了模型對于空間信息相關性的捕捉能力。

圖注意力網絡(Graph Attention Networks,GAT)能夠根據鄰居節點特征的不同，使其得到不同的權重，以改變信息的聚合方式，提升模型對于空間的表達能力。同時，GNN,GCN均只適用于處理無向圖，GAT所處理的圖無需是無向的。GAT處理下的目標節點只與其共享邊的節點有關，在進行訓練時無需得到整張圖的信息，訓練時間得以縮短。使用GAT獲取鄰居信息后將數據輸入標準卷積結構用于在時間維度上進一步合并時間步信息。

除此之外，交通流序列包括交通流量、速度、占有率等多個因素，各個因素之間相互影響，準確進行交通流量預測要充分挖掘交通流量序列之間的非線性關系。

基于此，本研究提出一種基于圖注意力網絡的交通流量時空預測模型，命名為ST-GATC。主要的貢獻點如下：

(1)同時考慮了時空維度。將交通網絡建模為有向圖的形式，提高了拓撲結構的可解釋性。使用圖注意力網絡及標準卷積分別對空間、時間維度進行特征提取，在使用圖注意力網絡時采用多頭注意力機制，提高了模型的預測效果。

(2)在輸入層，同時將多個交通流量變量作為輸入，挖掘交通流量序列中的非線性關系，以提高模型的擬合效果。

(3)在模型評價方面，將多個模型作為對照組，試驗結果表明，ST-GATC模型對于交通流量序列的擬合效果優于對照組模型。

1 圖結構的建模

對于道路網絡中的節點進行信息聚合時，應當考慮到相鄰接點的可達性及上下游關系的影響。因此本研究將道路網絡建模為有向圖結構，定義邊集為E，頂點集為V，得到路網的拓撲結構為G=(V,E)。定義圖的鄰接矩陣為A，則Gt=(Vt,E,A)為第t個時間步時的圖，Vt為其點集。節點為n的圖的鄰接矩陣A表示為：

(1)

式中，aij為節點i與j的可達性及上下游關系；若節點i為j的上游節點，則aij=1，aji=0。

2 ST-GATC模型

ST-GATC模型的結構如圖1所示。ST-GATC模型的輸入層為多個交通流量因素的輸入，數據順序通過時間模塊、空間模塊及輸出層后計算預測值與真實值的距離不斷更新網絡中的參數。

圖1 ST-GATC模型的結構Fig.1 Structure of ST-GATC model

2.1 多因素輸入

交通流量序列包括交通流量、占有率、平均速度等多個因素，各個因素之間相互影響，準確進行交通流量預測要充分挖掘交通流量序列之間的非線性關系。本研究將交通流量、平均速度、時間占有率同時納入模型，以挖掘交通流量多個特征之間的非線性關系，對交通流量進行準確預測。

2.2 時間模塊

在時間維度采用標準的一維卷積對時間步的特征進行聚合。相比于LSTM，GRU模型，一維卷積在訓練時不依賴于之前的輸出，不需要迭代，計算量較小，時間復雜度低。一維卷積操作原理如圖2所示。

圖2 一維卷積操作Fig.2 One-dimensional convolution operation

設輸入數據為X，每個頂點的特征長度為Ci，時間步長為M。沿著時間維度在無padding的情況下進行大小為一維的卷積操作，將輸入的X映射為矩陣Y,時間維度的輸出為：

Y=Conv(X)。

(2)

2.3 空間模塊

GNN，GCN均不允許為鄰居中的不同節點指定不同的權重，限制了模型對于空間信息相關性的捕捉能力。GAT可以采用注意力機制使鄰接節點根據自身特征的不同得到不同的權重。

因此在空間維度使用GAT對有向圖進行處理，并使用多頭自注意力機制使每個注意力機制分別處理一個子空間，為目標節點的不同鄰接節點分配不同的注意力權重，降低模型的過擬合風險，提高模型對于空間維度的表達能力。GAT模型的結構如圖3所示。

圖3 GAT模型的結構Fig.3 Structure of GAT model

將時間模塊的輸出Y作為空間模塊的輸入：

Y={y1,y2,…,yN}，

(3)

式中yN為節點N經時間模塊輸出后的特征向量。

空間模塊的輸出為：

(4)

設將輸入特征轉化為輸出特征的權重矩陣W，則節點j在節點i上的注意力值為：

eij=a(Wyi,Wj)，

(5)

式中a(·)為計算節點相關性的函數。

使用LeakyReLU函數對其進行激活：

eij=LeakyReLU(aT[Wyi‖Wyj])

，(6)

式中LeakyReLU(·)為激活函數。

求出節點i所有鄰接節點的注意力值，使用softmax函數對注意力權重進行歸一化操作：

αij=softmax(eij)=

(7)

式中，LeakyReLU(·)為激活函數；a為待學習的向量；aT為向量a的轉置；‖為拼接操作。

通過圖注意力層，使用加權求和的方法進行特征提取，模型的輸出結果為：

(8)

式中，σ(·)為激活函數；αij為節點i在節點j上的注意力值。

若使用多頭注意力網絡，則獨立計算k組注意力系數后進行平均。模型的輸出結果為：

(9)

式中αkij為節點i在節點j上第k組注意力值。

輸出層是一個全連接層，最終預測結果為：

(10)

式中，Y′為空間模塊的輸出；w為全連接層的參數矩陣；b為偏置。

損失函數是預測值和真實值的距離度量：

(11)

3 實例驗證

3.1 數據來源

數據來源于美國加利福尼亞州，取洛杉磯市第4區高速公路中307個檢測點的數據作為本研究的樣本，簡稱PEMS-04，交通流量因素包括交通流量、速度、時間占有率，采樣時間間隔為5 min。

3.2 數據分析與預處理

數據規約。以5 min為樣本時間間隔對數據進行匯集，處理后每天包含288個時間切片。數據輸入模型前使用min-max歸一化將交通流量數據映射到[0,1]，在經過訓練及測試后將預測結果反歸一化后進行輸出。設x為交通流量原始數據，xmin為某個交通流量字段的最小值，xmax為上述同一個交通流量字段的最大值，則標準化后的數據為：

(12)

建立道路網絡時空有向圖。通過分析道路網絡中各節點之間的可達性及上下游關系，通過使用鄰接矩陣，將道路網絡中307個節點相關聯構建時空有向圖。

劃分訓練集和測試集。使用前45 d的數據作為訓練集，后14 d的數據作為測試集。

3.3 模型建立

3.3.1 模型的參數設置

文中深度學習模型的建立均使用Python語言、Pytorch框架。本研究提出的模型ST-GATC使用反向傳播機制，數據經過預處理模塊后進入輸入層，輸入層維度為2；對于時間模塊，數據經過一個卷積核為(1,3)，輸出通道數為64的標準卷積，在無padding的情況下進行卷積操作；對于空間模塊，輸入通道數為6×64，隱藏層通道數為6，輸出層通道數為2，注意力頭數為3。

對照組模型的隱藏層個數均為1。深度學習模型的Beach size均為64，損失函數為MSE，學習率為0.001，Epoch為1 000，其他參數均為默認值。

3.3.2 模型的評價指標

(14)

(15)

3.3.3 試驗結果

使用PEMS-04數據集對各個模型的效果進行實例驗證。分別使用試驗組與對照組模型對數據進行訓練、測試后，模型在測試集上的RMSE與MAE詳見表1。對照組模型的輸入因素均為交通流量，試驗組ST-GATC模型的輸入維度為2，分別為交通流量、平均速度。

表1 試驗組與對照組模型在測試集上的RMSE與MAE值Tab.1 RMSE and MAE values of experimental and control models on test set

在PEMS-04數據集上，與對照組模型相比，ST-GATC模型的RMSE降低了約0.571～9.288，MAE降低約0.314～7.678，證明了ST-GATC模型在交通流量預測任務上具有較為優秀的性能。除此之外，相較于僅考慮空間維度建模的GCN，GAT，ST-GATC模型擁有更小的RMSE與MAE，說明時間維度建模的有效性。包含注意力機制的圖結構網絡GAT在預測效果上要優于不包含注意力機制的圖結構網絡GCN，說明了使用注意力機制后模型的預測效果有所提升。相較于僅考慮時間維度相關性的RNN，LSTM，GRU，ST-GATC模型的擬合效果更好，證明了空間維度建模的有效性。

各個模型的擬合曲線分別如圖4所示。由圖4得，不論在交通流量序列的波峰還是波谷，相較于對照組模型，ST-GATC模型的預測曲線都能夠更好地與交通流量的真實值曲線相擬合。

圖4 各個模型在一個節點上的測試集上的擬合曲線Fig.4 Fitting curves of each model on test set at one node

3.3.3.1 注意力頭數試驗

在PEMS-04數據集上，通過注意力頭數試驗驗證ST-GATC模型注意力頭數選取的合理性。設置ST-GATC模型的輸入維度為2；卷積核大小為3，時間維度輸入為2，分別是交通流量、平均速度，隱藏層神經元個數(時間維度輸出個數)為64；空間維度輸入層通道數為6×64，隱藏層通道數為6，輸出層通道數為2，注意力頭數分別設置為1，2，3，5，16。ST-GATC模型的RMSE,MAE值詳見表2。

表2 注意力頭數分別設置為特定值時，ST-GATC模型的評價結果Tab.2 Evaluation result of ST-GATC model when numbers of attention heads are set to specific values

對注意力頭數分別設置為1，2，3，5，16時ST-GATC模型的評價結果進行可視化分析，RMSE及MAE值的趨勢分別如圖5、圖6所示。

圖5 注意力頭數分別設置為特定值時，ST-GATC模型的評價結果(RMSE) Fig.5 Evaluation result (RMSE) of ST-GATC model when numbers of attention heads are set to specific values

圖6 注意力頭數分別設置為特定值時，ST-GATC模型的評價結果(MAE)Fig.6 Evaluation result (MAE) of ST-GATC model when numbers of attention heads are set to specific values

圖5、圖6得，模型的RMSE,MAE值隨著注意力頭數的增加呈現出先下降后上升的趨勢，當注意力頭數為3時模型的RMSE與MAE值均為最低，模型的預測效果優秀，因此注意力頭數選取3。

3.3.3.2 神經元數量試驗

在PEMS-04數據集上，通過神經元數量試驗驗證ST-GATC模型神經元數量選取的合理性。設置模型的輸入維度為2；卷積核大小為3，時間維度輸入為2，隱藏層神經元個數(時間維度輸出個數)分別為8，64，128，256；空間維度輸入層通道數對應分別為6×8，6×64，6×128，6×256，隱藏層通道數為6，輸出層通道數為2，注意力頭數分別設置為3。神經元數量試驗結果詳見表3。

表3 神經元數量分別設置為特定值時，ST-GATC模型的評價結果Tab.3 Evaluation result of ST-GATC model when numbers of neurons are set to specific values

神經元數量分別設置為8，64，128，256時，ST-GATC模型的評價結果進行可視化分析，RMSE及MAE值的趨勢分別如圖7～8所示。由圖7～8得，模型的預測效果隨著神經元數量的增加呈現出先下降后上升再下降的趨勢，當神經元數量為64時模型的RMSE與MAE值均為最低，因此神經元數量選取64。

圖7 神經元數量分別設置為特定值時，ST-GATC模型的評價結果(RMSE)Fig.7 Evaluation result (RMSE) of ST-GATC model when numbers of neurons are set to specific values

圖8 神經元數量分別設置為特定值時，ST-GATC模型的評價結果(MAE)Fig.8 Evaluation result (MAE) of ST-GATC model when numbers of neurons are set to specific values

3.3.3.3 因素數量試驗

在PEMS-04數據集上，通過因素數量試驗驗證ST-GATC模型因素數量試驗選取的合理性。模型的輸入維度分別為1，2，3，輸入維度為2時，分為輸入因素為交通流量和時間占有率，記為2_VO，輸入因素為交通流量和平均速度，記為2_VS；卷積核大小為3，時間維度輸入對應分別為1，2，3，隱藏層神經元個數(時間維度輸出個數)為64；空間維度輸入層通道數為6×64，隱藏層通道數為6，輸出層通道數分別為1，2，3，注意力頭數設置為3，因素數量試驗結果詳見表4。

表4 模型的輸入維度分別設置為特定值時，ST-GATC模型的評價結果Tab.4 Evaluation result of ST-GATC model when input dimensions of e model are set to a specific values

模型的輸入維度分別為1，2，3時，ST-GATC模型的評價結果進行可視化分析，RMSE及MAE值的變化趨勢分別如圖9～10所示。

圖9 模型的輸入維度為特定值時，ST-GATC模型的評價結果(RMSE)Fig.9 Evaluation result (RMSE) of ST-GATC model when input dimensions of model are set to specific values

圖10 模型的輸入維度為特定值時，ST-GATC模型的評價結果(MAE)Fig.10 Evaluation result (MAE) of ST-GATC model when input dimensions of model are set to specific values

由圖9～10得，模型的擬合效果隨著輸入維度的不同而變化，在輸入維度為2，即交通流量、平均速度時模型具備較低的RMSE及MAE，因此模型的輸入維度選取2，即將交通流量、平均速度納入模型。

綜上所述，ST-GATC模型在輸入維度為2，即交通流量、平均速度，注意力頭數為3，隱藏層神經元個數為64時具備較為優秀的預測效果，所以依照該方法選定模型參數。

4 結論

本研究構建了一種有效的交通流量時空預測模型，命名為ST-GATC，并將多個模型作為對照組進行試驗驗證。

(1)同時考慮了時空維度。將交通網絡建模為有向圖的形式，提高了拓撲結構的可解釋性。使用圖注意力網絡及標準卷積分別對空間、時間維度進行特征提取，在使用圖注意力網絡時采用多頭注意力機制，提高了模型的預測效果。

(2)在輸入層，同時將多個交通流量變量作為輸入，挖掘交通流量序列中的非線性關系，以提高模型的擬合效果。

(3)在模型評價方面，將多個模型作為對照組，試驗結果表明，ST-GATC模型對于交通流量序列的擬合效果優于對照組模型。