基于時空注意力圖卷積神經網絡的交通速度預測

黃偉堅 李春貴

摘? 要：交通速度是衡量交通狀態的一個重要指標，實時、準確的交通速度預測是構建智能交通系統的重要一環。針對交通速度存在隨機性、非線性、時空相關性等問題，提出了一種新的基于注意力機制和圖卷積神經網絡相結合的交通速度預測模型。首先，使用注意力機制構建時空注意力權重矩陣，再聯合圖卷積方法捕獲交通信息中的空間相關性特征;然后，通過門控時卷積的方法獲取時間相關性;最后，將所提模型與其他5個基準模型分別在2組公開的交通速度數據集上進行預測。實驗結果表明，該預測模型在2個數據集上的準確率分別為75.1%和86.6%，比先進的基準模型的準確率高3%左右。說明所提模型具有較高的準確率和穩定性，可為交通管理提供科學依據。

關鍵詞：交通速度預測;注意力機制;圖卷積;時空相關性

中圖分類號：TP183;U491.2? ? ? ? ? ? ? ? DOI：10.16375/j.cnki.cn45-1395/t.2022.01.009

0? ? 引言

交通在日常生活當中起著至關重要的作用，構建健康有序的智能交通管理系統，緩解交通擁堵成為了當今社會的迫切需求。交通速度是反映交通狀況的一個重要因素，精準的交通速度預測不僅可以為交通管理者提供科學的交通規劃依據，還可以為出行者規劃出行路線，從而有效地緩解交通擁堵問題。交通速度作為交通流的主要參數，反映交通路網的服務水平。然而，由于交通路網在不同時段的交通道路之間存在著不同的交通狀態，在路網中不同位置的車輛速度也存在顯著的差異性，因此，交通速度具有復雜的時空相關性。

目前常見的交通預測模型分為3大類：基于統計理論方法的模型、基于傳統機器學習方法的模型、基于深度學習方法的模型。隨著互聯網的發展和大數據時代的到來，交通數據量急劇增長，一些傳統的交通預測方法難以在智能交通的實際應用中達到滿意的效果，因此，基于深度學習的算法模型成為了研究熱點。近年來，基于神經網絡方法的循環神經網絡（RNN）在自然語言處理領域中應用甚廣。Ma等[1]首次提出了將長短期記憶網絡（LSTM）應用于交通速度預測，利用循環神經網絡捕獲交通速度在不同時間片段中的潛在相關性，并取得不錯的預測效果。Fu等[2]利用LSTM和門控循環神經網絡（GRU）進行短時交通流預測，實驗結果表明，基于LSTM和GRU等循環神經網絡的預測效果優于傳統的時間序列模型。秦勝君等[3]提出基于LSTM模型的交通軌跡異常挖掘模型，提高了異常檢測的精度。雖然循環神經網絡常被用于處理時序數據，但其本身存在著梯度消失和梯度爆炸的風險。為了同時捕獲交通數據中的空間相關性和時間相關性，羅文慧等[4]通過結合卷積神經網絡（CNN）和支持向量回歸（SVR）的方法用于交通流預測，利用一維CNN來捕獲交通路網下的空間相關性，通過SVR模型挖掘交通流量的時間變化特征。由于交通數據不是標準的網格數據，交通網絡具有復雜的拓撲結構，因此，基于CNN的預測方法具有局限性。Yu等[5]提出STGCN模型，通過使用圖神經網絡和普通一維卷積神經網絡進行交通速度預測。雖然該方法使用了圖神經網絡來捕獲交通信息的空間特征，但是，該模型在時間維度上還是延續傳統的一維卷積神經網絡，導致模型在獲取交通信息的時間相關性方面受限。為了避免傳統CNN和RNN存在的缺點，更好地捕獲交通數據中的時空相關性，本文將提出一種新的基于注意力機制和圖卷積神經網絡相結合的交通速度預測模型，用于提高交通速度預測的準確率。

1? ? 問題描述與模型構建

1.1? ?問題描述及定義

以交通速度預測作為目標。交通速度預測是指根據道路上交通速度的歷史數據來預測未來一段時間的交通速度，如式（1）所示：

[[Xt+1， Xt+2， …， Xt+P]=f（Xt?t?， …， Xt?1， Xt）]，? ? ?（1）

其中：[t?]表示輸入的時間序列長度，[P]表示被預測的時間序列長度，[X∈? N×t]為特征矩陣，[?]為實數集，[N]為道路總數，[t]為歷史數據的時間序列總長度。

交通路網具有拓撲特性，使用圖[G=（V， E， A）]來表示路網結構，如圖1所示，將每一段交通道路假設為一個節點，[V]表示所有節點的集合，[V=（v1， v2， …， vN）]，[N]為道路總數，道路之間通過邊來連接，[E]表示邊的集合。用鄰接矩陣[A∈?N×N]表示道路之間的連通關系，[Wij]表示節點[i]到節點[j]的權重關系。

1.2? ? 模型結構

由于交通速度預測問題存在著復雜的時間相關性和空間相關性，為了提高預測準確率，降低訓練誤差，提出一種新型的交通速度預測模型：基于時空注意力機制下的圖時序卷積神經網絡模型（ST-AGTCN）。ST-AGTCN包含3大模塊：1）注意力模塊，利用注意力機制模塊，通過對輸入的交通數據進行學習，從而構建出時空注意力矩陣[S'];2）GCN模塊，使用與切比雪夫多項式近似的GCN方法來獲取交通數據的空間相關性特征;3）門控時卷積模塊，通過門控時卷積捕獲交通數據的時間相關性特征。ST-AGTCN模型總體框架如圖2所示。

1.3? ?注意力模塊

由于交通路網信息隨時間動態變化，因此，在不同的時間段中，每個節點的相關性權重是動態變化的。注意力機制的核心思想是根據輸入數據自適應地關注最相關的特征。本文使用Soft-attention機制[6]，構建時空注意力權重矩陣，動態地捕獲交通速度在交通網絡上的時空相關性特征。

在時間維度上，不同時間段之間的交通速度存在著相關性。通過注意力機制對輸入數據賦予不同的時間相關性權重[7]，可根據當前的輸入數據動態調整時間注意力矩陣[W]，如式（2）所示：

[W=Vt?σ（（XTU1）U2（U3X）+bt）]，? ? ? ? ?（2）

式中：[W∈?t?×t?]是時間相關性的權重矩陣;[X∈?N×t?]是輸入的特征矩陣;[Vt， bt∈?t?×t?]、[U1∈?N]、[U2∈?C×N]、[U3∈?C]，為該注意力網絡的可學習參數;[N]為節點數;[t?]表示輸入的時間序列長度;[C]為特征通道數，在本文中，設[C]=1。

使用softmax函數對時間注意力矩陣進行歸一化處理，然后對輸入數據進行時間相關性加權處理來動態調整輸入數據，如式（3）所示：

[W'i， j=exp（Wi， j）j=1t exp（Wi， j）]，? ? ? ? ? ? ? ? ? ? ? ?（3）

[Xh=（X1， X2， …， Xt?）=（X1， X2， …， Xt?）W'] ，? ? （4）

式中：[Wi， j∈?t?×t?]表示第[i]個時間段和第[j]個時間段的交通速度的時間相關性矩陣，[Xh∈?N×C×t?]表示在時間維度上動態調整后的特征矩陣。

在空間維度上，由于不同路段之間的交通狀態互相影響，因此，使用注意力機制對不同節點構建權重矩陣，如下所示：

[S=Vs·σ（（XhQ1）Q2（Q3Xh）T+bs）]，? ? ? ? ?（5）

[S'i， j=exp（Si， j）j=1N exp（Si， j）] ，? ? ? ? ? ? ? ? ? ? （6）

其中：[S∈?N×N]是時空注意力矩陣，根據當前的 輸入動態來計算;[Vs，bs∈?N×N]、[Q1∈?t?]、[Q2∈?C×t?]、[Q3∈?C]為注意力網絡的可學習參數;[Xh∈?N×t?]是在時間維度上處理過的輸入數據，將[Xh]作為當前層的輸入，計算出時空注意力矩陣[S]，然后使用softmax函數對時空注意力矩陣進行歸一化處理;[S'i， j]矩陣元素的數值大小表示對應節點[i]和節點[j]之間時空相關性強度。基于Guo等[8]的研究，當執行圖卷積操作時，聯合注意力矩陣[S'i， j]動態提取交通數據的空間特征。

1.4? ?圖卷積模塊

如何利用交通網絡各觀測節點之間的空間相關性一直是交通預測中重點研究的問題。卷積神經網絡（CNN）在計算機視覺領域中得到了很好的應用[9]，但是CNN模型只適用于在歐式空間中處理網格數據，并不適用于具有復雜拓撲結構的交通網絡。如圖3所示，圖像數據屬于網格數據，而交通數據是具有拓撲結構的圖數據。近年來利用圖卷積神經網絡（GCN）的方法處理具有拓撲結構的圖數據受到了廣泛關注。GCN 分為2個主流派：基于頻譜圖理論的方法[10]和基于空間域的方法[11]。本文將采用基于頻譜圖理論的方法從交通數據中提取空間特征。

在譜圖分析中，圖由其對應的拉普拉斯矩陣表示。圖拉普拉斯矩陣定義為：

[L=D?A] ，? ? ? ? ? ? ? ? ? ? ? ?（7）

標準化的拉普拉斯矩陣定義為：

[L=IN?D?12AD?12=UΛUT] ，? ? ? ?（8）

式中：[IN]為單位矩陣，[A∈?N×N]為鄰接矩陣，[D∈?N×N]為度矩陣，[Λ]為[L]矩陣的特征值組成的對角矩陣。

在頻譜圖理論中，輸入特征[x∈?N×t?]被視為圖上的信號，信號[x]通過圖形傅里葉變換被變換到譜域。GCN是通過在傅里葉域中對角化的線性算子來代替經典卷積算子而實現的卷積運算[12]。信號[x]在圖上的卷積操作表示為：

[gθ?Gx=gθ（L）x=gθ（UΛUT）x=Ugθ（Λ）UTx].? （9）

如式（9）所示，[gθ]為卷積核;[?G]表示圖形的卷積運算;[L∈?N×N]，為圖拉普拉斯矩陣;[Λ∈?N×N];[UTx] 表示[x]的傅里葉變換。

當圖的規模較大時，計算[L]矩陣特征值分解的復雜度會變得很高。為了解決特征值分解計算成本高的問題，采用切比雪夫多項式近似的GCN方法有效地解決了這個問題[13]。如式（10）所示：

[gθ?Gx=gθ（L）x≈k=0k?1 θktk（L）x] ，? ? ? ?（10）

式中：[θk∈?k]是切比雪夫多項式的系數向量，[L=2L/λmax?In]，[λmax]是拉普拉斯矩陣[L]的最大特征值。切比雪夫多項式的遞歸定義為：

[tkx=2xtk?1x?tk?2x]，? ? ? ? （11）

其中：[t0x=1]，[t1x=x]。本文通過切比雪夫多項式近似方法完成圖卷積運算，將中心節點周圍0到k -1階的鄰居節點的相關信息進行聚合。

為了動態調整鄰居節點之間的相關性，將時空注意力矩陣[S'∈?N×N]與切比雪夫多項式[tk（L）]相結合。最終，GCN公式如式（12）所示：

[gθ?Gx=gθ（L）x=k=0k?1 θk（tk（L）⊙S'）x] ，? ? ? （12）

其中，[⊙]為哈達瑪積（Hadamard product）。在捕獲了節點之間的空間相關性之后，將GCN的輸出進一步堆疊到門控時卷積模塊;通過門控時卷積模塊，進一步提取交通數據在各個時間片段上的時間相關性特征。

1.5? ?門控時卷積模塊

交通數據是一組時間序列數據，有著復雜的時間相關性。傳統的CNN處理時間序列數據具有效率低、信息易泄露等風險。由于CNN只能通過不斷增加卷積層和增大卷積核的方式才能擴大感受野，所以很難提取長時間序列的時間相關性特征。常用于處理長時間序列的循環神經網絡方法有著梯度爆炸和梯度消失等缺點[14]。為了解決上述問題，受wavenet模型的啟發[15]，采用門控時卷積的方法來捕獲交通數據的時間相關性特征;使用擴張因果卷積作為時間卷積網絡（TCN），用于捕獲交通數據在時間片段上的變化趨勢，如圖4所示。

TCN通過控制擴張因子的大小和增加層的深度使感受野以指數級放大，從而減少網絡疊加層數，減少了模型的參數量。擴張因果卷積操作如式（13）表示：

[x?f（t）=s=0l?1 f（s）x（t?d×s）]，? ? ? ?（13）

式中：[x∈?t] 為當前的輸入數據;[f∈?l]為卷積操作的濾波器;[d]為擴張因子，用于控制空洞數量;[l]表示卷積所在的層數。

門控時卷積模型是基于TCN的變形。門控時卷積模型由兩部分組成，如式（14）所示：

[hout=g（Θ1?X+a）⊙σ（Θ2?X+b）]，? ? ? （14）

式中：[?]表示卷積操作;[Θ1]、[Θ2]、[a]、[b]為模型參數;[g]是一個tanh激活函數，用來增加非線性;[σ]是一個sigmoid函數，是一個濾波器，用于過濾無用信息，保留有用信息。門控時卷積模型結構如? 圖5所示，[1*1]是一個全連接層，用來調整輸入的? ?維度。

經過門控時卷積提取時間特征后，在輸出處增加一個ReLU 激活函數。之后，再經過一個全連接層，通過線性變換得出最終的輸出結果，如式（15）所示：

[Output=Linear（ReLU（hout））].? ? ? ? ?（15）

2? ? ST-AGTCN模型訓練

2.1? ?實驗數據的選取

為消除非典型車流量的影響，以工作日的交通速度作為研究目標，選取了國內和國外2個公開數據集來評估模型的預測性能。

SZ-taxi數據集：該數據集采集了深圳市羅湖區2015年1月1日—1月31日所有工作日的出租車軌跡數據，并選擇羅湖區的156條主要道路作為研究區域，將采集到的數據樣本每15 min聚合一次。該數據集包含2個數據矩陣，一個是特征矩陣X，該矩陣描述了每條道路在不同時段的交通速度，矩陣的每一行數據表示每段交通道路在該時段的交通速度，每一列數據表示同一段道路在不同時段的交通速度;另一個數據矩陣是156[×]156的鄰接矩陣A，該矩陣用0和1描述道路與道路之間的連接? ? 關系。

PeMSD7數據集：該交通速度數據集由美國加州交通運輸部在加州第七區通過228條道路的交通傳感器采集，并將采集到的數據樣本每5 min聚合一次。PeMSD7數據集記錄了加州第七區2012年5月1日—6月30日的車輛速度。該數據集包含2個數據矩陣，同上所述，一個是特征矩陣X，另一個是228[×]228的節點距離矩陣，鄰接矩陣A是根據交通路網中站點之間的距離計算的，計算公式如? ? ?式（16）所示：

[Aij=exp （?dijσ2）， i≠j and exp（?dijσ2）≥?0，? otherwise]，? （16）

式中：[Aij]表示節點[i]和節點[j]的連通關系;[dij]表示節點之間的距離;[σ2]、[?]是控制鄰接矩陣[A]的分布和稀疏性的閾值，按照經驗將2個閾值分別設置為[σ2=10]、[?=0.5]。

為了減小預測誤差，利用min-max標準化方法對原始數據進行標準化，使其落到[0，1]內，如? ? ?式（17）所示：

[z=x?xminxmax?xmin]，? ? ? ? ? ? ? ? ? ? ? （17）

式中：[z]表示歸一化后的數據，[x]為原始數據，[xmin]為原始數據的最小值，[xmax]為最大值。本文將數據集進行劃分，80%數據作為訓練集，20%數據用作測試集，通過ST-AGTCN模型預測各路段未來? ? 15 min、30 min的交通速度。

2.2? ?實驗環境與參數設定

實驗在Ubuntu20.04.2操作系統中的PyCharm2020.2.1社區版的環境下進行，Python 版本為3.7，Intel（R） Core（TM） i7-8700 CPU @ 3.20 GHz，運行內存16 GB，顯卡型號為GTX TITAN X，顯存為12 GB。使用Pytorch 深度學習框架來搭建ST-AGTCN模型，其中還使用到了數學工具包Numpy和Pandas，并將機器學習庫Scikit-learn用作屬性的預處理工作和相關機器學習模型的實現。在本實驗中，使用12個歷史觀測數據作為單次輸入大小，即[t?=12]，輸入批量大小設置為32。考慮到計算效率和預測性能的提高程度，在圖卷積模塊，對切比雪夫多項式在[k={1，2，3，4}]的情況下進行了實驗。當[k=3]時，模型訓練效果最佳。在門控時卷積模塊中的時卷積網絡中使用了8層，每層的擴張因子設置為[1，2，1，2，1，2，1，2]，卷積核大小設置為3，卷積核個數為64。選擇Adam優化算法作為優化器，初始學習率設置為[γ=0.001]，正則化超參數設置為[λ=0.001 5]，將訓練輪次設置為1 000次。如圖6所示，在訓練過程中，當訓練輪次為? ?1 000時，ST-AGTCN預測模型的準確率最高且趨向于穩定。

2.3? ?損失函數

在模型訓練過程中，本實驗的訓練目的是降低交通速度真實值和預測值之間的誤差。ST-AGTCN的損失函數如式（18）所示：

[loss=||Vt?Vt||+λLreg]，? ? ? ? ? ? ? ? （18）

式中：[Vt]是實際交通速度值;[Vt]是預測值;[Lreg]是[L]2正則化項，用于防止過擬合;[λ]是一個正則化超參數。

2.4? ?性能評估指標

為了評估不同模型的預測效果，采用3種常用于評價回歸任務效果的評價指標。

[△]為平均絕對誤差（MAE），計算公式如下：

[△=1ni=1n Vi?Vi].? ? ? ? ? ? ? （19）

[σ]為均方根誤差（RMSE），[σ]對預測高速度值比較敏感，即當較差的預測模型在預測高速度值時會出現比較大的[σ]值，計算公式如下：

[σ=1ni=1n （Vi?Vi）212].? ? ? ? ? ? （20）

[A]為準確率（Accuracy），模型預測性能越好，準確率越高，計算公式如下：

[A=1?||V?V||F||V||F].? ? ? ? ? ? ? ?（21）

3? ? 實驗結果與分析

為了更直觀地觀測ST-AGTCN模型的預測效果，在SZ-taxi數據集和PeMSD7數據集上分別選取一條道路，并將ST-AGTCN模型在15 min時間序列上的預測結果進行可視化。如圖7所示，圖中的黑色實線是真實的交通速度值，綠色實線為? ?ST-AGTCN模型的交通速度預測結果。從圖中可以看出，綠色線條的變化趨勢和黑色線條的變化趨勢基本吻合，說明了ST-AGTCN模型擁有不錯的擬合效果，并在交通速度預測任務中表現良好。

將ST-AGTCN模型的預測性能與以下5個基準模型進行比較：

1）HA：歷史平均法[16]，該模型用同時刻的歷史數據求平均的方法來預測未來時刻的交通數據。

2）ARIMA：自回歸綜合移動平均法[17]，一種時間序列預測模型，將時間序列擬合到參數模型中，對未來時刻的交通數據進行預測。

3）SVR：支持向量回歸模型[18]，使用核函數將數據從低維空間映射到高維空間，通過線性支持向量機的方法獲得輸入與輸出之間的關系，對未來時刻的交通數據進行預測。

4）STGCN：時空圖卷積模型，該模型通過使用GCN和普通一維CNN進行交通速度預測。

5）T-GCN：時間圖卷積模型[19]，該模型通過使用GCN和GRU相結合的方法進行交通速度預測。

在表1和表2中記錄了ST-AGTCN模型和其他5個基準模型分別在2個交通速度數據集上進行15 min和30 min交通速度預測的結果。

1） 訓練誤差：訓練誤差越小，模型的預測性能越好。從表1和表2的數據可看出，ST-AGTCN 模型的MAE誤差和RMSE誤差的值在15 min和30 min的交通速度預測任務中均比其他模型小。如圖8所示，圖8（a）和圖8（b）顯示了各個模型在SZ-taxi數據集上的RMSE值，圖8（c）和圖8（d）顯示了各個模型在PeMSD7數據集上的RMSE值。從圖8可以看出，ST-AGTCN的RMSE值在所有模型當中最小，說明ST-AGTCN模型的預測性能優于其他5個基準模型。

2）傳統模型的評估：從表1和表2 的數據可以看出，在15 min和30 min的交通速度預測任務中，從預測性能上來看，基于深度學習方法的模型在交通速度預測任務中比傳統的機器學習模型和時間序列模型性能更好。STGCN、T-GCN、ST-AGTCN都是基于深度學習方法的模型，SVR是傳統機器學習模型，HA和ARIMA是傳統的時間序列分析模型。在SZ-taxi數據集的15 min交通速度預測任務中，STGCN模型的預測準確率比HA模型高了2.4%，比ARIMA模型高了25.8%，比SVR模型高了1.1%;T-GCN模型的預測準確率比HA模型高了3.5%，比ARIMA模型高了26.9%，比SVR模型高了2.2%; ST-AGTCN模型的預測準確率比HA模型高了6.0%，比ARIMA模型高了29.4%，比SVR模型高了4.7%。由于HA模型和ARIMA模型是在將交通速度假設為平穩的時間序列數據的前提下進行的交通預測，實際上這并不符合交通速度具有非線性、非平穩的特點，特別是當利用歷史數據進行多步預測的時候，預測誤差會累計傳播。而SVR模型主要根據核函數思想，完成對輸入輸出關系之間的映射。這些方法都沒有考慮到交通信息的空間相關性，難以處理具有復雜時空相關性的交通信息，因此，它們的預測效果差于基于深度學習方法的預測模型。

3）基于深度學習方法模型的評估：將STGCN、T-GCN、ST-AGTCN這3個預測模型進行比較，三者都利用了圖卷積方法從交通數據中提取空間相關性特征。在空間維度上，STGCN和T-GCN都使用了一階近似的GCN方法， ST-AGTCN模型使用切比雪夫多項式近似的GCN方法。在時間維度上，STGCN模型使用普通一維CNN處理，T-GCN模型使用GRU處理交通信息的時間相關性。如1.4節所述，使用CNN或者RNN的方法處理時序數據具有一定的局限性。ST-AGTCN模型通過增加注意力模塊，根據輸入數據構建出時空注意力矩陣;聯合圖卷積獲取空間相關性特征，并通過門控時卷積方法捕獲交通信息中的時間相關性特征。通過實驗結果可知，在2個數據集上的15 min和30 min交通速度預測任務當中， ST-AGTCN的預測準確率高于STGCN和T-GCN。例如，在SZ-taxi數據集的15 min交通速度預測任務當中，ST-AGTCN的預測準確率比STGCN高3.6%，比T-GCN高2.5%。該實驗結果表明了ST-AGTCN模型在挖掘交通信息的時空相關性特征方面具有優勢。

4? ?總結

交通速度隨著時間和路段的不同而不斷變化，具有強烈的時空相關性、隨機性、非線性等特點。針對這些問題，本文基于注意力機制和圖卷積神經網絡相結合的方法提出了ST-AGTCN模型，通過挖掘交通速度的時空相關性特征，提高交通速度預測準確率。實驗結果表明，ST-AGTCN預測模型的準確率高于其他5個基準模型，在挖掘交通信息的時空相關性特征方面具有優勢。該預測模型為交通管理和交通出行提供了科學依據。今后將進一步優化網絡結構和參數設置，探究將ST-AGTCN模型應用于其他具有時空結構的預測場景，如社交網絡預測、空氣質量預測等現實場景。

參考文獻

[1]? ? ?MA X L，TAO Z M，WANG Y H，et al.Long short-term memory neural network for traffic speed prediction using remote microwave sensor data[J].Transportation Research Part C：Emerging Technologies，2015，54：187-197.

[2]? ? ?FU R，ZHANG Z，LI L.Using LSTM and GRU neural network methods for traffic flow prediction[C]//Youth Academic Annual Conference of Chinese Association of Automation （YAC），IEEE，2016.

[3]? ? ?秦勝君，李婷.一種基于長短記憶模型的交通軌跡異常挖掘模型[J].廣西科技大學學報，2021，32（2）：58-64.

[4]? ? ?羅文慧，董寶田，王澤勝.基于 CNN-SVR 混合深度學習模型的短時交通流預測[J].交通運輸系統工程與信息，2017，17（5）：68-74.

[5]? ? ?YU B，YIN H，ZHU Z.Spatio-temporal graph convolutional neural network：a deep learning framework for traffic forecasting[C]//Proceedings of the 27th International Joint Conference on Artificial Intelligence

（IJCAI），2018：3634-3640.

[6]? ? ?VASWANI A，SHAZEER N，PARMAR N，et al.Attention is all you need[C]//31st Conference on Neural Information Processing Systems（NIPS），2017：5998-6008.

[7]? ? ?FENG X C，GUO J，QIN B.Effective deep memory networks for distant supervised relation extraction[C]//Proceedings of the 26th International Joint Conference on Artificial Intelligence（IJCAI），2017：4002-4008.

[8]? ? ?GUO S N，LIN Y F，FENG N，et al.Attention based spatial-temporal graph convolutional networks for traffic flow forecasting[J].Proceedings of the AAAI Conference on Artificial Intelligence，2019：922-929.

[9]? ? ?朱宗洪，李春貴，李煒，等.改進Faster R-CNN模型的汽車噴油器閥座瑕疵檢測算法[J].廣西科技大學學報，2020，31（1）：1-10.

[10]? ?DEFFERRARD M，BRESSON X，VANDERGHEYNST P.Convolutional neural networks on graphs with fast localized spectral filtering[C]//30th Conference on Neural Information Processing Systems（NIPS），2016：3844-3852.

[11]? ?HAMILTON W L，YING R，LESKOVEC J.Inductive representation learning on large graphs[C]//Conference on Neural Information Processing Systems（NIPS），2017：1024-1034.

[12]? ?朱凱利，朱海龍，劉靖宇，等.基于圖卷積神經網絡的交通流量預測[J].智能計算機與應用，2019，9（6）：168-170，177.

[13]? ?SIMONOVSKY M，KOMODAKIS N.Dynamic edge-conditioned filters in convolutional neural networks on graphs[C]//Conference on Computer Vision and Pattern Recognition（CVPR），2017：3693-3702.

[14]? ?袁華，陳澤濠.基于時間卷積神經網絡的短時交通流預測算法[J].華南理工大學學報（自然科學版），2020，48（11）：107-113，122.

[15]? ?OORD A V D，DIELEMAN S，ZEN H，et al.WaveNet：a generative model for raw audio[EB/OL].arXiv：1609.03499，2016[2021-08-01].https：//arxiv.org/abs/1609.03499v2.

[16]? ?LIU J，GUAN W.A summary of traffic flow forecasting methods[J].Journal of Highway and Transportation? ? ? Research and Development，2004，21（3）：82-85.

[17]? ?WILLIAMS B M，HOEL L A.Modeling and forecasting vehicular traffic flow as a seasonal ARIMA process： theoretical basis and empirical results[J].Journal of Transportation Engineering，2003，129（6）：664-672.

[18]? ?SMOLA A J，SCH?LKOPF B.A tutorial on support? vector regression[J].Statistics and Computing，2004，14（3）：199-222.

[19]? ?ZHAO L，SONG Y J，ZHANG C，et al.T-GCN：a temporal graph convolutional network for traffic? ? ? ? ? prediction[J].IEEE Transactions on Intelligent Transportation Systems，2020，21（9）：3848-3858.

Attention-based spatio-temporal graph convolutional neural network for traffic speed prediction

HUANG Weijian， LI Chungui*

（School of Electrical， Electronic and Computer Science， Guangxi University of Science and Technology，

Liuzhou 545616， China）

Abstract： Traffic speed is an important indicator to measure the traffic state. Real-time and accurate traffic speed prediction is an important part of building an intelligent traffic system. Towards the? ? ?problems of the randomness， nonlinearity and spatio-temporal correlation of traffic speed， a traffic speed prediction model is proposed by using the attention based spatio-temporal graph convolutional neural network. Firstly， the spatial and temporal attention weight matrix is constructed by using the? ? ?attention mechanism， with the spatial correlation features of traffic information captured by combining with the graph convolution method.? Secondly， the time correlation is obtained by gating time? ? ? ? ? ?convolution.? Finally， the proposed model and the other five benchmark models are tested on two public traffic speed data sets respectively. Experimental results show that the accuracy of the prediction model is 75.1% and 86.6% on the two data sets respectively， which is about 3% higher than the advanced benchmark models. It shows that the proposed model can provide important scientific basis for traffic control with its high accuracy and stability.

Key words： traffic speed prediction; attention mechanism; graph convolution; spatial-temporal? ? ? ? ?correlation

（責任編輯：黎? 婭）