基于時空注意力Bi-LSTM模型的短時交通流預測

趙恒輝，黃德啟，曾 蓉，於積榮

(新疆大學電氣工程學院，新疆 烏魯木齊830047)

1 引言

隨著城市化進程加快以及居民出行量劇增，交通問題也隨之突出，交通問題需要智能交通系統的監控和保障。智能交通系統將多種技術結合并運用于龐大的交通運輸管理體系，從而對交通運行狀況進行合理的調度[1-2]。準確的交通流預測對于道路通行發揮重要的作用，通過對道路交通流的預測，道路監管部門能夠及時得到反饋，從而對道路通行進行合理調控。

現有的交通流預測方法[3]可分為基于參數方法、非參數方法和組合模型預測方法。參數模型大多基于經驗得到固定結構的模型，主要包括時間序列法、卡爾曼濾波法等。韓超等[4]基于ARIMA模型對時間序列進行實時自適應預測算法。王瑩等[5]分析交通流的周期性波動規律，構建了SARIMA預測模型。Kumar S V[6]為克服ARIMA局限性，提出了基于卡爾曼濾波的預測模型。非參數的方法主要包括機器學習和神經網絡的方法。傅成紅等[7]針對傳統回歸模型擬合數據能力的不足，提出了基于深度學習回歸機預測模型。Liu等[8]針對交通流隨機性的特點，研究了K近鄰模型的最近鄰數對不等時間間隔交通流數據預測性能的影響。組合模型是結合不同模型的特點和優勢建立的模型。馬秋芳[9]利用改進PSO算法優化BP網絡參數后進行交通流預測。Liu等[10]采用K近鄰法重構出與當前交通流相似的時間序列，并利用SVR模型進行預測。成云等[11]將差分自回歸滑動平均(ARIMA)與小波神經網絡(WNN)進行組合預測。Wang等[12]利用貝葉斯方法優化支持向量回歸的參數，提出一種BO-SVR結合的預測模型。深度學習[13-14]的發展和不斷成熟讓越來越多的研究者轉向將其應用于交通流預測。Shuai等[15]提出差分進化算法(DE)與長短時記憶網絡(LSTM)組合的預測模型。張陽等[16]為克服非穩定交通流狀態下預測精度不高，提出一種改進小波包分析和長短時記憶神經網絡組合(IWPA-LSTM)的短時交通流預測模型。呂田等[17]提出一種基于SDZ-GRU的多特征交通流預測方法。

上述預測方法僅利用了預測時刻之前的交通流數據，沒能進一步挖掘與預測時刻之后交通流數據的聯系，并且上述模型也未能充分考慮各個時刻交通流特征對預測時刻的影響程度。因此，本文結合交通流的時空特性，提出了一種將注意力機制[18-19]與雙向長短時記憶網絡(Bi-LSTM)組合的預測模型，利用Bi-LSTM網絡關聯歷史時刻與將來時刻交通流信息，引入注意力機制計算不同時刻輸入的重要性，并通過實時交通數據進行實驗，證明該模型預測的準確性。

2 時空注意力Bi-LSTM模型

2.1 LSTM循環神經網絡

傳統的RNN神經網絡在實際應用中存在梯度消失和爆炸問題，為此引入了LSTM循環神經網絡，它使用一個記憶模塊代替傳統循環神經網絡的隱藏層節點，相比于RNN網絡具有了記憶功能，它由一個儲存時間狀態的記憶單元以及輸入門、遺忘門、輸出門三個門控單元組成。其記憶模塊各個門控單元在t時刻的計算公式如下

it=σ(wxixt+wsist-1+wcict-1+bi)

(1)

ft=σ(wxfxi+wsfst-1+wcfct-1+bf)

(2)

ot=σ(wxoxt+wsost-1+wcoct-1+bo)

(3)

(4)

(5)

st=ot°tanh(ct)

(6)

σ(·)為非線性sigmoid激活函數，其數學形式為(7)式；tanh(·)為雙曲正切函數，其數學形式為(8)式。

(7)

(8)

2.2 Bi-LSTM循環神經網絡

在進行交通流預測時，由于傳統的LSTM神經網絡只使用了歷史時刻的交通流數據信息來預測下一時刻的交通流，沒有考慮到預測時刻之后的數據信息，而關聯預測時刻前后的交通流變化可以有效提高預測精度。因此，為了引入更多信息，從而對輸入數據的表達更加細粒度化，本文選用Bi-LSTM循環神經網絡作為基礎模型。

Bi-LSTM循環神經網絡是兩層LSTM網絡的疊加，第一層從左側獲取輸入并執行前向計算；第二層從右側獲取輸入并執行后向計算。在LSTM的基礎上，結合輸入在兩個方向上的交通流信息，對于t時刻輸出，前向LSTM具有t時刻及t時刻之前的交通流信息，后向LSTM具有t時刻及t時刻之后的交通流信息，在訓練時，模型進行雙向預測，最后將得到的兩個結果融合作為輸出。其模型結構圖如圖1。

當模型獲取輸入xt∈n×d時(n為樣本數，d為輸入個數)，Bi-LSTM網絡的前向隱藏狀態n×h和后向隱藏狀態n×h(h為隱藏單元個數)分別通過LSTM網絡由式(9)和式(10)計算而得

(9)

(10)

yt=htwhy+by

(11)

式中：why、by為模型訓練的權重參數。

2.3 注意力機制

注意力機制是一種帶權池化方法，通過查詢(Query)到鍵(Key)和值(Value)的映射，對具有長期依賴關系的序列實現更強的捕捉能力，并且能夠減少網絡在訓練過程中伴隨的信息損失。本文將自注意力機制(Self-attention)引入到Bi-LSTM網絡中，通過自注意力機制計算不同時刻交通流輸入特征的重要性，繼而對輸入特征給予不同的權重，突出一些重要特征，從而提高預測準確性，注意力機制的計算公式如下

εt=tanh(Wwht+bw)

(12)

(13)

s=∑tαtht

(14)

其中，Ww，bw，uw是訓練模型設置的參數，uw對應于自注意力機制中的Query；εt為t時刻Bi-LSTM模型的隱藏狀態ht得到的注意力評分值，其對應于自注意力機制中的Key；αt為每個時間步隱藏狀態ht對應的注意力權重系數，隱藏狀態ht對應于自注意力機制中的Value；s為最終加權求和得到的特征向量。

2.4 時空注意力Bi-LSTM模型的設計

本文提出融合自注意力機制的Bi-LSTM網絡的預測模型，模型結構如圖2。該模型包括輸入層、兩層Bi-LSTM隱藏層、一層Attention層和一層全連接層。經過預處理的交通流二維數據矩陣經過Bi-LSTM的輸入層輸出到Bi-LSTM隱藏層、經過兩層隱藏層中LSTM單元雙向計算將結果輸入到Attention層，在Attention層，計算Bi-LSTM隱藏層輸出作為輸入對應的注意力評分，之后進行歸一化得到注意力權重，最后將權重與當前輸入加權融合輸入到全連接層中，計算得到最后的預測值y。

基于時空注意力Bi-LSTM模型實現的整體思路如下：

步驟1：數據預處理。通過插值法擬合缺失值進行填充，剔除異常值，并對數據進行歸一化處理。

步驟2：特征提取。將預處理過的交通流數據構建成數據矩陣的形式輸入到Bi-LSTM模型中，其Bi-LSTM網絡工作如下：

1)設2n個時間步長的交通流序列輸入為(xt-n，…，xt，…，xt+n)，將其以不同方向輸入到Bi-LSTM模型中。

步驟3：特征增強。將Bi-LSTM網絡的隱層輸出ht輸入到自注意力機制層，進行權重分配，之后加權求和輸入到全連接層，計算t時刻的輸出yt。

步驟4：對輸出值yt進行反歸一化處理得到真實值。

步驟5：結果對比。將該模型的預測結果與其它模型進行對比分析。

3 實驗研究

3.1 數據來源

本文實驗使用美國加州開放的PeMs交通數據庫公布的數據。該系統將道路的實時信息以30s一次頻率向加州大學伯克利分校的計算機工作站發送數據，之后數據經過處理，聚合成時間間隔為5分鐘的形式儲存在數據庫中。

選取的實驗路段如圖3，該路段包括具有上下游關系的9個檢測點，依次是VDS400814、VDS407475、VDS400078、VDS401542、VDS401111、VDS401056、VDS401095、VDS401110和VDS400801，采集到的數據是各檢測點在2019年3月1日至3月31日的交通流數據，由于交通流以每5分鐘時間間隔聚合，則日交通流量序列共有288個樣本，每個VDS在31天共有8298個樣本，本文通過訓練各檢測點前25天的交通流數據，對目標檢測點最后一天的交通流進行預測。

3.2 時空數據矩陣

圖4為目標檢測點及其上下游相鄰兩個檢測點從3月1日到3月8日的交通流數據，從圖中交通流的變化規律可以看出，各檢測點的交通流在相同時間段的變化具有相似性，表明交通流數據具有時空相關性，因此本文基于交通流的時空特性構建時空數據矩陣。

通過引入目標檢測點及相鄰檢測點交通流數據，構建了一種基于時間維度和空間維度的二維數據矩陣X。定義p個檢測點在給定的連續n個時間段的交通流數據矩陣的形式如下

(15)

其中，xi，t-n表示第i個檢測點在第(t-n)時刻的交通流，該交通流數據矩陣的每一行表示相同時間段下不同檢測點的交通流集合，將各行表示為一個時間序列的形式，根據這些給定的歷史時間序列去預測目標檢測點在某一時刻的交通流量。

3.3 模型評價標準

本文采用平均絕對誤差(Mean Absolute Error，MAE)和均方根誤差(Root Mean Square Error，RMSE)來評估模型的有效性。評價指標的值越小，則模型的預測性能越好，其各自的數學表達式為式(16)和式(17)

(16)

(17)

3.4 實驗結果與分析

本文將滑動窗口數設置為9，即使用9個時間步長的歷史數據預測下一時刻的值。經過多次實驗，Bi-LSTM網絡的參數設置為：輸入層數為1，輸入層神經元個數為9，隱含層數為2，隱含層神經元個數為24，激勵函數選用tanh激活函數，反向傳播過程中優化器采用Adam算法，學習率為0.001。為了提高模型的泛化能力，防止過擬合，加入dropout正則化，其參數設置為0.2。選取該路段中間檢測點VDS401111在3月31日的交通流量進行分析，預測結果如圖5。

圖5中，基于時空注意力Bi-LSTM模型的預測結果整體能夠較好的擬合交通流的變化趨勢，對于某些高峰時段交通流，該模型也能夠反映車流的變化規律。實驗中使用未引入注意力機制的Bi-LSTM模型與之對比，預測結果如圖6，其模型的參數設置與本文建立模型保持一致。圖6中，單純使用Bi-LSTM模型大致能夠滿足交通流的變化，但是在某些時間段，預測輸出偏離真實值，在時間段[100，150]內，預測輸出波動較為平緩，對比在時間段150左右和250左右擬合情況可以看出，本文提出的預測方法相對于該模型更好的描述了交通流的變化趨勢。

該模型與其它模型預測性能的評價指標結果見表1，由表1可知，基于時空注意力Bi-LSTM模型相比于Bi-LSTM模型，其MAE指標降低了3.80%，RMSE指標降低了2.72%，表明引入注意力機制的可以提高預測精度。

為評估該模型的預測性能，將該模型還與傳統LSTM循環神經網絡進行對比，其預測結果如圖7。其中，LSTM模型參數設置為：隱藏層數為2，隱藏層單元數為24，采用Adam優化算法，學習率為0.001。圖7中，基于LSTM模型的預測結果在時間段150左右的交通流預測值普遍低于真實值，沒能很好的擬合該時間段交通流的變化規律。同時由表1可知，Bi-LSTM模型相比于LSTM模型，其MAE指標降低了3.82%，RMSE指標降低了1.92%，這表明關聯預測時刻前后的交通流數據信息可以更好地反映交通流變化規律。而基于時空注意力Bi-LSTM模型相比于LSTM模型，其MAE指標降低了7.48%，RMSE指標降低了4.61%。綜合上述結果表明，本文提出的預測方法在反映交通流的變化規律上優于上述兩個模型，證明該預測模型有效提高了預測精度。

表1 模型預測性能比較

同時，本文還選取了傳統的BP神經網絡模型和SVR模型作對比。其各個模型的預測結果為圖8和圖9。其中SVR模型采用的核函數為高斯核函數。從擬合情況可以看出，本文提出的方法在預測性能上明顯優于傳統模型，由表1可知，融合注意力機制的Bi-LSTM相對于SVR模型，其RMSE指標降低了23.87%，MAE指標降低了21.62%，這表明深度學習模型對于提取時間序列的特征效果更好。

4 結論

1)本文利用Bi-LSTM網絡的雙向計算去挖掘預測時刻前后的交通流變化規律，將自注意力機制引入到模型中，計算不同時刻輸入特征的重要程度，形成具有概率分布的特征表示，從而有效提高預測精度。

2)通過使用交通流數據進行仿真，實驗結果表明，本文建立的預測模型整體能夠較好的擬合實際值，將該模型與未引入注意力機制的Bi-LSTM和單向LSTM相比，其MAE誤差指標分別降低3.80%和7.48%；RMSE誤差指標分別降低2.72%和4.61%，證明了該模型對交通流預測有較好的預測性能，能夠為輔助預測提供良好決策。