基于AGRU-Trans融合模型的特長海底隧道交通量預測

黃 欣,謝文紅,陳耀鵬,李 翔,張素磊,4,*

(1.青島理工大學 土木工程學院,青島 266525;2.臺州市杭紹臺高速公路有限公司,臺州 318000;3.青島國信建設(shè)投資有限公司,青島 266000;4.青建集團股份公司,青島 266071)

隨著社會經(jīng)濟水平的發(fā)展與城市規(guī)模的擴大,我國城市機動化水平日益提高,海底隧道里程也在不斷增加,交通擁堵問題愈發(fā)嚴重,交通事故頻發(fā),因此迫切需要有效的交通控制和誘導策略。構(gòu)建智慧交通系統(tǒng)(ITS)能夠更好地改善交通擁堵,縮短出行時間,提高通行安全性。交通量預測通過實時交通數(shù)據(jù)的信息滾動來預測未來的交通狀況,是對車輛進行精細化誘導及管控的重要依據(jù)。

目前,國內(nèi)外針對交通量預測的相關(guān)研究提出了大量預測方法。WILLIAMS等[1]提出了季節(jié)性ARIMA模型并結(jié)合交通量周期性的特征,來提高交通量預測的精度;李文勇等[2]對ARIMA模型交通流預測方法進行改進,構(gòu)建實際交通流量數(shù)據(jù)均值和方差之間的函數(shù)關(guān)系,并因此推導出交通量時間序列的方差齊次轉(zhuǎn)換函數(shù)。但由于傳統(tǒng)交通量預測模型為淺層結(jié)構(gòu),無法對特定函數(shù)族進行有效的表征從而獲取數(shù)據(jù)集的本質(zhì)特征[3],且對于高維度數(shù)據(jù)集運用傳統(tǒng)預測方法會造成維度災難問題[4]。

隨著計算機技術(shù)的發(fā)展,研究人員提出了大量智能預測方法。羅向龍等[5]對交通流進行特征分析,在網(wǎng)絡(luò)頂層連接支持向量回歸模型進行交通量預測,相比于傳統(tǒng)交通量預測模型具有更高的預測精度;WANG等[6]結(jié)合實驗客運量數(shù)據(jù),通過與基準預測模型進行對比,驗證了LSTM網(wǎng)絡(luò)能夠取得較好的預測性能,同時分析了各種參數(shù)設(shè)置對LSTM預測性能的影響;沈廟生等[7]通過對實測交通流量數(shù)據(jù)進行實驗,得到了考慮缺失值修復的Dropout-LSTM的高速公路流量預測模型相較長短期記憶模型預測精度更高的結(jié)論;溫惠英等[8]提出基于Bi-LSTM的方法,研究表明,該模型在非線性交通流數(shù)據(jù)中具有更好的預測性和廣泛性;SUN等[9]針對道路網(wǎng)絡(luò)交通流,提出了一種新的基于最大似然的選擇性堆疊門控循環(huán)單元模型( SSGRU ),得出應(yīng)用于所有道路場景的多道路輸入基礎(chǔ)設(shè)施時,該模型比其他模型具有更高的準確性的結(jié)論。殷禮勝等[10]基于考慮短時交通流量時間序列的復雜非平穩(wěn)性、空間相關(guān)性和時間依賴性特性,提出改進的VMD-GAT-GRU交通量融合預測模型,相較于基準模型,其預測精度及收斂速度均有所提升。汪鳴等[11]結(jié)合Transformer算法提出多時間尺度時空圖網(wǎng)絡(luò)模型,并通過消融實驗證明了該模型提升預測性能的有效性。

上述研究提出的模型僅關(guān)注高速公路短期交通量預測,訓練所用數(shù)據(jù)量較少,忽略了具有城市道路功能的海底隧道中短期交通量在時間跨度內(nèi)的變化規(guī)律,且用于交通量預測算法更多集中于LSTM及其融合模型,針對新提出的GRU模型及Transformer模型研究較少。本文提出基于AGRU-Trans融合模型的海底隧道交通量預測模型,以小時為跨度、近一年交通數(shù)據(jù)量為訓練,對海底隧道交通量進行預測,通過結(jié)果分析,驗證了該模型相比其他基準預測模型具有更高的預測精度,為膠州灣海底隧道管理部門對車輛進行精細化誘導及管控提供了理論參考。

1 交通量預測模型

交通量預測模型的不斷優(yōu)化進一步推動了交通流預測技術(shù)的發(fā)展,大量學者從多元時間序列聯(lián)合預測[12]、量化時間序列噪聲的隨機性[13]、分析不同觀測時間尺度的時間序列構(gòu)成[14]等多個角度提出研究方法。單一模型預測無法很好地滿足預測的需要,為了提高預測精度,組合模型、切換模型、模型優(yōu)化等方法被廣泛使用[15]。

1.1 LSTM模型

長短期記憶(LSTM)模型[16]是循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的改進變體。相比于普通的RNN,LSTM能夠在更長的時間序列中有更好的表現(xiàn)。該模型通過增加遺忘門、輸入門和輸出門等門控單元來克服傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)模型梯度消失或梯度爆炸的問題[17]。其中遺忘門利用激活函數(shù)sigmoid對上一時刻的記憶狀態(tài)進行選擇性地遺忘或者保留,輸入門利用tanh函數(shù)生成該時刻記憶狀態(tài)的候選值,然后再通過與該時刻輸入門輸出值進行元素對位相乘,以控制該時刻的記憶狀態(tài)是否發(fā)生更新,而輸出門為控制記憶狀態(tài)輸出到LSTM的當前輸出值。LSTM的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示,其計算公式如式(1)-式(6)所示。

圖1 LSTM的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

ft=σ(Wf·[ht-1,xt]+bf)

(1)

it=σ(Wi·[ht-1,xt]+bi)

(2)

(3)

(4)

ot=σ(Wo·[ht-1,xt]+bo)

(5)

ht=ot*tanh(Ct)

(6)

1.2 GRU模型

門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)(GRU)是由K. CHO等在2014年提出的,它同LSTM一樣也是傳統(tǒng)RNN的變體,能夠有效捕捉長序列之間間隔較大的依賴關(guān)系。GRU是對LSTM復雜模型結(jié)構(gòu)的精簡改進,在獲取將來時段信息數(shù)據(jù)過程中,保證信息數(shù)據(jù)準確率的同時速度也得到提升。它的核心結(jié)構(gòu)分為更新門及重置門兩個部分[18],GRU單元結(jié)構(gòu)如圖2所示。其計算公式如式(7)-式(10)所示。

圖2 GRU單元結(jié)構(gòu)

zt=σ(Wz·[ht-1,xt])

(7)

rt=σ(Wr·[ht-1,xt])

(8)

(9)

(10)

LSTM和GRU都通過門控機制保留了前一序列的有用信息,克服在長期傳播過程中丟失的問題。但由于GRU參數(shù)個數(shù)較少,所以GRU整體運行速度相比LSTM更快。然而GRU有著循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)本身不可并行計算的弊端,在未來數(shù)據(jù)量和模型體量持續(xù)增大的趨勢下,仍需進一步優(yōu)化。

1.3 Attention based GRU(AGRU)模型

通過來自注意力機制的嵌入信息修改GRU架構(gòu)后,AGRU可以有效地提取復雜查詢中的關(guān)鍵信息。AGRU使用權(quán)重來代替GRU的更新門,權(quán)重越大,當前時刻隱藏狀態(tài)更新的信息就越多,之前的信息遺忘的也就越多,該方式需要修改GRU單元內(nèi)部的計算公式,計算見式(11)。

(11)

式中:h′t為AGRU時間步為t時隱藏層的輸出變量;at為權(quán)重。

1.4 Transformer模型

除上述算法可以處理時間序列數(shù)據(jù)以外,近幾年由Google提出的Transformer算法同樣可以解決梯度消失問題以處理時間序列數(shù)據(jù),其中的注意力機制運行原理實現(xiàn)了并行計算,相比于只能串行計算的RNN極大地提升了運行速度。基于以上特性,Transformer一經(jīng)提出就引起了研究者的廣泛關(guān)注,在機器翻譯、閱讀理解、文本摘要等多個領(lǐng)域展現(xiàn)出了優(yōu)異的應(yīng)用效果[19]。本文將Transformer模型引入到交通量預測領(lǐng)域,為其增加了新的應(yīng)用場景。該算法基于編碼和解碼構(gòu)建,解碼部分比編碼部分多了一個交互層和一個被掩蓋的多頭注意力機制。由于編碼部分和解碼部分相差不大,為方便介紹,本文主要介紹Transformer算法的解碼部分。Transformer算法解碼部分的結(jié)構(gòu)如圖3所示。

圖3 Transformer算法解碼部分結(jié)構(gòu)

其中位置編碼計算見式(12)-式(13)。

(12)

(13)

式中:P為位置編碼;p為時間序列的位置;dmodel表示模型的維度。

1.5 基準模型優(yōu)劣比較

基于以上分析,對LSTM,GRU,AGRU及Transformer 4種交通量預測模型間優(yōu)劣進行整體對比分析,見表1。

表1 基準模型優(yōu)劣比較

1.6 AGRU-Trans融合預測模型

基于以上分析,本文提出了基于AGRU-Trans的融合預測模型,如圖4所示,操作流程如下:

圖4 AGRU-Trans融合模型結(jié)構(gòu)

1) 對數(shù)據(jù)集進行劃分,分為訓練集和測試集;

2) 將數(shù)據(jù)集分別輸入至AGRU模型和Transformer模型中進行訓練;

3) 將Transformer模型輸出值進行降維后與AGRU模型的輸出值利用concat函數(shù)進行拼接;

4) 最后將拼接后的矩陣通過全連接層輸出相應(yīng)的預測值矩陣。

2 膠州灣海底隧道交通信息數(shù)據(jù)特征分析

本文所依托的隧道工程為青島膠州灣隧道,該隧道是連接青島市市南區(qū)與黃島區(qū)的雙向六車道海底公路隧道,全長7.8 km,隧道縱斷面最大坡度為3.9%,內(nèi)凈空高10.391 m,寬14.426 m。該隧道的建成,不僅有效縮短了兩岸間的通行距離,而且極大緩解了交通運營壓力,縮短了人們的出行時間。

對具有城市道路功能的海底隧道中短期交通量在時間跨度內(nèi)的變化規(guī)律進行研究。由于該隧道2021年6月底進行大區(qū)段增設(shè)可變道路段,為提高訓練精度,因此選取膠州灣海底隧道2021年7月1日到2022年5月18日時間跨度為1 h的交通量數(shù)據(jù)信息,經(jīng)處理后的數(shù)據(jù)共有7464條,對處理后的交通量數(shù)據(jù)按照時間進行可視化操作,如圖5所示。交通量的數(shù)值雖然在0～4200 veh/h,但是主要的交通量數(shù)值還是集中在0～2500 veh/h。

圖5 膠州灣隧道交通量分布示意

為近一步了解目前膠州灣隧道內(nèi)交通量的特性,且避免初始或結(jié)尾數(shù)據(jù)以及數(shù)據(jù)的偶然性對交通參數(shù)規(guī)律性造成影響,本文選取中間時間段2021年8月30日到2021年9月20日3周內(nèi)的交通信息數(shù)據(jù)進行細化處理,并針對1周內(nèi)的交通數(shù)據(jù)規(guī)律性進行分析。圖6為各交通量1周內(nèi)的可視化數(shù)據(jù)。

從圖6中可以看出,交通量變化規(guī)律呈現(xiàn)出周期性和時間相關(guān)性,并非雜亂無章。1周內(nèi)工作日通過海底隧道的交通量相較于休息日更多,休息日高峰期呈現(xiàn)滯后性,這突出反映了交通參數(shù)和人們的出行習慣具有很強的相關(guān)性。

3 實驗基礎(chǔ)

3.1 評估指標

本文采用平均絕對誤差(Mean Absolute Error,MAE)、均方根誤差(Root Mean Square Error,RMSE)和擬合優(yōu)度可決系數(shù)R2作為模型預測精度的評價指標。MAE表示的是真實值和預測值之間的絕對誤差的平均值;RMSE可以測量誤差的平均大小,是真實值與預測值偏差的平方與實測次數(shù)n比值的平方根;R2可以衡量預測曲線對于真實數(shù)據(jù)擬合效果的好壞,R2越大說明擬合效果越好,R2的最優(yōu)值為1[20]。

(14)

(15)

(16)

3.2 超參數(shù)設(shè)置

設(shè)置超參數(shù)回溯時間窗為24,即每次輸入一個交通信息數(shù)據(jù),模型都需要考慮前24 h數(shù)據(jù)的值;設(shè)置分批大小為32,即模型一次訓練所選取的交通信息數(shù)據(jù)數(shù),可以減少模型訓練的時間,從而能及時反饋預測的值;學習率為5×10-4,用以反向傳播更新梯度參數(shù)和權(quán)重系數(shù);隱藏層單元數(shù)設(shè)置為100個;層數(shù)設(shè)置為4層;最后設(shè)置迭代次數(shù)為100次。

3.3 對比模型選取

為檢測模型精度,將所選模型和其余基準模型進行對比,基準模型包括:長短期記憶模型(LSTM)、門控循環(huán)模型(GRU)、Transformer模型。

4 實證研究

4.1 數(shù)據(jù)來源

本實驗采用青島膠州灣海底隧道交通量數(shù)據(jù),以青島市市南區(qū)-黃島區(qū)作為研究對象。將2021年7月1日-2022年5月18日按時間跨度為1 h交通量數(shù)據(jù)信息進行劃分,將前面80%的數(shù)據(jù)作為訓練集,最后20%的數(shù)據(jù)作為測試集用以判斷訓練后模型的性能狀況。

4.2 結(jié)果對比

分別通過4種模型對海底隧道交通量數(shù)據(jù)進行訓練和預測,如表2所示,在4種模型中,AGRU-Trans融合模型的MAE值和RMSE值相比基準模型最小,其R2也最接近于1,具有良好的預測性能與精度。

表2 各模型預測效果比較

通過表2可以看出4種模型的R2均大于80%,可以認為4種模型在交通量預測上均有較好的預測性,而Transformer模型預測誤差相對更大,究其原因為Transformer模型算法完全基于self-attention,對于位置之間的信息有一定的丟失。GRU模型的擬合程度略高于LSTM模型,這與時空序列預測的結(jié)論一致[21]。LSTM,Transformer,GRU模型的MAE值相比AGRU-Trans分別大了31.48%,67.55%,20.57%;RMSE值分別增長了35.64%,38.46%,32.03%。

由于交通量數(shù)據(jù)多、重復率高且交通量變化規(guī)律呈現(xiàn)出周期性和時間相關(guān)性,為更清晰展示模型預測結(jié)果,本文選取基準模型中預測性能最好的GRU模型與本文所提出的AGRU-Trans融合模型為研究對象,對某包含早晚高峰時刻的120個預測數(shù)據(jù)和真實數(shù)據(jù)進行對比。從圖7中可以直觀看出,AGRU-Trans融合模型的預測結(jié)果與真實數(shù)據(jù)貼合性最好,預測精度高于基準模型,在交通量波動大的時段預測結(jié)果更接近真實值。

5 結(jié)論

1) 通過對循環(huán)神經(jīng)網(wǎng)絡(luò)和Transformer算法的研究,結(jié)合GRU與Transformer模型算法優(yōu)點并加入自注意力機制,提出一種基于AGRU-Trans融合模型的海底隧道交通量預測模型用以對青島膠州灣海底隧道交通信息數(shù)據(jù)進行預測,該模型預測結(jié)果與真實數(shù)據(jù)貼合性好,具有良好的預測性能和精度。

2) 選取膠州灣海底隧道市南區(qū)-黃島區(qū)交通數(shù)據(jù),通過AGRU-Trans融合模型與3種基準模型對比發(fā)現(xiàn),LSTM,Transformer,GRU模型的MAE值相比AGRU-Trans分別大了31.48%,67.55%,20.57%;RMSE值分別增長了35.64%,38.46%,32.03%。表明:AGRU-Trans融合模型的預測結(jié)果與真實數(shù)據(jù)貼合性最好,預測精度均高于基準模型。

本文提出的基于AGRU-Trans融合模型的海底隧道交通量預測模型對交通規(guī)劃及交通控制有積極意義,基于此方法可為膠州灣海底隧道管理部門對車輛的誘導及管控提供理論參考。