基于深度LSTM與遺傳算法融合的短期交通流預測模型

李靜宜，丁 飛*，張 楠，李湘媛，顧 潮

(1.南京郵電大學 物聯網學院，江蘇 南京 210003；2.南京郵電大學 江蘇省寬帶無線通信和物聯網重點實驗室，江蘇 南京 210003)

0 引言

“十三五”以來，我國高速公路發展總體適應經濟社會發展需要，但與高質量發展和構建新發展格局要求相比，高速公路補短板、強弱項、增質效任務仍然艱巨，轉型發展亟待加快。信息化智慧化建設相對滯后，信息資源配置較為分散，運行監控、預測預警等信息管理平臺不完善，數字化新技術、新手段運用較薄弱。道路交通狀態瞬息萬變，交通流預測可以為交通優化控制和智能服務提供決策參考。

目前，國內外研究者在交通流預測方面已有較多有益成果。現有交通流預測模型可分為：基于統計分析的預測模型[1-2]、非線性理論模型[3]、仿真預測模型[4]、智能預測模型[5-6]、混合模型[7-8]等。近年來，以LSTM為代表的反饋神經網絡在時間序列數據的預測方面具有廣泛的應用，而且可作為非線性單元用于構造更大型的混合模型。王博文等人[9]提出一種基于編碼器-解碼器的卷積神經網絡(CNN)門循環單元模型，在單模特征或多模特征輸入時均可獲得較好的預測性能，且可以緩解預測誤差的迅速積累問題。邵春福等人[10]提出基于皮爾森相關系數法(PCC)與雙向長短時記憶(BLSTM)的交通流預測模型，通過PCC篩選目標路段空間的路段并重構數據集，然后由BLSTM進行交通流預測，短時交通流預測精度獲得較好提升。由于長短期記憶網絡(LSTM)在長時間序列預測中表現出對歷史信息的優秀整合能力，大多數學者也傾向于使用基于LSTM模型的交通流預測。Chu等人[6]利用LSTM進行車道級交通流預測，相較于門控循環單元(GRU)、堆疊自動編碼器(SAEs)等模型具有更優的預測性能。王慶榮等人[11]設計了一種多尺度特征融合的短時交通流預測模型，考慮了時間序列的連續性以及天氣、節假日等因素，可以提升預測模型的預測泛化能力。李磊等人[12]提出基于改進CNN與LSTM的交通流預測模型，設計了分層網絡結構自動提取交通流序列的空間特征，優化LSTM網絡模塊來減少網絡對數據的長時間依賴，并引入改進后的自適應矩估計(RAdam)優化算法，從而提高網絡輸出的準確性和魯棒性。文獻[13-14]分別使用雙層LSTM構建電網能量消耗預測模型，前者結合了近鄰節點拓撲關系，后者融入了注意力機制，二者均認為雙層LSTM網絡結構相較于單層LSTM能更好地表征能耗時空的變化，可以更準確地實現電網能量消耗曲線的預測。

考慮到神經網絡在訓練時易受其超參數影響，從而影響到模型的預測精度。Zhang等人[15]提出一種改進遺傳神經網絡(GA-BP)，在遺傳算法迭代過程中，選擇前n個最優個體，自適應優化種群的搜索步長，保證種群的多樣性且提高交通流預測模型的收斂速度。何祖杰等人[16]提出基于改進灰狼算法(IGWO)優化支持向量機(SVM)的短期交通流預測模型，引入帳篷混沌序列初始化灰狼種群，優化收斂因子并對灰狼群體進化差分豐富種群多樣化，從而提升預測模型的魯棒性和泛化能力。溫惠英等人[17]采用遺傳算法對數據時間窗步長、LSTM神經網絡的隱藏層數、訓練次數、dropout進行參數優化，相比傳統LSTM模型具有更好的預測性能，由于選用了不同固定采樣周期間隔的數據集，因此在通過固定采樣周期的交通流預測場合無法復制應用。

基于以上分析，本文提出一種基于深度LSTM與遺傳算法融合的交通流預測模型(GA-mLSTM)，通過LSTM的深度網絡設計保證模型泛化能力；引入遺傳算法在全局空間獲得最優解，加速模型收斂；通過差分運算對預測誤差進行優化，提升整體交通流預測模型的準確率。最后，利用公開數據集進行模型測試并性能評估，對比傳統兩層LSTM、支持向量回歸(SVR)模型和循環神經網絡(RNN)模型，驗證所提GA-mLSTM模型的有效性與預測性能。

1 遺傳算法超參數優化

基于深度LSTM進行預測時，網絡層數和隱藏層神經元個數取值對于預測結果有直接影響。LSTM網絡的層數和隱藏層神經元個數決定了神經網絡的復雜程度和擬合程度[18]。考慮到交通流日內波動性明顯，使用單層長短期記憶網絡(LSTM)存在泛化能力不足的問題，堆疊多層LSTM易導致模型難以快速收斂。隱藏層接收來自輸入神經元的輸入后，根據輸入的重要性分配權重，輸入所分配的權重越大，則該輸入量越重要。Dense層的目的是將提取的特征通過非線性變化提取關聯因子并映射到輸出中。在實際訓練中，Dense層的增加能夠加快收斂速度。

遺傳算法(Genetic Algorithm,GA)在求解過程中模擬生物進化中染色體基因的選擇、交叉、變異等過程，并求取最優解的方法。其核心是通過適應度函數評估個體的優劣，對于結果更好的個體，在下一代種群中占比更高。GA在求解較為復雜的組合優化問題時，相對于傳統優化算法，通常能夠較快地獲得較好的優化結果，有較強的魯棒性。因此，本文采用遺傳算法對LSTM層及Dense層的層數、隱藏層及Dense層的神經元個數的組合進行尋優，將獲得的優化參數用于預測模型，從而達到降低誤差，提升收斂性的目的。

GA-mLSTM模型將深度LSTM與GA進行融合，將GA中的每個染色體基因描述為LSTM網絡結構層數和每層神經元個數等信息。染色體基因的編碼結構示意如圖1所示，X1、X2分別代表LSTM的層數與Dense層的層數，X3～X8按順序代表LSTM與Dense各層神經元個數。此外，在模型結構設計中，除了染色體中所定義的Dense層外，還需要添加一層神經元個數為1的Dense層用于輸出預測結果。

圖1 染色體基因的編碼結構

堆疊LSTM的層數會導致預測模型的時間和資源開銷的增加，文獻[13-14]均采用了兩層LSTM網絡結構，可以獲得時序數據預測性能的提升；文獻[19]指出當LSTM層數超過3層時，會產生較明顯的層與層之間的梯度消失問題。

本文在深度LSTM網絡結構設計時，將LSTM網絡層數限定為1～3層，同時將隱藏層的神經元個數約束在[32，256]區間。

基于GA優化深度LSTM網絡超參數的核心操作包括：

(1) 選擇

遺傳算法通過適應度函數對子代染色體基因進行選擇，按照預定策略從父代種群中進行個體選擇和淘汰。本文利用輪盤賭選擇方法實現遺傳算法的選擇操作，采用均方誤差(MSE)作為適應度函數，若MSE越小，則代表該個體適應度越高，其被選擇的概率將變大。

(2) 交叉

交叉是對選擇操作后存活的父代個體的基因進行組合，具體實現方式為個體生成一個隨機數rc∈[0,1)，若rc小于預設交叉概率Pc=0.5，則隨機選擇父代種群中的某個個體進行交叉，生成一個8位二進制數并轉化為布爾類型決定發生交叉的基因位點。基因位點X1、X2代表LSTM的層數與Dense層的層數，由于層數交叉會影響到神經元參數的數量，因此基因位點X1、X2 不產生交叉。

(3) 變異

變異是指遺傳過程中染色體基因發生的突變。假定變異率Pm設為0.01，則通過遍歷所有染色體基因個體，當生成隨機數rm∈[0,1)

每一代種群生成后，將其子代個體所表示的網絡結構參數代入深度LSTM網絡中進行訓練，本文通過對連續迭代訓練設置最大迭代限定值以結束此次遺傳進程。

2 GA-mLSTM交通流預測模型設計

2.1 模型預測框架

GA-mLSTM模型的整體框架如圖2所示，主要包括數據準備模塊、參數優化模塊和預測訓練模塊。采用遺傳算法對LSTM層數、Dense層數、隱藏層神經元個數和Dense層神經元個數進行優化。

圖2 GA-mLSTM模型框架

基于GA-mLSTM模型進行交通流預測的步驟描述如下：

步驟1:數據預處理，使用Min-Max-Scaler函數對初始數據進行歸一化處理；

步驟2:使用遺傳算法優化參數，得出1～3層LSTM網絡結構的最優解；

步驟3:構建模型，使用遺傳算法尋優得出的參數訓練LSTM模型；

步驟4:使用訓練好的模型，對測試集進行交通流預測；

步驟5:對輸出數據進行反歸一化；

步驟6:差分處理并計算誤差。

2.2 數據預處理

本文使用公開的高速公路數據集[20]檢驗模型性能，該數據集包含英國M、A級高速公路交通流量數據，以15 min為采樣間隔。圖3為該數據集中2018年8月1—7日共7天的原始交通流序列曲線，每天含00:14:00—23:59:00共96條交通流量數據。本文實驗選取該數據集2018年8月1—24日共2 304條樣本數據作為訓練集，8月25—31日共672條樣本數據作測試集。

圖3 原始交通流序列曲線

為提升模型的收斂速度及預測準確度，使用Min-Max-Scaler函數對初始數據進行統一規約，通過式(1)將原始交通流量數據線性轉換為[0,1]區間。

(1)

式中，xmax為樣本數據的最大值，xmin為樣本數據的最小值。處理后的輸入輸出數據格式如表1所示，輸入步長設為20，即輸入特征矩陣X由前20條數據進行構造，模型預測后輸出預測值Y。

表1 模型輸入輸出格式示例

2.3 長短期記憶神經網絡

LSTM是循環神經網絡RNN的變形，其解決了RNN在長序列訓練過程中出現的梯度消失以及梯度爆炸問題。LSTM網絡通過輸入門、遺忘門以及輸出門控制信息的傳遞，輸入門決定當前時刻需要保存到單元狀態的數據，遺忘門對輸入進行選擇記憶，將重要信息保留，輸出門控制輸出內容。

ft=σ(Wf·[ht-1,xt]+bf)，

(2)

it=σ(Wi·[ht-1,xt]+bi)，

(3)

ot=σ(Wo·[ht-1,xt]+bo)，

(4)

(5)

(6)

ht=ot×tanh (Ct)。

(7)

2.4 差分處理設計

交通流作為時間序列數據，由于時間序列預測存在自相關性，即t時刻的預測值更貼近t-1時刻的真實值。因此，本文將為預測輸出值采用差分操作，消除一階自相關性，并將差分后的結果作為最終交通流預測值。

3 實驗與性能分析

3.1 環境配置與評價指標

GA-mLSTM模型的參數設置如表2所示。為防止模型過擬合，于每個LSTM層后加入Dropout層，丟棄率設置為0.2。選擇Adam優化器，該優化器結合了AdaGrad和RMSProp方法的最佳屬性，自動為模型參數使用自定義學習率，能夠使訓練收斂性能更佳。

表2 模型參數設置

實驗所使用的計算機配置為：Intel(R) Core(TM) i5-10400F CPU @ 2.90 GHz，內存為16 GB，Windows10(64位)操作系統，軟件開發環境為Python 3.7.11。

為對GA-mLSTM模型進行性能評價，使用均方誤差(MSE)、均方根誤差(RMSE)以及平均絕對誤差(MAE)作為誤差評價指標，對應計算公式如式(8)～(10)所示。

(8)

(9)

(10)

3.2 GA-mLSTM交通流預測與分析

基于遺傳算法的深度LSTM網絡的優化訓練過程如圖4所示，可以看出，遺傳算法在訓練迭代過程中，初始階段的均方誤差存在明顯波動性，但在進入27次迭代后，其均方誤差趨于最優解，且波動性相對較小，即在該區間可以確定遺傳算法的近似最優解。因此，在GA-mLSTM模型進行交通流預測時，將迭代次數設為30次，則認為在30次迭代訓練中種群子代可獲得近似最優適應度，即在遺傳搜索空間能找到近似最優解。

圖4 基于遺傳算法的迭代訓練結果

為評估GA-mLSTM的性能，參照文獻[22]所用雙層LSTM神經網絡的設置參數，將LSTM模型中的batch size和步長分別設置為64和8。在GA-mLSTM模型中，將LSTM層數設為1～3層，通過遺傳算法探索解空間的最優解。經預測訓練，獲得GA-mLSTM模型的優化參數設置為表3所示，即GA-mLSTM模型中LSTM層數取為3層。

表3 遺傳算法尋優結果

從表4中可知，相較于已有雙層LSTM模型方法[22]，使用遺傳算法優化深度LSTM網絡結構參數的模型預測性能更優，其中MSE、RMSE、MAE分別提高了1 870.92、10.23、7.55；加入差分操作后，MSE、RMSE與MAE分別提高了4 150.47、24.63、20.65。

表4 不同LSTM模型預測性能比較

圖5為GA-mLSTM模型在差分處理前后的預測值與真實值的絕對誤差對比圖，在進行差分處理后，日高峰時間段交通流預測結果得到顯著提升，總體誤差得到有效減小。不同模型預測結果對比如圖6所示，可以看出，GA-mLSTM模型能夠較好擬合交通流的變化趨勢，且在交通流趨勢為下降以及突變的時間區段，GA-mLSTM模型的預測精度更高，顯示其交通流預測的有效性。

圖5 融入差分處理的絕對誤差對比

圖6 不同模型預測結果對比

3.3 不同模型的交通流預測與分析

圖7給出了GA-mLSTM模型與支持向量回歸 (SVR) 模型、循環神經網絡 (RNN) 模型的交通流預測對比結果，在8：00—20：00時間段，GA-mLSTM、SVR、RNN模型預測值與真實值之間的絕對誤差區間分別為[0.042,177,276]、[0.355,386.955]、[1.026,399.682]，因此，GA-mLSTM模型相較于SVR和RNN具有更優的交通流預測性能,性能比較如表5所示。

圖7 不同算法模型預測結果

表5 不同算法模型預測性能比較

4 結束語

由于交通流復雜程度高，實現對交通流的高精度預測對于城市交通管理具有重要意義。針對LSTM網絡結構模型依賴傳統經驗難以確定結構參數的問題，基于遺傳算法優化的深度LSTM網絡結構，融合差分處理，提出一種交通流預測模型GA-mLSTM。通過公開交通流數據集測試驗證，相比傳統LSTM模型，本模型具有更好的預測精度。本文提出的GA-mLSTM模型僅考慮交通流量單指標輸入，且對于預測的時效性方面未作深入研究，未來研究可考慮在日內時序劃分、長期交通流預測需求下的模型參數自適應調節等方面進一步優化和深入研究。