基于LSTM網絡的鐵路貨運量預測

程肇蘭，張小強,2,3，梁 越

(1.西南交通大學 交通運輸與物流學院，四川 成都 611756；2.綜合交通大數據應用技術國家工程實驗室，四川 成都 611756；3.綜合交通運輸智能化國家地方聯合工程實驗室，四川 成都 611756)

鐵路貨物運輸長期以來扮演著國民經濟發展中的重要角色，但隨著公路、航空等運輸網絡的逐步完善以及顧客運輸需求的變化，鐵路貨物運輸正面臨其他運輸方式的激烈競爭。鐵路運輸企業需要制定靈活的運輸計劃和營銷策略以改善鐵路貨物運輸的局面，這就需要鐵路運輸部門準確預測并掌握計劃期內的貨運量。目前對鐵路貨運量預測的研究主要側重于年度貨運量預測，但短期貨運量(月、日貨運量)作為月度貨物運輸計劃和旬日歷裝車計劃、車站貨運日班計劃、空車運用計劃等日常工作計劃編制的依據，其準確預測在鐵路日常工作組織層面也有十分重要的意義。因此，如何提高鐵路短期貨運量預測精度已然成為鐵路運輸企業亟待解決的問題[1]。鐵路貨運量因受到宏觀經濟因素、競爭因素、運輸貨物本身季節特性等影響而呈現上下浮動和季節波動特性。宏觀經濟因素與競爭因素對貨運量的影響存在滯后效應，這種滯后效應表現為前一段時間的經濟情況、競爭情況影響后一段時間運輸企業采取的經營策略和貨主對運輸方式的選擇，進而影響鐵路貨運量。多元回歸預測、支持向量機、BP(Back Propagation)神經網絡等預測方法[2-5]因在進行鐵路短期貨運量預測時沒有考慮到這種延遲和滯后效應，所以預測精度有限。長短期記憶網絡(Long Short-term Memory, LSTM)特別適合處理和預測間隔和延遲相對較長的時間序列，已經廣泛應用于股票、短時交通流、疾病、點擊率等方面的預測，但在鐵路短期貨運量預測方面的應用較少。本文借助LSTM網絡模型研究鐵路短期貨運量預測。

1 LSTM網絡理論

LSTM網絡是一種特殊類型的循環神經網絡(Recurrent Neural Network，RNN)。

1.1 RNN

擁有輸入層-隱含層-輸出層結構的傳統神經網絡如BP神經網絡在相鄰兩層間一般采用全連接方式，但非相鄰兩層的神經元之間沒有連接，同一層內的神經元間也無連接，見圖1(a)。RNN由BP神經網絡改進而來，與BP神經網絡最大的不同之處在于RNN隱含層內的神經元之間存在連接。如圖1(b)所示，RNN中隱含層的輸入不僅包括輸入層的輸入還包括上一時刻隱藏層的輸出，這意味著RNN網絡會記憶前面的信息并應用于當前輸出的計算中。因其在記憶方面的能力，RNN網絡已經成功應用在語音識別、機器翻譯、音樂生成、文本生成等自然語言領域[6]。

圖1 BP神經網絡與RNN對比

標準的RNN模型結構見圖2。x(t)為t時刻的樣本輸入；h(t)為t時刻的隱藏狀態，由x(t)和t-1時刻的隱藏狀態共同決定h(t-1)；O(t)為t時刻模型輸出，只由h(t)決定；L(t)為t時刻的損失函數；y(t)則為訓練樣本時的真實輸出；U、W、V為網絡共享參數。

圖2 標準RNN結構

1.2 LSTM

RNN的兩種傳統算法——基于時間的反向傳播算法(Back-propagation Through Time, BPTT)和實時循環學習算法(Real-time Recurrent Learning，RTRL)，可能會因為出現梯度爆炸或者梯度消失的情況而失效[7]，因此在實際中，標準RNN的應用范圍有限，取得更多成果的大多是RNN的改進網絡。LSTM網絡就是為了避免上述問題而專門設計的一種特殊類型的RNN網絡，在1997年由Sepp Hochreiter和Jürgen Schmidhuber第一次提出。LSTM的巧妙之處在于通過增加輸入門、遺忘門、輸出門以獲得變化的自循環權重，在模型參數固定的情況下，不同時刻的積分尺度得以動態改變，從而能夠規避梯度消失或者梯度爆炸的問題[8]。

f(t)=σ(Wf·[h(t-1),x(t)]+bf)

(1)

i(t)=σ(Wi·[h(t-1),x(t)]+bi)

(2)

(3)

(4)

o(t)=σ(Wo·[h(t-1),x(t)]+bo)

(5)

h(t)=o(t)·tanhC(t)

(6)

式中：f(t)為t時刻遺忘門的輸出；i(t)為t時刻輸入門的輸出；o(t)為t時刻輸出門的輸出；Wf、Wi、Wc、Wo和bf、bi、bc、bo分別為遺忘門、輸入門、細胞狀態、輸出門對應的系數；σ為sigmoid激活函數；tanh為雙曲正切激活函數。

圖3 LSTM的隱藏層結構

2 LSTM貨運量預測模型構建

鐵路貨運量受許多因素影響。在現實中，影響因素值的統計最短周期往往較長，一般以月或更長的時間段進行統計。日貨運量的影響因素值往往因為周期太短而無法獲取。因此，對于不同時期(月、日)的貨運量預測，應當依據不同時期的特點，分別建立LSTM貨運量預測模型。針對月貨運量預測，建立基于月貨運量數據的LSTM多變量預測模型；針對日貨運量預測，建立基于日貨運量數據的LSTM時間序列預測模型。

2.1 模型輸入

對于基于月貨運量數據的LSTM多變量預測模型，由于宏觀經濟因素、競爭因素對貨運量的影響存在滯后效應，因此t時刻的貨運量yt不僅受到t時刻影響因素Xt的影響，還同時受到t-1,t-2,…,t-k(k=1,2,3,…)時刻影響因素Xt-1,Xt-2,…,Xt-k的影響。且影響因素Xt-k的影響力隨k遞增而減弱。假設t月的貨運量yt將同時受到t-1,t-2,…,t-k月影響因素的影響，忽略t-k月之前的影響因素的影響力。又考慮到t月不能觀察到在t+1月公布的t影響因素值。因此，基于月貨運量數據的LSTM預測模型t時刻的輸入是t-1,t-2,…,t-k月影響因素值Xt-1,Xt-2,…,Xt-k及對應的月貨運量yt-1,yt-2,…,yt-k。

對于基于日貨運量數據的LSTM時間序列模型，考慮難以準確獲取影響因素每日統計值，模型t時刻的輸入為t-1,t-2,…,t-k時刻的日貨運量yt-1,yt-2,…,yt-k。

2.2 模型結構

兩個模型的基本結構均為輸入層、隱含層和輸出層的神經網絡結構。隱含層均采用多層LSTM單元。可以通過網格搜索[10]方法確定合適的隱含層數、合適的神經元個數超參數取值。本文采用的損失函數為均方差(Mean Squared Error, MSE)[11]，計算方法為

(7)

2.3 模型評估

為評估模型預測效果，采用均方根誤差RMSE、平均絕對值誤差MAE和R2平均絕對百分比誤差MAPE[12]。

各誤差計算方法如下所示：

(8)

(9)

(10)

(11)

3 實證案例

3.1 試驗數據

本文的研究數據來自于中國鐵路廣州局集團有限公司(以下簡稱廣鐵集團)2009—2017年的原始貨票數據記錄。在對貨票數據進行去除廢票、刪除缺失值、去除不合理數據等數據清洗后，統計得到廣鐵集團2009—2017年每日和每月的貨運發送量，見圖4。總體上，兩者的隨機變動與周期性變動趨勢均比較明顯且保持大體一致：前者主要在5 000車上下波動，而后者在160 000車上下波動； 前者與后者均在每年2月份到達波谷，隨后上升并持續在小范圍內波動。

圖4 廣鐵集團2009—2017年貨運發送量

3.2 鐵路貨運量影響因素指標選取及相關性分析

一個地區的鐵路貨運量通常受到各個方面因素的影響，主要包括地區的宏觀經濟運行情況、市場供需結構、外部競爭環境等外部因素和鐵路營業里程、運輸能力、服務水平等內部因素。在外部因素中，表示宏觀經濟運行狀況的地區生產總值對鐵路貨運量大小起決定性作用。又考慮到鐵路貨物運輸的對象主要涉及國民經濟重要組成部分中的第一產業和第二產業產品，第一產業總產值和第二產業增加值也能夠直接體現第一產業和第二產業的經濟運行情況。由于鐵路貨物運輸的特點和性質，其主要受到來自公路貨物運輸的競爭，因此選取公路貨運量表示對鐵路運輸競爭力的大小。在內部因素中，鐵路營業里程的增加特別是高速鐵路的大量投入運營，能釋放平行的既有線運輸能力并提高運行圖中貨運列車鋪畫密度，進而提升貨物運輸能力[13]。表1為2009—2017年原廣州鐵路局范圍(廣東省、湖南省、海南省)內的部分月份影響因素取值[14]。

分析上述影響因素之間相關性和各影響因素對廣鐵集團月貨運量的影響大小，各影響因素之間、各影響因素與月總貨運量的相關性系數圖，見圖5。

圖5 廣鐵集團2009—2017貨運量(單位：車)

圖5中，對角線部分代表各影響因素和月貨運量自身分布，下三角部分畫出了對應的散點圖，上三角部分則代表對應的相關系數，星星越多表示兩者的相關性越強。由圖5可知，上述影響因素(不包括GDP)與鐵路月貨運量均存在較強的相關性，且第一產業總產值和公路貨運量與鐵路月貨運量的相關性尤為突出。但GDP與鐵路月貨運量的相關性不顯著，這可能是因為以季度平均GDP代替每月實際GDP，不能體現GDP在季度內的變化趨勢。在影響因素之間，GDP、第二產業增加值、第一產業總產值、鐵路運營里程之間均存在很強的相關性。結合指標數據獲取情況和以上分析，確定以下因素為鐵路貨運量影響因素的指標：第二產業增加值、第一產業總產值、鐵路運營里程、公路貨運量。

3.3 參數設置及試驗結果

(1)基于月貨運量數據的LSTM多變量預測模型及參數選擇

網絡構建采用Keras框架實現LSTM[16]，將數據集分為訓練集(前8年數據)和測試集(后1年數據)。通過反復試驗發現，k=1且采用單層隱含層的LSTM網絡具有最好的預測精度，包含的節點數為6。模型采用Adam(Adaptive Moment Estimation)優化算法[17]，激活函數采用tanh函數。

(2)基于日貨運量數據的LSTM時間序列預測模型及參數選擇

模型將數據集的前70%作為訓練集，后30%作為測試集。通過反復試驗，確定時間步長k=1時，采用單層隱含層的LSTM網絡模型的預測精度最高，每層包含的節點數為5。優化算法亦采用Adam，激活函數采用tanh函數。

(3)試驗結果

表2為預測結果的評價指標。

表1 部分月份影響因素取值

由表2可知，基于月貨運量數據的LSTM多變量預測模型的預測結果顯示，測試集上16萬車左右的貨運量的預測平均絕對值誤差在8 574車，平均絕對值百分比誤差為6.0%。基于日貨運量數據的LSTM時間序列預測模型的預測結果顯示，測試集上5 200車左右的貨運量的預測平均絕對值誤差在348車，平均絕對值百分比誤差在7.9%左右。兩者的預測精度均較高。

3.4 對比試驗

為比較LSTM預測方法與其他預測方法的預測精度，本文采用另外兩種比較常用預測方法-時間序列預測模型[18]和BP神經網絡預測[19]。類似地，對月貨運量時間序列數據建立ARIMA(0,1,1)(0,1,2)[12]模型，模型為

(1-B)(1-B)Yt=(1+0.507 8B)

(1+0.915 7B12-0.246 6B24)εt

(11)

式中：Yt為時間序列；B為延遲算子；εt為白噪聲隨機誤差序列。

對日貨運量數據的時間序列數據建立ARIMA(1,1,1)，模型為

Yt=0.262 6Yt-1+εt-0.705εt-1

(12)

建立基于月貨運量數據的BP神經網絡模型，采用3層網絡結構，輸入層5個神經元，隱含層包含15個神經元。前8年數據作訓練集，后1年數據作測試集。優化算法采用Adam、激活函數采用tanh和損失函數采用MSE。建立基于日貨運量數據的BP神經網絡模型，同樣采用3層網絡結構，輸入層1個神經元，隱含層6個神經元。前70%作訓練集，后30%作測試集，其余參數與基于月貨運量數據的BP神經網絡模型相同。

表3為對比模型在測試集上的表現。

表2 LSTM預測結果評價指標

通過比較LSTM模型與對比模型分別在訓練集和測試集上的表現發現：LSTM模型總體上優于時間序列模型和BP神經網絡模型。其中，對于月貨運量預測，在訓練集上，ARIMA(0,1,1)(0,1,2)[12]的各項誤差指標均優于LSTM模型和BP神經網絡模型；但在測試集上的表現卻差于后兩者。這可能是由于宏觀環境變化，2017年鐵路運量有較大幅度回暖，但時間序列模型僅僅依據歷史的趨勢并未考慮這些客觀因素。對于日貨運量預測，BP神經網絡和LSTM模型的預測誤差雖然比較接近，但LSTM模型在測試集上的預測精度更高，模型的泛化能力更優。ARIMA模型在訓練集上的誤差很小，但測試集上的誤差較大，這可能是因為測試集覆蓋的時間段較長，隨著時間的推移時間序列模型預測的誤差變大。但LSTM在相同情況下表現出更高的預測精度，進一步體現了LSTM模型良好的預測性能。

表3 對比模型預測結果評價指標

圖6 預測貨運量效果對比

圖6為分別各個預測方法的月貨運量預測值和日貨運量預測值與實際值的比較。其中，圖6(a)直觀表現出LSTM預測與BP預測效果接近，在2017年后的預測結果均優于時間序列預測，與上文分析結果相一致。圖6(b)～圖6(d)以實際運量為橫坐標，預測運量為縱坐標。可以觀察斜線的斜率情況(斜率越接近1，預測效果越好)直觀判斷各模型的預測效果：LSTM預測明顯優于BP和時間序列預測。

4 結論

結合實際情況，本文主要建立了基于月貨運量數據的LSTM多變量預測模型和基于日貨運量數據的LSTM時間序列預測模型。前者考慮了影響因素對貨運量影響的滯后效應，擁有較長時間的記憶能力，并能夠有效學習影響因素與貨運量的關系；后者則集中考慮貨運量時間序列的序列依賴性，構建長時間序列的LSTM網絡。為體現LSTM網絡性能，分別建立了基于月貨運量和基于日貨運量的ARIMA模型和BP神經網絡模型，通過對比以上模型在訓練集和測試集上的預測結果指標，發現構建的基于月貨運量數據LSTM多變量預測模型和基于日貨運量數據的LSTM時間序列預測模型均擁有優秀的預測精度，體現了LSTM網絡對長時間序列上的學習能力及泛化能力。LSTM網絡在預測中的良好表現，為鐵路短期貨運量的預測提供一種預測思路，對鐵路日常運輸組織具有十分重要的意義。在接下來的研究中，可以改進LSTM模型，以進一步提高模型的預測精度。