基于CNN-LSTM-Attention組合模型對我國貨運量時序預測對比

摘 要：為了進一步提高我國貨運量的預測準確性，文章基于卷積神經網絡和長短期記憶網絡模型，引入注意力機制（Attention Mechanism）的組合預測模型，以對我國貨運量進行時序預測。首先，利用卷積神經網絡提取貨運量數據變化特征。其次，將所提取的特征構成時間序列作為長短期記憶網絡的輸入。最后，通過注意力集中捕捉預測模型中經LSTM層輸出的信息特征，劃分權重比例，提取關鍵信息，實現貨運量預測。結合全國月度貨運量歷史數據進行時序預測，然后與其他神經網絡預測的各種評價指標進行對比，結果顯示，CNN-LSTM-Attention模型預測誤差小于其他模型，預測準確性相對較好。

關鍵詞：貨運量；預測；CNN；LSTM；注意力機制

中圖分類號：F259.22 文獻標志碼：A DOI：10.13714/j.cnki.1002-3100.2024.14.002

文章編號：1002-3100（2024）14-0005-05

Comparison of Time-Series Prediction of Freight Transportation Volume in China Based on CNN-LSTM-Attention Combination Model

YAN Xuebo1，CAO Shixin2 （1. School of Management， Fujian University of Technology， Fuzhou 350118， China; 2. School of Transportation， Fujian University of Technology， Fuzhou 350118， China）

Abstract： In order to further improve the prediction accuracy of China's high freight volume， this paper introduces a combined prediction model of Attention Mechanism based on convolutional neural network and long and short-term memory network model to forecast China's freight volume in time series. First of all， the convolutional neural network is used to extract the features of the freight volume data changes， and then the extracted features are used to constitute a time series as the input of the long and short-term memory network， and finally， the attention is focused on capturing the features of the information output from the LSTM layer in the prediction model， dividing the weight ratio， extracting the key information， and realizing the prediction of the freight volume. Combined with the national monthly freight volume historical data for time series prediction， and then compared with other neural network prediction of various evaluation indexes， the results show that the CNN-LSTM-Attention model prediction error is smaller than other models， and the prediction accuracy is relatively good.

Key words： freight volume; prediction; CNN; LSTM; attention mechanism

0 引 言

近年來，我國的貨物運輸總量持續增長，但增速整體上呈現出逐漸減緩的趨勢，這主要是因為我們的貨運量預測不夠準確和合理，導致了資源的浪費[1]。貨運量的準確預測對運輸行業的發展至關重要，它不僅揭示了未來貨運量的趨勢，還為行業的長遠規劃提供了基礎數據，通過合理的預測，不僅可以及時識別貨運行業的發展瓶頸和潛在問題，還能為相關部門提供決策支持和建設性建議，確保運輸系統的持續優化和完善[2]。因此，精準地預測貨運量對規劃貨運線路、調整運輸結構以及優化貨運資源配置具有重要意義。

如今，主流研究聚焦貨運量與經濟增長之間的相互關系[3]，從而為 GDP和產業結構的優化提供量化依據。目前在貨運量預測領域，研究方法可以分為基于回歸模型預測、灰色預測模型、基于深度學習的預測方法，以及組合預測模型預測方法。

如薛方等[4]利用回歸模型預測公路貨運量，嚴雪晴[5]利用灰色預測模型預測，張麗莉等[6]采用BP神經網絡，根據其產生的誤差曲線對模型進行迭代優化的方法，該模型具有較好的預測精度。程肇蘭等[7]根據不同時間粒度下數據資料的易獲取程度，構建基于月貨運量的長短期神經網絡（LSTM）模型，對鐵路貨運量的預測結果表明，LSTM模型比自回歸移動平均模型（ARIMA）和BP神經網絡預測效果更好。但在時間序列過長時，LSTM容易丟失時序的信息，使預測精確度降低。孟建軍等[8]對比發現組合預測模型將不同的預測方法進行有機結合，在結合過程中彌補單一模型的缺陷，對最優的組合方式進行修正，以彌補模型的劣勢，從而建立綜合預測能力和分析能力。唐龍[9]通過將卷積神經網絡（CNN）的關聯特征提取能力和LSTM 的時序特征提取能力進行有機結合，其組合模型預測效果優于LSTM單一模型，但CNN只能提取時間序列的局部信息，無法對全部信息進行提取，從而影響了模型的精確度。注意力機制有效補足了CNN只能捕捉局部信息的短板，使得模型能夠在整個序列上實現全局的信息整合，并增強了對時間序列關鍵轉折點的敏感性。

因此本文在CNN-LSTM的基礎上引入注意力機制，建立CNN-LSTM-Attention貨運量預測模型，將具有提取數據特征能力的CNN和處理時間序列表現優異的LSTM結合，以此用注意力機制分配概率權重補足CNN只能捕捉局部信息的短板，并驗證該模型的預測準確性。

1 研究方法

1.1 卷積神經網絡模型

卷積神經網絡（CNN）是深度學習中的一種強大的網絡結構，主要用于圖像和視頻識別、語音識別以及自然語言處理等領域。CNN的核心優勢在于其能夠通過卷積層和池化層有效提取輸入數據的特征。在卷積層中，網絡通過應用一系列的卷積操作來提取數據的局部特征，而池化層則用于減少特征的維度，從而降低計算復雜度并提取最主要的特征。在貨運量預測的應用中，CNN可以通過其卷積層處理歷史貨運量數據。這些層通過濾波器自動檢測數據中的關鍵特征，如周期性變化、長期趨勢、季節性因素，以及可能的異常值。這些特征對理解貨運量的歷史行為和未來趨勢至關重要。

傳統的特征提取模型依賴于手工選取特征，這個過程不僅耗時而且充滿不確定性。相比之下，CNN通過其特有的卷積層和池化層能夠自動執行特征提取和降維，有效減少手工處理的負擔，并且更加有效地從貨運量中識別關鍵特征[10]。因此，本文先采用CNN對歸一化后的數據進行特征提取，然后通過LSTM網絡進行分析預測。CNN神經網絡結構如圖1所示。

1.2 LSTM網絡

長短期記憶網絡（LSTM）是對傳統循環神經網絡（RNN）的重要改進，專門設計來解決RNN在處理長序列數據時面臨的挑戰。LSTM的核心特點是其內部的“門”結構，包括輸入門、遺忘門和輸出門，這些門控制著信息的流入、保留和流出。通過這種獨特的機制，LSTM能夠有效避免梯度消失問題。梯度消失問題是在RNN中，隨著序列的增長，用于訓練網絡的梯度可能會變得非常小（梯度消失）或異常大（梯度爆炸），從而阻礙了網絡從長序列中學習有效信息。這使得在需要捕捉長期依賴關系的預測任務中，LSTM 和類似的改進型RNN變體成為更優的選擇[11]。

LSTM的關鍵是它的單元結構，每個單元包含四個主要部分：一個細胞狀態和三個“門”——遺忘門、輸入門和輸出門[12]。LSTM模型內部單元結構如圖2所示。

遺忘門的作用是通過一個sigmoid激活函數來確定哪些信息需要從細胞狀態中保留，哪些需要被遺忘。具體而言，遺忘門接收上一時刻的隱藏狀態（記憶細胞的一部分）和當前時刻的輸入，輸出一個介于0和1之間的值，表示對應位置的信息保留的程度。0表示完全遺忘，1表示完全保留。

遺忘門的數學表達式如下。

（1）

其中：為遺忘門；表示Sigmoid函數；和分別為遺忘門權重和偏置系數；為t-1時刻單元輸出；為t時刻信息輸入。

輸入門是LSTM中的一個關鍵組件，其主要作用是控制新信息的輸入，即決定更新細胞狀態的哪些部分。輸入門允許網絡選擇性地更新細胞狀態，以適應當前輸入的信息。

輸入門的數學表達式如下。

（2）

（3）

（4）

其中：為輸入門，決定了多少新的候選值會被加入到細胞狀態；是當前時間步的新候選值，它可能被添加到細胞狀態中；是當前時間步的細胞狀態；是候選值的權重矩陣；是候選值的偏置項；是輸入門的權重矩陣；是輸入門的偏置項；是雙曲正切激活函數，它將任意實值壓縮到區間[-1，1]。

輸出門是LSTM中的另一個關鍵組件，其主要作用是決定當前時刻隱藏狀態中的哪些信息將被輸出到網絡的下一層或用于最終的預測。輸出門通過一個sigmoid激活函數來控制隱藏狀態的哪些部分將被激活。

輸出門的數學表達式如下。

（5）

（6）

其中：是輸出門的輸出；是輸出門的權重矩陣；是輸出門的偏置項。

1.3 Attention注意力機制

注意力機制使模型能夠專注于輸入序列中的特定部分，以提高處理和預測的性能。它的靈感來自人類的視覺注意力機制，即人類視覺在觀察時并不會平等地關注整個視野，根據任務的需要集中注意力于視野中的某些部分。特別是在序列處理任務中，如自然語言處理和時間序列分析，注意力機制可以幫助模型在處理一個長序列時識別出最相關的信息。在LSTM網絡后添加注意力機制，可用于捕捉預測模型中經LSTM層輸出的信息特征，劃分權重比例，提取關鍵信息，提高貨運量預測模型精度[13]。LSTM的隱藏層輸出被用作注意力機制的輸入，這些輸出首先通過一個全連接層，其參數是通過訓練學習到的，以捕捉不同時間步的特征。隨后，這些全連接層的輸出經過softmax函數進行歸一化處理，產生一組權重，這些權重揭示了各個時間步隱狀態對最終預測的相對重要性。通過這樣的機制，模型能夠在預測時賦予更多的注意力給那些關鍵的時間步，從而提高整體預測的準確度和效率。這個動態權重分配過程是自適應的，確保了模型能夠在復雜的序列數據中識別并專注于最具信息量的部分。

注意力機制計算過程如下。

（7）

（8）

（9）

其中：是通過對注意力分數應用softmax函數獲得的權重；為最后一層LSTM隱藏層的輸出，為每個隱藏層輸出的得分；加權平均求和后的值；是偏置項。

2 模型建立與實證分析

2.1 構建 CNN-LSTM-Attention模型

第一步是通過一維卷積層對輸入數據進行處理。這個卷積層的作用是從原始時間序列數據中提取重要的特征，如周期性變化、趨勢以及可能的異常點。這一步是至關重要的，因為它為LSTM層提供了經過預處理和精煉的輸入數據。接著，處理后的數據被送入LSTM層。LSTM是專門設計來處理時間序列數據的，它能夠捕捉數據中長期的依賴性和復雜的時間動態。此外，引入了dropout機制，這有助于防止過擬合，確保模型在面對新的、未見過的數據時仍然能夠表現良好。之后，在模型中加入了注意力機制。注意力層的作用是對LSTM層的輸出進行加權，使模型能夠專注于序列中最關鍵的部分。這種加權處理使得模型在分析和預測時更加精準，因為它能夠區分哪些信息是對最終預測最為重要的。之后，經過注意力處理的數據被送入一個全連接層，這個層次將信息聚合并映射到一個中間表示空間。通過ReLU激活函數的應用，模型能夠增強捕捉非線性關系的能力，進一步增強了預測的準確性。在最后的數據處理階段，模型引入了另一個dropout層以增強其泛化能力，隨后第二個全連接層將處理過的特征映射到預測輸出空間。最后，另一個全連接層將處理后的信息映射到預測輸出空間。這一層的作用是將模型的所有學習成果轉化為具體的預測值，為最終的決策提供支持。CNN-LSTM-Attention預測模型結構如圖3所示。

2.2 樣本處理

本文以中國貨運量為實驗背景，以實際月度數據為依據構建CNN-LSTM-Attention貨運量預測模型，進行貨運量預測研究。實驗數據均取自國家統計局官網，數據樣本示例如圖4所示，選取2005年1月—2023年 9月的貨運量月度數據共 225組，以2005年1月—2019年12月的貨運量作為訓練數據，以2020年1月—2023年9月的貨運量作為測試數據。所有模型均使用Python進行編寫，模型的訓練在Pytorch框架下進行。

2.3 模型評價指標

本文采用以下四種在時間序列預測的常見指標，通過指標判斷模型預測效果，指標如下。

絕對平均誤差（MAE）：。 （10）

相對平均誤差（MSE）：。 （11）

均方根誤差（RMSE）：。 （12）

平均絕對百分比誤差（MAPE）：。 （13）

其中：ytrue表示測試集，即實際值；ypre表示通過模型預測出的值；n為測試集的樣本數。MAE、MSE、RMSE、MAPE數值越小，表示模型預測準確度越高。

2.4 參數設置

為了驗證CNN-LSTM-Attention的預測效果，分別使用卷積神經網絡——長短時記憶網絡CNN-LSTM、長短時記憶LSTM網絡在相同時間節點數據下進行預測，進而對比分析。CNN-LSTM-Attention預測模型通過歷史數據點創建時間步長為3的時間序列，通過該序列用于訓練和測試模型。在這個模型中，CNN層使用單輸入通道，擁有128個卷積核，每個卷積核的大小為3。LSTM層設定了128個隱藏狀態的維度和4個堆疊的隱藏層，以增強模型處理序列數據的能力。此外，模型還包含了一個自定義的注意力機制，旨在提升對序列中重要特征的關注。最后，模型通過兩個全連接層進行輸出，第一個全連接層將128維的特征映射到64維，第二個全連接層進一步將其映射為最終的2維輸出。整個模型的訓練過程采用均方誤差（MSE）作為損失函數，使用Adam優化器，初始學習率設定為0.001，并通過學習率調度器在訓練過程中進行調整。

2.5 實驗結果

將LSTM模型、CNN-LSTM模型和CNN-LSTM-Attention模型給出的預測值與實際值對比，其結果如圖5（a、b、c）所示。并運用MAE、RMSE、MSE、MAPE四種評價指標來衡量預測效果。

CNN-LSTM模型的訓練數據顯示了在學習階段與實際值的良好擬合，然而在未來值的預測上，尤其是在圖5b的右端部分，我們看到預測值顯示了一定的波動，這暗示了模型在新數據上的不確定性。與此相比，當Attention機制被引入到CNN-LSTM模型中時，預測值的精度有了顯著提高。CNN-LSTM-Attention模型的預測曲線更緊密地跟隨了測試數據，即使在數據波動較大的區域，也能保持較高的預測精確度，展現出優越的泛化能力。另一方面，單獨的LSTM模型雖然在訓練階段與真實數據有較好的擬合，但其預測曲線與測試數據相比，差異增大，特別是在預測未來值時，表明它可能不如結合了Attention機制的模型那樣處理新數據的能力。總體來看Attention機制在增強模型預測時間序列數據時的有效性，尤其是在處理可能出現的復雜模式和波動時，為CNN-LSTM模型提供了顯著的性能提升。

3種預測模型的評價結果如表1所示。四種預測模型經評估后，結果顯示，本研究構建的CNN-LSTM-Attention模型在各項性能指標上均優于其他模型。具體而言，該模型在平均絕對誤差（MAE）上為0.107 5，相較于LSTM和CNN-LSTM模型，分別下降了13.38%和11.01%。在均方誤差（MSE）指標上，該模型減少至0.025 8，較其他兩種模型降低了24.78%和18.10%。均方根誤差（RMSE）為0.160 8，較LSTM和CNN-LSTM模型分別下降了13.39%和9.46%。平均絕對百分比誤差（MAPE）為0.182 9，較其他兩種模型降低了8.18%和8.04%。由此可見，基于Attention機制改進的CNN-LSTM模型，預測誤差最小，預測效果相對較好，更適合用于貨運量預測任務。

通過對比卷積神經網絡-長短期記憶網絡（CNN-LSTM）、長短期記憶網絡（LSTM）以及卷積神經網絡-長短期記憶網絡結合注意力機制（CNN-LSTM-Attention）三種模型在預測貨運量任務中的表現。實驗結果顯示：第一，綜合使用卷積神經網絡、長短期記憶網絡和注意力機制在處理復雜時間序列預測問題上具有顯著優勢，CNN-LSTM-Attention模型在預測中國貨運量方面，其綜合性能優于LSTM、CNN-LSTM。第二，本研究證實了CNN在提取時間序列數據的空間特征方面的高效性，LSTM則在捕捉時間依賴性方面表現卓越，結合注意力機制，該模型能夠識別對結果影響最大時段的預測準確性。第三，該模型在處理高波動性和非線性特征的時間序列數據方面顯示出較強的魯棒性。這意味著它能夠有效應對突發事件或不規則趨勢帶來的預測的不確定性問題，為貨運領域的決策提供了可靠的數據支持。

3 結論與建議

結合實驗結果，本文給出建議：將CNN-LSTM-Attention模型應用于物流、供應鏈管理、交通規劃等其他需要處理時間序列數據的領域。其在處理類似復雜時間序列的問題上可能同樣有效。

參考文獻：

[1] 李紅娟，盧天哲，祝漢燦．全國貨運量預測與貨運結構分析[J]．統計與決策，2022，38（18）：179-183．

[2] 徐玉萍，鄧俊翔，蔣澤華．基于組合預測模型的鐵路貨運量預測研究[J]．鐵道科學與工程學報，2021，18（1）：243-249．

[3] 李文杰，袁肖峰，楊勝發，等.基于投入產出模型的省際間貨運量模擬研究[J]．鐵道科學與工程學報，2020，17（5）：1302-1309．

[4] 薛方，蘇芮鋒，楊升，等．基于回歸分析的公路貨運量預測[J]．汽車實用技術，2019（15）：65-69．

[5] 嚴雪晴．基于灰色預測模型的廣東省貨運總量預測研究[J]．數學的實踐與認識，2020，50（14）：294-302．

[6] 張麗莉．基于神經網絡的公路貨運量預測方法研究[J]．華中師范大學學報（自然科學版），2015，49（2）：186-189．

[7] 程肇蘭，張小強，梁越．基于LSTM網絡的鐵路貨運量預測[J]．鐵道學報，2020，42（11）：15-21．

[8] 孟建軍，陳鵬芳，李德倉，等．鐵路貨運量預測研究綜述[J]．鐵道標準設計，2022，66（10）：18-26．

[9] 唐龍．基于深度學習的鐵路貨運量預測研究[D]．成都：西南交通大學，2024．

[10] 曹玉貴，謝夢醒．基于WD-CNN-LSTM模型的股票價格預測分析[J]．華北水利水電大學學報（社會科學版），2023，

39（5）：15-22．

[11] 張冠東，楊琛．基于多維長短時記憶網絡的貨運量預測[J]．統計與決策， 2022，38（12）：180-183.

[12] 路志遠，潘佩芬，白雪嬌，等．鐵路基礎設施位移數據預測模型研究[J]．鐵路計算機應用， 2022，31（3）：12-18．

[13] 曹梅，楊超宇．基于小波的CNN-LSTM-Attention瓦斯預測模型研究[J]．中國安全生產科學技術，2023，19（9）：69-75．

收稿日期：2023-12-20

基金項目：數字經濟賦能福建省鄉村振興研究（GY-Z23160）

作者簡介：燕學博（1980—），男，湖北十堰人，福建理工大學管理學院，副教授、高級工程師，博士，研究方向：電子信息、大數據；曹世鑫（1999—），本文通信作者，男，福建南平人，福建理工大學交通運輸學院碩士研究生，研究方向：數據挖掘、供應鏈管理。

引文格式：燕學博，曹世鑫．基于CNN-LSTM-Attention組合模型對我國貨運量時序預測對比[J]．物流科技，2024，47（14）：5-9.