基于深度學習模型DeepAR的時間序列預測及應用實例

朱剛 李文 杜守國 崔久強

摘要：時間序列是一種廣泛存在于現實中的數據，常見的例子有股市的每日波動，每月家庭耗電量的記錄等。經典的時間預測方法，往往有很多局限性，如自回歸積分滑動平均方法（ARIMA）或指數平滑方法（ETS），將一個模型擬合到各個單獨的時間序列，進行單點預測。而在真實場景中，知道某個商品的將來需求量的概率分布情況，比簡單預測該商品未來需求量的實值更有價值。深度神經網絡在時間序列預測領域已經有了許多成功的應用，Flunkert和Gasthaus等人（2019）提出了深度自回歸模型（DeepAR），通過聯合所有時間序列來訓練單個模型受益，當數據集包含數百個相關時間序列時，DeepAR優于標準ARIMA和ETS方法。本文運用GluonTS框架對DeepAR模型在上海市制造業歷年就業人數數據集上進行實證分析。

關鍵詞：時間序列預測；循環神經網絡；DeepAR模型；GluonTS

★基金項目：本研究得到海關總署決策咨詢研究課題（HG-YB009）、國家社會科學基金項目（17BTJ025）、上海市科學技術委員會軟科學研究項目（18692116100）、上海市領軍人才項目的資助。

1、相關理論研究

1.1 時間序列預測

1.3 DeepAR模型

DeepAR是Amazon于2017年提出的基于深度學習的時間序列預測方法。

傳統的時間方法（ARIMA，Holt-Winters等）往往針對一維時間序列本身建模，難以利用額外特征。此外，傳統方法的預測目標通常是序列在每個時間步上的取值。與此相比，基于神經網絡的DeepAR方法可以很方便的將額外的特征納入考慮，且其預測目標是序列在每個時間步上取值的概率分布。在特定場景下，概率預測比單點預測更有意義。以零售業為例，若已知商品未來銷量的概率分布，則可以利用運籌優化方法推算在不同業務目標下的最優采購量，從而輔助決策。

DeepAR是一個自回歸RNN時間序列模型，是一個含隱藏狀態的循環神經網絡（使用LSTM或GRU單元）模型，DeepAR學習的是周期性的表現并且是基于貫穿時間序列的協變量，在獲取高復雜度、組依賴的表現時，僅有少量的數據處理需要手動進行。

其中藍框的weighted sum即為仿射變換函數，它的輸出就是μ；綠框就是softplus函數，紅框表示最終輸出，結果就是σ。本文采用高斯分布作為似然模型。

2、案例應用分析

2.1 數據

實驗采用的數據集是上海市制造業歷年就業人數的數據。該數據集樣本一共有68個時間序列，每個時間序列有84個時間點的數據，數據集的開始時間為2013年1月，截止時間為2019年12月。時間序列以月為時間步，即時間頻率為月。按照6：1的分配模式來確定訓練數據集和評估數據集，時間序列前72個數據作為訓練數據集，評估數據集包含所有84個時間步，評估數據集后12個數據作為驗證數據，用來對預測模型進行評估。協變量時間序列有區縣制造業歷年就業人數，市區兩級的制造業歷年退工人數，市區兩級的制造業歷年總產值，市區兩級的制造業歷年人員流出人數等。協變量時間序列的時間頻率也為月，但時間序列的開始時間和結束時間可以不相同。數據集的詳細信息見表1。

● SimpleFeedForward前饋神經網絡是一種最簡單的神經網絡，各神經元分層排列，整個網絡中無反饋，信號從輸入層向輸出層單向傳播。

● Transformer模型是基于CNN（卷積神經網絡）的時間序列預測方法。單純依靠注意力機制（Attention Mechanism），一步到位獲得全局信息。

● WaveNet是一個自回歸概率模型，該模型在文字轉語（Text-to-Speech，TTS）任務上取得了極佳的效果，它的建模方式與DeepAR十分類似，因而可以很自然地遷移到時間序列預測的任務上。

從實驗結果看出，以上四種預測模型均能夠大致預測出上海市制造業就業人數的未來變化趨勢，這是因為基于深度學習的時間序列預測方法可以更好的提取時間序列的內部特征。從預測效果圖來看，基于RNN的自回歸循環神經網絡模型（DeepAR）的預測效果較好，大部分預測值都落在了90%的預測區間內，前饋神經網絡模型（SimpleFeedForward）和基于Attention的轉換模型（Transformer）的預測效果一般，基于CNN的自回歸概率模型（WaveNet）的預測效果較差。從表2的預測值評估數據來看，也應證了上述觀點，DeepAR在四個評估指標中均取得了最好的預測效果，其四個指標的評估值都是所有模型中最小的，而WaveNet的預測效果較差，可以得出結論，對于上海市制造業歷年就業人數這個數據集的預測，DeepAR模型是比較適合的。