時(shí)間序列預(yù)測與深度學(xué)習(xí)：文獻(xiàn)綜述與應(yīng)用實(shí)例

李 文 鄧 升 段 妍 杜守國

1(上海對(duì)外經(jīng)貿(mào)大學(xué)統(tǒng)計(jì)與信息學(xué)院 上海 201620) 2(上海市人力資源和社會(huì)保障局信息中心 上海 200051)

0 引 言

時(shí)間序列預(yù)測旨在基于給定的時(shí)間序列觀測值估計(jì)未來時(shí)間點(diǎn)上的取值或概率分布，這是風(fēng)險(xiǎn)管理和決策的關(guān)鍵任務(wù)，它在許多領(lǐng)域中發(fā)揮了重要作用，包括統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、計(jì)量經(jīng)濟(jì)學(xué)、運(yùn)籌學(xué)等。例如，預(yù)測產(chǎn)品的供需可用于優(yōu)化庫存管理、車輛調(diào)度和拓?fù)湟?guī)劃，這對(duì)于供應(yīng)鏈優(yōu)化的大多數(shù)方面都至關(guān)重要[1-2]。

傳統(tǒng)的時(shí)間序列預(yù)測模型包括ARIMA模型、指數(shù)平滑方法和狀態(tài)空間模型(SSM)等，其中ARIMA模型、指數(shù)平滑方法都可以表示成狀態(tài)空間模型的形式，SSM提供了時(shí)間序列建模的通用框架，由狀態(tài)方程和觀察值方程組成[2]。

在現(xiàn)代預(yù)測應(yīng)用中，傳統(tǒng)的SSM模型無法從相似的時(shí)間序列數(shù)據(jù)集合中推斷出共享模式，這就產(chǎn)生了繁重的計(jì)算任務(wù)和大量人力勞動(dòng)需求。因此，深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks，DNN)憑借其提取高階特質(zhì)的能力走進(jìn)了人們的視野。通過深度神經(jīng)網(wǎng)絡(luò)，可以識(shí)別時(shí)間序列內(nèi)部和時(shí)間序列之間的復(fù)雜模式，并且能夠從原始時(shí)間序列的數(shù)據(jù)集合中進(jìn)行識(shí)別，所需的人力要少得多。然而，由于這些模型所作的結(jié)構(gòu)假設(shè)較少，它們通常需要更大的訓(xùn)練數(shù)據(jù)集來學(xué)習(xí)得到準(zhǔn)確的模型[2]。

為了彌補(bǔ)這兩種方法各自的不足，將傳統(tǒng)統(tǒng)計(jì)模型與深度學(xué)習(xí)融合，產(chǎn)生了一些新的預(yù)測方法。Chung等[3]和Fraccaro等[4]使用循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks，RNN)在SSMs和變分自編碼器(Variational Auto Encoding，VAE)之間建立聯(lián)系。Krishnan等[5]利用深度卡爾曼濾波器(Deep Kalman Filters，DKF)在SSM中引入外生變量。在預(yù)測方面，Rangapuram等[2]使用RNN在每個(gè)時(shí)間步上生成線性高斯?fàn)顟B(tài)空間模型(LGSSM)的參數(shù)，提出了深度狀態(tài)空間模型(Deep State Space Model，DSSM)。對(duì)于非線性SSM，Eleftheriadis等[6]提出非線性高斯過程狀態(tài)空間模型(Gaussian Process State Space Model, GPSSM)。Salinas等[7]研究了多元時(shí)間序列預(yù)測問題。Salinas等[8]的深度自回歸模型(DeepAR)是建立在對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行深度學(xué)習(xí)的基礎(chǔ)上，為概率預(yù)測問題設(shè)計(jì)了一個(gè)類似的基于LSTM(Long Short-Term Memory)的自回歸RNN架構(gòu)。而Vaswani等[9]提出的Transformer利用Attention Mechanism來處理數(shù)據(jù)。與基于RNN的方法不同，Transformer允許模型訪問歷史的任何部分，而不考慮距離，這使得它更適合于捕捉具有長期依賴性的循環(huán)結(jié)構(gòu)。

徐超等[10]提出一種集成自回歸綜合移動(dòng)平均(ARIMA)模型與自適應(yīng)過濾法的組合預(yù)測模型。該組合強(qiáng)調(diào)ARIMA模型對(duì)時(shí)間序列數(shù)據(jù)特征識(shí)別與參數(shù)估計(jì)的優(yōu)勢(shì)，同時(shí)引入自適應(yīng)過濾法的“權(quán)數(shù)”調(diào)整思想，對(duì)ARIMA模型的參數(shù)進(jìn)行調(diào)整，以減少預(yù)測誤差，提高預(yù)測精度。沈旭東[11]對(duì)近年來基于深度學(xué)習(xí)的時(shí)間序列分析方法進(jìn)行討論，從應(yīng)用、網(wǎng)絡(luò)架構(gòu)、思想等方面總結(jié)了最新的時(shí)間序列預(yù)測、分類、異常檢測等任務(wù)的深度學(xué)習(xí)方法，為了解時(shí)間序列深度學(xué)習(xí)解決方案的技術(shù)和發(fā)展趨勢(shì)提供了參考。吳雙雙[12]利用卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、雙通道神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)進(jìn)行了預(yù)測，并取得了不錯(cuò)的預(yù)測效果。權(quán)鉦杰[13]利用長短期記憶網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)進(jìn)行預(yù)測，并針對(duì)深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練不穩(wěn)定的問題，研究了將集成學(xué)習(xí)方法應(yīng)用于對(duì)深度神經(jīng)網(wǎng)絡(luò)預(yù)測模型的改進(jìn)，提出了基于噪聲擾動(dòng)集成方法的深度神經(jīng)網(wǎng)絡(luò)集成模型。劉峰等[14]提出了一種組合聚類分析和神經(jīng)網(wǎng)絡(luò)的預(yù)測方法。王慧健等[15]提出一種新的時(shí)間序列短期趨勢(shì)預(yù)測方法，通過對(duì)時(shí)序數(shù)據(jù)進(jìn)行離散化，用字符表示各個(gè)時(shí)間段數(shù)據(jù)的范圍，并利用神經(jīng)網(wǎng)絡(luò)語言模型預(yù)測得到下一個(gè)字符。李潔等[16]基于真實(shí)的民航旅客歷史出行記錄，根據(jù)其時(shí)序數(shù)據(jù)的特征建立基于后向傳播算法的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)預(yù)測模型，對(duì)未來時(shí)段的日客流量進(jìn)行預(yù)測。在此基礎(chǔ)上考慮到時(shí)序數(shù)據(jù)在不同時(shí)間尺度呈現(xiàn)不同的變化規(guī)律，建立多時(shí)間尺度的預(yù)測模型對(duì)旅客出行的周期性和趨勢(shì)性進(jìn)行建模，提升預(yù)測精度。蔣倩儀[17]根據(jù)震蕩盒理論提出一種新的適應(yīng)于與機(jī)器學(xué)習(xí)相結(jié)合的交易邊界模型，通過結(jié)合基于距離的多核極限學(xué)習(xí)機(jī)(DBMK-ELM)與交易邊界模型，構(gòu)建基于時(shí)間序列預(yù)測的股票交易決策建議系統(tǒng)，使得在股票交易中能穩(wěn)定獲得較高的收益率并保持較低的投資風(fēng)險(xiǎn)。

本文旨在介紹近年來提出的與深度學(xué)習(xí)相結(jié)合的時(shí)間序列預(yù)測方法。本文介紹三種時(shí)間序列預(yù)測模型：深度狀態(tài)空間模型(DSSM)、深度自回歸模型(DeepAR)、Transformer模型(Transformer)，并運(yùn)用上海市出口額數(shù)據(jù)的預(yù)測實(shí)例說明它們的應(yīng)用效果。實(shí)驗(yàn)結(jié)果表明，基于深度學(xué)習(xí)的時(shí)間序列預(yù)測效果明顯優(yōu)于傳統(tǒng)的ARIMA模型。

1 時(shí)間序列預(yù)測問題

(1)

2 時(shí)間序列模型

2.1 深度狀態(tài)空間模型(DSSM)

傳統(tǒng)的SSM模型利用時(shí)間序列的潛在狀態(tài)lt∈RL對(duì)數(shù)據(jù)結(jié)構(gòu)進(jìn)行建模，該狀態(tài)可用于編制時(shí)間序列的組成部分(如水平、趨勢(shì)和季節(jié)性構(gòu)成)，并通常應(yīng)用于單個(gè)時(shí)間序列的預(yù)測。一般的SSM包含了定義潛在狀態(tài)隨時(shí)間演變的隨機(jī)轉(zhuǎn)移概率p(lt|lt-1)的狀態(tài)轉(zhuǎn)移模型，以及給定潛在狀態(tài)的觀測條件概率p(zt|lt)的觀測模型。

狀態(tài)轉(zhuǎn)移方程的形式為：

lt=Ftlt-1+gtεt

(2)

式中：εt～N(0,1);在時(shí)間t潛在狀態(tài)lt-1代表關(guān)于水平、趨勢(shì)以及季節(jié)性因素的信息，通過確定的轉(zhuǎn)移矩陣Ft和隨機(jī)創(chuàng)新gtεt進(jìn)行遞歸計(jì)算；轉(zhuǎn)移矩陣Ft和創(chuàng)新強(qiáng)度gt確定了由潛在狀態(tài)lt編制的時(shí)間序列構(gòu)成。

狀態(tài)空間模型完全由參數(shù)指定Θt=(μ0,Σ0,Ft,gt,at,bt,σt)，?t>0，并假定為時(shí)不變的，即Θt=Θ，?t>0。通用的估計(jì)方法是最大邊際似然估計(jì)，即：

(3)

(4)

(5)

圖1 狀態(tài)空間模型的框架

(6)

(7)

通過訓(xùn)練參數(shù)Φ得到極大似然估計(jì)后，就可以對(duì)每個(gè)給定的時(shí)間序列進(jìn)行概率預(yù)測。給定Φ可以計(jì)算每個(gè)時(shí)間序列在預(yù)測范圍內(nèi)的聯(lián)合分布，該聯(lián)合分布是多元高斯分布。在實(shí)踐中用K個(gè)蒙特卡洛樣本來表示預(yù)測分布通常更為方便，公式為：

k=1,2,…,K

(8)

為了從狀態(tài)空間模型生成預(yù)測樣本，從樣本lT～p(lT|z1:T)開始，遞歸地應(yīng)用：

t=1,2,…,τ

lT+t～FT+tlT+t-1+gT+tεT+tεT+t～N(0,1)

t=1,2,…,τ-1

在DSSM中，與經(jīng)典的SSM和基于深度學(xué)習(xí)的自回歸模型(如DeepAR)相比，目標(biāo)值并沒有直接用作輸入，這就帶來了幾個(gè)優(yōu)點(diǎn)。首先，目標(biāo)值只是適當(dāng)考慮噪聲的似然項(xiàng)的合并，故模型對(duì)噪聲更為魯棒；然后，簡單地刪除相應(yīng)的似然項(xiàng)，就可以很容易地處理丟失的目標(biāo)值；最后，生成預(yù)測樣本路徑的計(jì)算效率也更高，因?yàn)檎麄€(gè)預(yù)測過程中RNN只需要展開一次(與樣本數(shù)無關(guān))。

2.2 深度自回歸模型(DeepAR)

DeepAR由一個(gè)RNN(使用LSTM或GRU單元)組成，該RNN以序列滯后值和協(xié)變量作為輸入，訓(xùn)練和預(yù)測遵循自回歸模型的一般方法。

與傳統(tǒng)模型不同的是，DeepAR不僅將最后的目標(biāo)值作為輸入，而且還將一些滯后項(xiàng)作為輸入。例如，對(duì)于小時(shí)數(shù)據(jù)，滯后可能是1(前一小時(shí))、1×24(前一天)、2×24(前兩天)、7×24(前一周)等。

用zi,t表示時(shí)間序列i在時(shí)間t的值，在給定過去{zi,1,zi,2,…,zi,t0-2,zi,t0-1}:=zi,t0-1的前提下，建立未來每個(gè)時(shí)間序列{zi,t0,zi,t0+1,…,zi,T}:=zi,t0:T的條件概率分布：

p(zi,t0:T|zi,1:t0-1,xi,1:T)

式中：t0表示預(yù)測開始的時(shí)間點(diǎn);xi,1:T為在所有時(shí)間點(diǎn)都已知的協(xié)變量。

假設(shè)模型分布p(zi,t0:T|zi,1:t0-1,xi,1:T)由似然因子的乘積組成(無邊界條件):

(9)

由輸出hi,t參數(shù)化的自回歸遞歸網(wǎng)絡(luò)，hi,t=h(hi,t-1,zi,t-1,xi,t,Θ)，其中h是由具有LSTM單元的多層遞歸神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的函數(shù)。該模型是自回歸的，最后時(shí)刻的觀測值z(mì)i,t-1以及遞歸網(wǎng)絡(luò)的先前輸出hi,t-1都會(huì)作為下一時(shí)刻的輸入。似然函數(shù)l(zi,t|θ(hi,t,Θ))是一個(gè)固定分布，其參數(shù)由網(wǎng)絡(luò)輸出hi,t的函數(shù)θ(hi,t,Θ)給出。

zi,1:t0-1中的觀測值信息通過初始狀態(tài)hi,t0-1傳遞到預(yù)測范圍。在sequence-to-sequence的設(shè)置中，此初始狀態(tài)是編碼器網(wǎng)絡(luò)的輸出。一般來說，這個(gè)編碼器網(wǎng)絡(luò)可以有不同的結(jié)構(gòu)，在這里選擇在條件區(qū)間和預(yù)測區(qū)間(對(duì)應(yīng)于sequence-to-sequence模型中的編碼器和解碼器)中對(duì)模型使用相同的結(jié)構(gòu)。此外，它們之間共享權(quán)重，以便計(jì)算t=1,2,…,t0-1時(shí)解碼器的初始狀態(tài)hi,t0-1。編碼器hi,0以及zi,0的初始狀態(tài)初始化為零。

圖2 DeepAR模型摘要

2.3 Transformer 模型

Transformer完全基于Attention Mechanisms，而不需要遞歸和卷積。遞歸模型通常沿輸入和輸出序列的符號(hào)位置進(jìn)行因子計(jì)算。將位置與計(jì)算的時(shí)間步對(duì)齊，生成隱藏狀態(tài)ht的序列，作為先前隱藏狀態(tài)ht-1和位置t的輸入函數(shù)。這種固有的序列性質(zhì)使得訓(xùn)練無法并行化，而在較長的序列研究中，因?yàn)閮?nèi)存約束限制，并行化至關(guān)重要。Transformer完全依賴于Attention Mechanisms來繪制輸入和輸出之間的全局依賴關(guān)系，允許更顯著的并行化[18]。

時(shí)間序列概率預(yù)測的目標(biāo)是建立以下條件概率分布：

p(zi,t0+1:t0+τ|zi,1:t0,xi,1:t0+τ;Φ)=

(10)

具體預(yù)測過程中將此問題簡化為學(xué)習(xí)一步預(yù)測模型p(zt|z1:t-1,x1:t;Φ)，其中Φ表示由所有時(shí)間序列集合共享的可學(xué)習(xí)參數(shù)。為了充分利用觀測值和外生變量，將它們連接起來得到一個(gè)增廣矩陣(無邊界條件)

yt[zt-1°xt]∈Rd+1，Yt=[y1,y2,…,yt]T∈Rt×(d+1)

式中：° 代表兩個(gè)向量的拼接。觀測值和外生變量作為整體輸入變量,探討一個(gè)合適的zt～f(Yt)模型來預(yù)測給定Yt條件下zt的概率分布。

利用multi-head self-attention機(jī)制，用Transformer實(shí)例化f，因?yàn)閟elf-attention使Transformer能夠捕獲長期和短期依賴，并且不同的attention heads學(xué)習(xí)時(shí)間模型的不同方面。這些優(yōu)點(diǎn)使Transformer成為時(shí)間序列預(yù)測的一個(gè)很好的預(yù)選方法。

圖3為Transformer模型概述。大多數(shù)競爭性神經(jīng)序列轉(zhuǎn)導(dǎo)模型都具有編碼器-解碼器結(jié)構(gòu)。這里，編碼器將由符號(hào)表示的輸入序列(x1,x2,…,xn)映射到連續(xù)表示的序列z=(z1,z2,…,zn)。給定z，解碼器一次生成一個(gè)符號(hào)的輸出序列(y1,y2,…,yn)。每一步，模型都是自回歸的，在生成下一步時(shí)，將先前生成的符號(hào)作為附加輸入。Transformer遵循這個(gè)總體架構(gòu)，使用堆疊的self-attention和point-wise作為編碼器和解碼器完全連接層，如圖3所示。

圖3 Transformer模型摘要

其中attention函數(shù)可以描述為將query和一組鍵值對(duì)映射到輸出，query、鍵、值和輸出都是向量。輸出是值的加權(quán)和，分配給每個(gè)值的權(quán)重由query的兼容函數(shù)和相應(yīng)的鍵計(jì)算得出。

Oh=Attention(Qh,Kh,Vh)=

(11)

為了避免將來的信息泄漏，使用mask矩陣M通過將所有上三角元素設(shè)置為-∞來過濾rightward attention。之后，O1,O2,…,OH被串聯(lián)起來，再次線性投影。在attention輸出端，疊加一個(gè)位置前饋?zhàn)訉樱撟訉泳哂袃蓪油耆B接的網(wǎng)絡(luò)，中間有一個(gè)ReLU激活[19]。

3 實(shí)證分析

3.1 研究背景

2018年3月，美國使用“232措施”對(duì)進(jìn)口鋼、鋁產(chǎn)品分別加征25%和10%關(guān)稅。2018年6月，美國貿(mào)易代表辦公室公布修訂版的“301”對(duì)華加征25%關(guān)稅的產(chǎn)品清單，并在2018年7月和8月分兩批對(duì)從中國進(jìn)口的500億美元商品加征25%關(guān)稅，涉及的行業(yè)主要有通用設(shè)備、電氣機(jī)械、專用設(shè)備、通信電子設(shè)備、儀器儀表等5個(gè)設(shè)備制造業(yè)，其余為橡膠和塑料制品業(yè)、金屬制品業(yè)等行業(yè)。2018年9月又對(duì)2 000億中國輸美產(chǎn)品征收10%的關(guān)稅(《關(guān)于中美經(jīng)貿(mào)摩擦的事實(shí)與中方立場》白皮書2018)。為了了解中美貿(mào)易摩擦對(duì)上海市出口貿(mào)易的影響，利用深度學(xué)習(xí)方法預(yù)測上海市出口額數(shù)據(jù)，探究在中美貿(mào)易摩擦不斷升溫背景下上海市出口額的變化發(fā)展規(guī)律。

3.2 數(shù) 據(jù)

本文使用的數(shù)據(jù)來自“上海海關(guān)數(shù)據(jù)庫”(http://shanghai.customs.gov.cn)，數(shù)據(jù)集是上海市總出口額和上海市對(duì)美國市場的出口額數(shù)據(jù)，該數(shù)據(jù)集一共有72個(gè)時(shí)間點(diǎn)的數(shù)據(jù)，涵蓋了從2014年1月份開始到2019年12月結(jié)束的每個(gè)月上海市總出口額和上海市對(duì)美國市場的出口貿(mào)易額信息。每個(gè)時(shí)間點(diǎn)以月為單位，出口額的單位是億元人民幣。圖4和圖5分別為上海市總出口額和上海市對(duì)美國市場出口額的時(shí)序圖。

圖4 上海市總出口額

圖5 上海市對(duì)美國市場出口額

可以看出，上海市總出口額和上海市對(duì)美國市場的出口額兩者存在相似的趨勢(shì)，并且時(shí)序圖的走勢(shì)存在一定的周期性規(guī)律，在每年年初和年末的時(shí)候會(huì)出現(xiàn)下降的趨勢(shì)，而年中大部分時(shí)間存在上升的趨勢(shì)。

3.3 計(jì)量方法

本文采用五種模型對(duì)上海市總出口額和上海市對(duì)美國市場的出口額作預(yù)測，分別是自回歸求和移動(dòng)平均模型(ARIMA)[20]、條件時(shí)序卷積模型(Wavenet)[21]、深度狀態(tài)空間模型(DSSM)、深度自回歸模型(DeepAR)和Transformer模型(Transformer)，并對(duì)五種模型的預(yù)測效果進(jìn)行比較。用連續(xù)分級(jí)概率評(píng)分(CRPS)對(duì)模型的預(yù)測效果進(jìn)行評(píng)價(jià)。

連續(xù)分級(jí)概率評(píng)分(Continuous Ranked Probability Score，CRPS)或“連續(xù)概率排位分?jǐn)?shù)”是一個(gè)函數(shù)或統(tǒng)計(jì)量，可以度量概率分布F(由分位數(shù)函數(shù)F-1表示)與觀測值z(mì)的相容性[22]。CRPS可視為平均絕對(duì)誤差(Mean Absolute Error, MAE)在連續(xù)概率分布上的推廣。CRPS可以作為概率模型的損失函數(shù)和評(píng)價(jià)函數(shù)，應(yīng)用于概率天氣預(yù)報(bào)、誤差分析、異常值檢測(Anomaly Detection)等現(xiàn)實(shí)問題。作為評(píng)價(jià)函數(shù)時(shí)，按CRPS評(píng)價(jià)概率模型所得的(優(yōu)劣)結(jié)果與按MAE評(píng)價(jià)概率模型的數(shù)學(xué)期望所得的結(jié)果等價(jià)。

在分位數(shù)水平為α∈[0,1]且預(yù)測的第α分位數(shù)為q的條件下，pinball損失(或分位數(shù)損失)定義為：

Λα(q,z)=(α-I(z

(12)

式中：z是觀測值；I(z

(13)

CRPS作為一個(gè)適用的評(píng)分規(guī)則[22]，意味著當(dāng)預(yù)測分布等于從實(shí)際數(shù)據(jù)中得出的分布時(shí)，CRPS值最小。CRPS值越小，說明預(yù)測分布與觀測值分布相近，預(yù)測性能越好。

3.4 實(shí)證結(jié)果

本文使用GluonTS時(shí)間序列預(yù)測框架進(jìn)行預(yù)測(http://gluon-ts.mxnet.io/index.html)，GluonTS是亞馬遜推出的一種使用 Gluon API 的 MXNet 時(shí)間序列分析工具包。

利用以上五種模型對(duì)上海市每月貿(mào)易總出口額(TS1)和上海市每月對(duì)美國市場的貿(mào)易出口額(TS2)進(jìn)行預(yù)測和預(yù)測效果評(píng)估，樣本數(shù)據(jù)區(qū)間是2014年1月到2019年12月，訓(xùn)練期是2014年1月到2018年12月，測試期是2019年1月到2019年12月。表1給出五種預(yù)測模型CRPS值，可以看出，深度狀態(tài)空間模型(DSSM)、深度自回歸模型(DeepAR)和Tansformer模型的預(yù)測CRPS值相對(duì)較小，表明這三種方法預(yù)測效果較好，并且預(yù)測效果都明顯優(yōu)于傳統(tǒng)的自回歸求和移動(dòng)平均模型(ARIMA)，其中Transformer模型的預(yù)測效果是相對(duì)最優(yōu)。圖6和圖7是Transformer模型的預(yù)測效果圖。

表1 五種模型預(yù)測CRPS值

圖6 利用Transformer模型預(yù)測上海市總出口額

圖7 利用Transformer模型預(yù)測出口市場為美國的上海市出口額

4 結(jié) 語

盡管傳統(tǒng)的統(tǒng)計(jì)建模方法將結(jié)構(gòu)假設(shè)合并到模型中，使得模型易于解釋，但是在現(xiàn)代預(yù)測應(yīng)用中，傳統(tǒng)統(tǒng)計(jì)模型對(duì)時(shí)間序列單獨(dú)建模，這就需要大量的勞動(dòng)和計(jì)算成本。深度學(xué)習(xí)方法恰好可以識(shí)別時(shí)間序列內(nèi)部和時(shí)間序列之間的復(fù)雜模式，所需的人力要少得多，但是這些模型所做的結(jié)構(gòu)假設(shè)較少，很難解釋，通常需要更大的訓(xùn)練數(shù)據(jù)集來學(xué)習(xí)得到準(zhǔn)確的模型。由此產(chǎn)生了將傳統(tǒng)統(tǒng)計(jì)模型與深度學(xué)習(xí)融合的一些新的預(yù)測方法，這些方法較好地克服兩方面的不足。它們既允許模型自動(dòng)提取特征并學(xué)習(xí)復(fù)雜的時(shí)間模式，同時(shí)也可以實(shí)施和利用時(shí)間平滑等假設(shè)，使模型可解釋。本文在綜述時(shí)間序列預(yù)測與深度學(xué)習(xí)文獻(xiàn)的基礎(chǔ)上，重點(diǎn)介紹三種與深度學(xué)習(xí)相結(jié)合的時(shí)間序列預(yù)測模型，并利用這些模型預(yù)測中美貿(mào)易摩擦背景下的上海市出口額數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明，相比于傳統(tǒng)的時(shí)間序列預(yù)測方法(ARIMA模型)，基于深度學(xué)習(xí)的時(shí)間序列預(yù)測方法的預(yù)測CRPS值顯著降低，預(yù)測效果更優(yōu)。