基于TCN的時(shí)序數(shù)據(jù)研究

翟劍鋒

（中國社會(huì)科學(xué)院大學(xué)計(jì)算機(jī)教研部 北京市 102488）

時(shí)序數(shù)據(jù)是以時(shí)間為先后順序，記錄各個(gè)時(shí)間點(diǎn)觀測值的數(shù)據(jù)序列，反映了事物的發(fā)展變化規(guī)律。通過對(duì)時(shí)序數(shù)據(jù)進(jìn)行建模分析，尋求新的預(yù)測模型和方法，探究數(shù)據(jù)的變化規(guī)律，提高時(shí)序數(shù)據(jù)預(yù)測的準(zhǔn)確性，一直是學(xué)者的研究熱點(diǎn)。時(shí)間序列分析在工程、金融、科技、生產(chǎn)生活等眾多領(lǐng)域有著廣泛的應(yīng)用。通過將時(shí)間序列分析與機(jī)器學(xué)習(xí)相結(jié)合，可以更好的應(yīng)用于數(shù)據(jù)檢測、預(yù)測等場景。本文采用時(shí)序卷積神經(jīng)網(wǎng)絡(luò)對(duì)時(shí)序數(shù)據(jù)進(jìn)行分析及預(yù)測，并在太陽黑子數(shù)據(jù)集上進(jìn)行驗(yàn)證，同時(shí)與傳統(tǒng)的時(shí)序數(shù)據(jù)分析方法及長短時(shí)記憶網(wǎng)絡(luò)LSTM 的時(shí)序預(yù)測方法進(jìn)行類比。

1 相關(guān)工作

時(shí)間序列數(shù)據(jù)的分析，主要有傳統(tǒng)的基于統(tǒng)計(jì)的分析方法和以機(jī)器學(xué)習(xí)為基礎(chǔ)的的分析方法。隨著計(jì)算機(jī)計(jì)算能力的不斷提升及深度學(xué)習(xí)的發(fā)展，深度神經(jīng)網(wǎng)絡(luò)模型能夠更好的捕獲數(shù)據(jù)間的潛在關(guān)聯(lián)信息以提高模型的預(yù)測精度，國內(nèi)外研究人員逐漸將深度神經(jīng)網(wǎng)絡(luò)引入到時(shí)間序列數(shù)據(jù)的分析中來，成為當(dāng)前研究的熱點(diǎn)問題。

在早期的基于統(tǒng)計(jì)的分析方法中，Yule 和Walker 分別提出自回歸（AR）模型和移動(dòng)平均（MA）模型，用于預(yù)測市場的變化規(guī)律和大氣規(guī)律，奠定了基于統(tǒng)計(jì)的分析方法基礎(chǔ)，一直沿用至今。1970年，由Box 和 Jenkins 提出了自回歸差分移動(dòng)平均（ARIMA）模型，并驗(yàn)證模型的有效性。進(jìn)入本世紀(jì)以來，針對(duì)多變量、異方差等問題，Engle 提出自回歸條件異方差(ARCH)模型，解決了具有波動(dòng)性的時(shí)間序列預(yù)測問題，Bollerslov 進(jìn)一步放寬了 ARCH模型的約束條件，提出廣義自回歸條件異方差(GARCH)模型。Granger 提出了格蘭杰協(xié)整定理，主要用于處理協(xié)整和誤差修正模型二者之間的關(guān)系。

以機(jī)器學(xué)習(xí)為基礎(chǔ)的分析方法中，包括支持向量機(jī)、隨機(jī)森林、集成學(xué)習(xí)等方法。主要是利用數(shù)據(jù)的自身特征，建立從自變量到預(yù)測值的映射關(guān)系，并采用一定的優(yōu)化算法對(duì)代價(jià)函數(shù)進(jìn)行優(yōu)化，從而建立模型。Wang 等[1]利用支持向量機(jī)，構(gòu)建了基于機(jī)器學(xué)習(xí)的預(yù)測方法，在其文中平均預(yù)測精度可以達(dá)到95%以上，遠(yuǎn)超傳統(tǒng)的統(tǒng)計(jì)研究方法。

隨著神經(jīng)網(wǎng)絡(luò)的引入，楊怡等[2]將BP 神經(jīng)網(wǎng)絡(luò)和SARIMA組合對(duì)電力負(fù)荷數(shù)據(jù)進(jìn)行分析模擬，大量的實(shí)驗(yàn)結(jié)果表明其方法的有效性，有效地提高預(yù)測準(zhǔn)確度。孔江濤等[3]人利用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）解決城市路線規(guī)劃問題，能夠較容易的獲得多個(gè)最優(yōu)路線。周揚(yáng)等[4]引入長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)模型（LSTM），并驗(yàn)證基于LSRM 的方法在化肥價(jià)格預(yù)測中能夠獲得較高的準(zhǔn)確程度。Bao等[5]結(jié)合小波變換和LSTM 模型預(yù)測股票第二天的收盤價(jià)。Karim等[6]將注意力機(jī)制和LSTM 模型相結(jié)合，基于Attention 的LSTM模型進(jìn)行時(shí)間序列分類，很大程度上提升了分類的準(zhǔn)確性。

2 時(shí)序卷積神經(jīng)網(wǎng)絡(luò)

由于序列中的數(shù)據(jù)之間具有一定的相關(guān)性，即當(dāng)前的序列輸出不是獨(dú)立的，與先前的輸出之間具有一定的關(guān)聯(lián)。循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）能夠很好的將當(dāng)前輸出和先前輸出聯(lián)系起來，廣泛的運(yùn)行于自然語言處理、語音識(shí)別等領(lǐng)域。但隨著網(wǎng)絡(luò)深度的增加，RNN會(huì)出現(xiàn)梯度消失和梯度爆炸的問題。

長短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）是由RNN 擴(kuò)展而來，具有稱為“門”的內(nèi)部機(jī)制，可以調(diào)節(jié)信息流，用來解決循環(huán)神經(jīng)網(wǎng)絡(luò)較難保持長時(shí)間記憶的問題。LSTM 通過細(xì)胞狀態(tài)讓信息能夠在序列鏈中傳遞下去，同時(shí)通過“門”結(jié)構(gòu)來實(shí)現(xiàn)信息的添加和移除操作，可以有選擇的讓遺忘信息或接受信息。但由于每一個(gè)LSTM 的細(xì)胞里面都包含有4 個(gè)全連接層，如果LSTM 的時(shí)間跨度很大，并且網(wǎng)絡(luò)又很深，計(jì)算量會(huì)非常大，訓(xùn)練時(shí)間過程，同時(shí)LSTM 自身無法用于并行計(jì)算。

時(shí)序卷積網(wǎng)絡(luò)（TCN）以卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型為基礎(chǔ)，由具有相同輸入和輸出長度的擴(kuò)張的、因果的1D 全卷積層組成。TCN 模型中的卷積為因果卷積，層層之間具有因果關(guān)系，從而保證不會(huì)錯(cuò)失歷史信息或未來數(shù)據(jù)的情況發(fā)生。另外TCN 可以將任意長度的序列映射到相同長度的輸出序列，利用殘差模塊和擴(kuò)張卷積，以更好地控制模型的記憶長短，并提升預(yù)測能力。

2.1 一維全卷積

TCN 利用一維全卷積（1-D FCN）的結(jié)構(gòu)，每一個(gè)隱層的輸入輸出的時(shí)間長度都相同，維持相同的時(shí)間步，具體來看，第一隱層不管kerel_size 為多少，輸入若是n 個(gè)時(shí)間步，輸出也是n 個(gè)時(shí)間步，同樣第二隱層，第三隱層……的輸入輸出時(shí)間步長度都是n。對(duì)于第一個(gè)時(shí)間步，沒有任何歷史的信息，TCN 認(rèn)為其歷史數(shù)據(jù)全是0，圖1中kernel_size 為3。

2.2 因果卷積

和傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)的不同之處在于，因果卷積不能看到未來的數(shù)據(jù)，它是單向的結(jié)構(gòu)，不是雙向的。也就是說只有有了前面的因才有后面的果，是一種嚴(yán)格的時(shí)間約束模型，因此被成為因果卷積。

因果卷積對(duì)于上一層t 時(shí)刻的值，只依賴于下一層t 時(shí)刻及其之前的值。即輸出序列中的元素只能依賴于輸入序列中在它之前的元素。為了確保一個(gè)輸出與輸入具有相同的長度，需要進(jìn)行零填充。如果只在輸入數(shù)據(jù)的左側(cè)填充零，那么就可以保證因果卷積。假設(shè)輸入序列的右邊沒有填充，它所依賴的最后一個(gè)元素就是輸入的最后一個(gè)元素。現(xiàn)在考慮輸出序列中倒數(shù)第二個(gè)輸出元素。與最后一個(gè)輸出元素相比，它的內(nèi)核窗口向左移動(dòng)了1，這意味著它在輸入序列中最右邊的依賴項(xiàng)是輸入序列中倒數(shù)第二個(gè)元素。根據(jù)歸納，對(duì)于輸出序列中的每個(gè)元素，其在輸入序列中的最新依賴項(xiàng)與其本身具有相同的索引。圖2展示了一個(gè)輸入序列長度為4，kernel_size 為3 的示例。

在輸入數(shù)據(jù)左側(cè)填充為零的情況下，可以獲得相同的輸出長度，同時(shí)遵守因果關(guān)系規(guī)則。在沒有擴(kuò)展的情況下，維持輸入長度所需的零填充的數(shù)量總是等于kernel_size- 1。

2.3 擴(kuò)張卷積

卷積神經(jīng)網(wǎng)絡(luò)通過卷積計(jì)算形成記憶，感受野的大小反映了使用多少數(shù)據(jù)生成記憶。一個(gè)傳統(tǒng)的卷積層在輸出中特定的值取決于輸入中kernel_size 個(gè)數(shù)據(jù)，假如kernel_size 為3，那么輸出中的第5 個(gè)元素將依賴于輸入中的元素3、4 和5。當(dāng)將多個(gè)層疊加在一起時(shí)，這個(gè)范圍就會(huì)擴(kuò)大，圖3將kernel_size 為3 疊加兩層，得到的感受野大小為5。

一般而言，具有n 層且kernel_size 為k 的一維卷積網(wǎng)絡(luò)的感受野r 為r=1+n*(k-1)。即感受野大小與卷積核大小、卷積層數(shù)呈線性關(guān)系。因此，增加卷積層以及增大卷積核均能擴(kuò)大感受野。在保持層數(shù)相對(duì)較小的情況下，增加感受野大小的一種方法是向卷積網(wǎng)絡(luò)引入擴(kuò)張系數(shù)。擴(kuò)張系數(shù)是指輸入序列的元素之間的距離，該元素用于計(jì)算輸出序列的一個(gè)值。因此，傳統(tǒng)的卷積層可以看作是膨脹值為1 的擴(kuò)張層，圖4展示一個(gè)擴(kuò)張系數(shù)為2 的擴(kuò)張層的示例，其輸入數(shù)據(jù)長度為4，kernel_size 為3。

擴(kuò)張卷積的計(jì)算公式定義為：

式中，d 表示擴(kuò)張系數(shù)，k 表示卷積核大小。當(dāng) d 為1 時(shí)，擴(kuò)張卷積退化為普通卷積，通過控制 d 的大小，從而在計(jì)算量不變的前提下拓寬感受野。

如果多從疊加的卷積層的擴(kuò)張系數(shù)相同，可能使得部分時(shí)刻數(shù)據(jù)沒有參與計(jì)算。這個(gè)問題可以通過在層中向上移動(dòng)時(shí)，d 的值呈指數(shù)增加來解決。定義一個(gè)擴(kuò)張基數(shù)b，利用層數(shù)i 來計(jì)算特定層的擴(kuò)張系數(shù)d，即d=bi。圖5顯示了一個(gè)網(wǎng)絡(luò)，其中輸入長度為10，kernel_size 為3，擴(kuò)張基數(shù)為2，這將確保3 個(gè)擴(kuò)張的卷積層完全覆蓋。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)數(shù)據(jù)集來自比利時(shí)皇家天文臺(tái)網(wǎng)站(http://www.sidc.be/silso/datafiles) 發(fā)布的太陽黑子13 個(gè)月平滑月度數(shù)據(jù)。從1749年6月到2021年1月，共包含3265 組數(shù)據(jù)，其中2010年至2021年的數(shù)據(jù)為測試集，其他數(shù)據(jù)為訓(xùn)練集。

實(shí)驗(yàn)所使用的模型有ARIMA、LSTM、TCN，在盡量公平的前提下，LSTM 與TCN 的時(shí)間步均為120，具體參數(shù)設(shè)置如下：(1)ARIMA 分別取p=2，d=1，q=2；(2)LSTM 包含兩個(gè)隱藏層，隱藏層單元數(shù)為50；(3)TCN 每層的擴(kuò)張系數(shù)分別為［1，2，4，8，16，32］，每層卷積核個(gè)數(shù)均為32，卷積核大小為2。

為了評(píng)價(jià)模型的優(yōu)劣，采用均方根誤差(RMSE)為主要評(píng)價(jià)指標(biāo)，用于測量實(shí)際值和預(yù)測值之間的差異或殘差，三個(gè)模型的均方根誤差值分別為50.24，34.62 和28.36。

從評(píng)測結(jié)果可以看出，相對(duì)于其他對(duì)比模型，TCN 預(yù)測效果最好，在RMSE 指標(biāo)上最低。LSTM 能獲取數(shù)據(jù)序列的時(shí)序關(guān)系，預(yù)測效果優(yōu)于傳統(tǒng)的ARIMA 模型，但不如TCN 模型。

圖1：一維全卷積簡圖

圖2：因果卷積

圖3：感受野

圖4：擴(kuò)張卷積

圖5：擴(kuò)張系數(shù)

4 結(jié)束語

本文研究時(shí)間卷積網(wǎng)絡(luò)的基本思想，并將其應(yīng)用于太陽黑子數(shù)據(jù)集上進(jìn)行預(yù)測，同其他相關(guān)模型進(jìn)行驗(yàn)證類比。TCN 由6 層卷積層堆疊而成，每層通過Padding 的方式實(shí)現(xiàn)因果卷積，擴(kuò)張系數(shù)逐層呈指數(shù)增長。指數(shù)增長的擴(kuò)張系數(shù)使得模型可以獲取序列的長時(shí)記憶。實(shí)驗(yàn)結(jié)果表明，TCN 算法預(yù)測效果優(yōu)于LSTM，證明了運(yùn)用時(shí)間卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行時(shí)序數(shù)據(jù)分析的可行性。