基于ARIMA和AT-LSTM組合模型的股票價格預測

摘要：ARIMA、LSTM等多種預測模型已在時間序列預測中得到應用，預測精度參差不齊。ARIMA、LSTM以及ARIMA-LSTM組合模型的預測精度仍有提升空間。為LSTM引入注意力機制形成AT-LSTM模型，將ARIMA的預測殘差引入AT-LSTM，進一步提高預測精度。利用不同的評估方法對混合模型進行評估，實驗結果表明ARIMA和AT-LSTM組合模型的誤差降低4倍，預測精度得到了提高。

關鍵詞：時間序列預測;ARIMA;LSTM;組合模型

中圖分類號：TP391? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）11-0118-04

1? 引言

在時間序列預測方面，最常見的便是ARIMA模型，ARIMA是在20世紀70年代由George Box和Gwilyn Jenkins提出的一種著名的時間序列預測方法，ARIMA模型是一種線性序列預測模型，受到輸入的時間序列特征的限制，在處理平穩的時間序列上有很好的效果，但在處理非平穩數據上，其預測結果存在很多噪聲，導致預測結果無法使用。

在1997年Sepp Hochreiter 與 Jürgen Schmidhuber[1]聯合提出了LSTM模型，經過了20多年發展，LSTM在語言識別、文本處理、機器翻譯、時間序列預測等方面得到了廣泛應用。但LSTM也有其局限性，因為LSTM主要是隨著時間推移進行順序處理，在面對很長的序列時處理起來存在問題。Dzmitry Bahdanau[2]在2105年提出注意力模型，并應用在機器翻譯上，有效解決了LSTM在較長序列處理上的問題， Qin[3]使用基于雙階段注意力機制的RNN模型進行了時間序列預測，證實了注意力機制在時間序列預測方面的可行性。

股票價格是一個動態、非線性復雜系統，具有突發性、隨機性和規律復雜性等特點[4]。僅使用ARIMA模型對股票價格進行預測很顯然無法取得很好效果，Zhang[5]在2003年提出ARIMA與LSTM神經網絡模型組成混合模型可大幅提高預測精度，他認為以往傳統的預測模型，例如ARIMA，是一種線性模型，擅長處理時間序列中的線性部分，LSTM神經網絡模型是一直非線性模型，可以更好地處理時間序列中的非線性部分，ARIMA-LSTM混合模型便是這一思想的重要成果之一。

本文將以中國石油、中國石化兩家公司近9年的當日股票交易收盤價為數據集，使用引入注意力機制的ARIMA-LSTM模型進行預測，并將預測結果與ARIMA模型、LSTM模型的預測結果進行對比。

2 模型介紹

2.1 ARIMA模型

ARIMA模型，即差分整合移動平均自回歸模型，是時間序列預測常用的一種模型。

ARIMA（p，d，q），其中AR是自回歸，p為自回歸項數;MA為移動平均，q為移動平均項數;d為使非平穩的時間序列變為平穩的時間序列需要進行的差分次數。

ARIMA模型的表現形式為[5]：

[yt=μ+i=1pγiyt-i+εt+i=1qθiεt-1]? ? ? ? ? ?（1）

式中：[yt]—當前值;

[μ]—常數項;

[p]—自回歸的階數;

[q]—移動平均的階數;

[εt]—隨機擾動項序列;

2.2 Augmented Dicky-Fuller（ADF）檢驗

在使用ARIMA模型時需要所輸入的時間序列是平穩的，所以在輸入之前，需對時間序列進行檢測，ADF檢驗是一種比較常用的統計檢測方法。

在一個自回歸過程中：[yt=byt-1+a+εt]，如果滯后項系數b=1，則稱為單位根。通過ADF檢驗判斷序列中是否存在單位根，若不存在單位根，則序列平穩;否則，序列不平穩。

通過差分之后ADF檢驗，可以判斷序列經過幾次后形成平穩的時間序列，從而得出差分次數d。

2.3 LSTM模型

1997年LSTM模型的提出很好地解決了RNN會出現梯度爆炸和消失的問題，LSTM模型使用了若干特殊的“門”，分別為輸入門、輸出門和遺忘門。LSTM模型結構如圖1所示。

LSTM模型前向計算方法可表示為[1]：

輸入門：

[it=σ（Wxixt+Whiht-1+WCiCt-1+bi）]? ? ? ? （2）

遺忘門：

[ft=σ（Wxfxt+Whfht-1+WCfCt-1+bf）]? ? ? ? ? ? ? （3）

細胞狀態：

[Ct=ft⊙Ct-1+it⊙tanh（WxCxt+WhCht-1+bC）]? ? ?（4）

輸出門：

[Ot=σ（WxOxt+WhOht-1+WCOCt-1+bO）]? ? ? ?（5）

隱藏層狀態：

[ht=Ot⊙tanh（Ct）]? ? ? ? ? ? ? ? ? ? ? （6）

以上式中：[W]—門的權重向量;

[b]—偏置量;

[σ]—sigmoid激活函數;

[tanh]—雙曲正切激活函數;

2.4 AT-LSTM模型

Qin認為時序預測問題可能會有眾多的外部變量，網絡可能無法精確地選擇相關變量。同時，Qin受到一些人類注意力的啟發，認為雙階段的注意力模型能很好地模擬人類行為，并將這種雙階段注意力機制引入到RNN中，形成DA-RNN（Dual-Stage Attention-Based RNN） 模型[3]。

整個模型可以分為兩部分，第一部分引入input attention mechanism對每一時刻的外部輸入自適應性地提取相關性，結構如圖2[3];第二部分引入temporal attention mechanism捕獲encoder的長期時序依賴信息，結構如圖3[3]。

模型的輸入是[（x1，x2...xt）]，每個x都是包含n個特征的向量，給定一個目標序列[（y1，y2...yt-1）] ，通過[yt∧=F（y1，y2...yt-1，x1，x2...xt）]，得到最終的預測值，相當于用多變量來預測單變量。

本文所使用的AT-LSTM使用DA-RNN的temporal attention? mechanism為seq2seq的decoder引入注意力機制，從而避免seq2seq因過長序列導致性能下降。

在temporal attention? mechanism中，需要將t時間之前的隱藏層狀態[dt-1]和LSTM單元的細胞狀態[C't-1]作為該層的輸入，通過計算得到：

[lit=vTdtanh（Wd[dt-1;C't-1]+Udhi）] 1≤i≤T? ? ? ? ? ?（7）

通過 softmax 層，我們可以得到第 i 個decoder隱藏狀態[hi]和注意力權重[βit]。

[βit=exp（lit）j=1Texp（ljt）]? ? ? ? ? （8）

解碼器對所有的decoder的隱藏狀態按照權重求和得到帶有注意力的隱藏層狀態[Ct]。

[Ct=k=1Tβkthk]? ? ? ? ? ? ? ?（9）

將[[C1]，[C2]...[Ct]]和目標序列結合起來得到：

[y～t-1=Wd[yt-1;Ct-1]+b～]? ? ? ? ?（10）

利用新計算得到的[y～t-1]，更新decoder的隱藏層狀態。

[dt=LSTM（dt-1，y～t-1）]? ? ? ? ? ? ?（11）

最終可以計算出T時刻的預測值

[y～T=vTy（Wy[dT;CT]+bW）+bv]? ? ? ? ? ? ?（12）

2.5 ARIMA和AT-LSTM組合模型

組合模型由兩部分組成，第一部分為ARIMA模型，利用ARIMA模型對時間序列進行初步預測，生成預測結果[T1]和殘差序列[T2];第二部分為AT-LSTM模型，將第一部分生成的殘差序列[T1]作為AT-LSTM模型的輸入，利用AT-LSTM模型進行處理和預測，得到新的預測結果[T3]，將兩次預測結果[T1]和[T3]相結合便得到ARIMA和AT-LSTM組合模型的預測結果。

2.6 模型評估

使用均方差（MSE）、均方根誤差（RMSE）、平均絕對誤差（MAE）和平均絕對百分比誤差（MAPE）對模型進行評估。

已知真實值序列[[y1，y2...yn]]，運行模型后得到預測值序列[[y∧1，y∧2...y∧n]]。

對于MSE有：

[MSE=1ni=1n（y∧i-yi）]? ? ? ? ? （13）

誤差越大，MSE值越大，反之，模型的預測結果越精確。

對于RMSE有：

[RMSE=1ni=1n（y∧i-yi）]? ? ? z? ? ?（14）

RMSE作為 MSE 的一種輔助評價方法，適用于某些預測值損失更大的情況。

對于MAE有：

[MAE=1ni=1n|y∧i-yi|]? ? ? ? ? ? ?（15）

利用MAE來測量觀測值與真實值之間的絕對誤差的平均值。

對于MAPE有：

[MAPE=100%ni=1n|y∧i-yiyi|]? ? ? ? ? ? ?（16）

3 實驗

3.1 原始數據描述

對ARIMA模型，預先劃分訓練集和驗證集。在AT-LSTM模型中，通過設定windows_size，采用窗口滑動的方式生成訓練集和驗證集。例如windows_size = 4，那么將前4個樣本數據作為訓練集訓練模型，并預測第5個值，而第5個樣本數據作為驗證集對預測值進行檢驗。

3.2 建立ARIMA模型及線性預測

利用Augmented Dicky-Fuller（ADF）檢驗對兩個原始數據集進行檢驗，結果如下：

由ADF檢驗結果得，兩個數據集均需進行差分，對一階差分進行ADF檢驗，結果如下：

從原始數據集一階差分ADF檢驗結果可以得出，兩個數據集在一階差分后已平穩，無須再進行拆分。

通過繪制兩個數據集一階差分后的自相關（ACF）圖和偏自相關（PACF）圖確定ARIMA模型的自回歸的階數p和移動平均的階數q的可能組合，再利用循環函數，迭代嘗試不同組合AIC值，選取AIC值最小的組合。

對中國石油數據集進行預測使用ARIMA（5，1，0）模型，對中國石化數據集進行預測使用ARIMA（1，1，3）模型。

3.3 利用AT-LSTM進行非線性預測

通過ARIMA對數據集進行線性預測，生成了殘差序列，并將殘差序列作為非線性預測的輸入序列代入到AT-LSTM模型中。

在AT-LSTM首輪訓練和預測中，使用了以下可調參數：

實驗只對收盤價進行預測，所以模型的輸入和輸出維度均為1，AT-LSTM的層數設置為了1層。初始學習率設置為0.001，并使用Adam算法在訓練過程中對學習率進行動態調整。

預測結果如圖所示。

從預測結果圖片得出，兩組ARIMA和AT-LSTM組合模型對數據集的擬合程度很好。接下來通過設置不同可調參數的組合，利用MSE、RMSE、MAE和MAPE對模型進行評估，并將ARIMA、LSTM和組合模型的評價結果進行對比。結果如表格所示。

從表5可以總結出window_size和hidden_size的變化對模型的預測精度影響較其他參數大。Window_size的變化直接影響到AT-LSTM模型訓練集和驗證集的大小，對AT-LSTM的訓練產生影響。Hidden_size決定了AT-LSTM模型的復雜度，hidden_size越大，AT-LSTM模型越復雜。所以選擇更加合適的window_size和hidden_size將使得組合模型的預測精度進一步提高。

4 結束語

實驗結果表明，ARIMA和AT-LSTM組合模型較單個模型，預測誤差平均降低4倍。本次實驗使用的數據集大小為千位級，后續可嘗試使用更大數據集對模型進行驗證;本次實驗僅僅只是對股票交易中的“收盤價”進行了預測，對股票交易記錄的其他維度進行預測也具有價值。實驗結果也表明單獨使用LSTM模型在某種情況預測精度比ARIMA和AT-LSTM組合模型更高，說明該模型還有改進空間，可以進一步完善，并且該組合模型在股票交易以外的其他領域是否也具有較高的預測精度還有待考證。

參考文獻：

[1] Hochreiter S，Schmidhuber J.Long short-term memory[J].Neural Computation，1997，9（8）：1735-1780.

[2] Bahdanau D，Cho K，Bengio Y.Neural machine translation by jointly learning to align and translate[EB/OL].2014：arXiv：1409.0473[cs.CL].https：//arxiv.org/abs/1409.0473

[3] Qin Y，Song D J，Chen H F，et al.A dual-stage attention-based recurrent neural network for time series prediction[C]//Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence.August 19-26，2017.Melbourne，Australia.California：International Joint Conferences on Artificial Intelligence Organization，2017.

[4] 原云霄，王寶海.基于ARIMA模型對我國服務價格指數的預測[J].數學的實踐與認識，2018，48（7）：130-137.

[5] Zhang G P.Time series forecasting using a hybrid ARIMA and neural network model[J].Neurocomputing，2003，50：159-175.

收稿日期：2021-01-24

作者簡介：張怡（1993—） ，男，湖北荊州人，學士，研究方向為數據科學與工程。