基于神經網絡集成學習算法的金融時間序列預測①

徐曉芳, 管 瑞

(南開大學 金融學院, 天津 300350)

金融時間序列預測是金融領域中一個重要研究方向, 可以為二級股票市場投資提供市場走勢、風險和入場出場時機的預測. 傳統(tǒng)金融時間序列預測方法包括技術分析和計量經濟學模型. 技術分析是利用技術指標或者結合多種技術指標對未來一段時間股票走勢進行方向性預測, 計量經濟學方法是利用多元線性回歸、ARIMA 模型等模型對歷史股票數(shù)據(jù)進行最優(yōu)化擬合, 然后對未來進行預測.

人工智能可以學習到時間序列中的非線性關系,能夠有效處理金融數(shù)據(jù)中低信噪比問題, 在金融時間序列預測上具有顯著的優(yōu)勢, 尤其是以大數(shù)據(jù)為背景的神經網絡類模型. 國外相關文獻主要以宏觀經濟數(shù)據(jù)和股票價格預測為主, Ahmed 等利用傳統(tǒng)機器學習模型對宏觀經濟中M3 時間序列進行預測[1]; Cao 等利用EMD 分解和LSTM 模型對美國股票價格時間序列進行預測, 獲得了較高的預測精度[2]; Siami-Namini 等比較了LSTM 模型和ARIMA 模型在美國重要股票指數(shù)上的預測水平差異[3]; Dingli 等研究了CNN 模型在美國股票價格序列上的預測能力[4]; Kumar 等測試了LSTM 對納斯達克股票價格的預測能力[5]; Shen 等比較了GRU 和SVM 在美國和歐洲不同股票指數(shù)上的預測能力[6]. 國內相關文獻主要以單只股票指數(shù)預測為主, 谷麗瓊等利用結合注意機制的GRU 模型對科大訊飛股票價格進行預測, 預測效果優(yōu)于其他模型[7]; 喬若羽比較研究神經網絡在上證指數(shù)上的預測能力, 研究了模型優(yōu)化方向[8]; 李坤等利用支持向量機對A 股大盤指數(shù)和個股進行預測[9]; 王文波等結合EMD 分解和神經網絡對上證指數(shù)和深證成指進行預測[10].

本文在傳統(tǒng)神經網絡(NN)、RNN、LSTM 和GRU 等模型基礎上, 構建集成學習模型, 研究神經網絡類模型和集成學習模型在金融時間序列預測上的表現(xiàn).本文選擇ARIMA 模型和線性回歸模型為基準模型, 選擇16 只A 股市場和全球重要發(fā)達國家和地區(qū)股票市場指數(shù)為樣本, 研究模型在長期、中期和短期3 種不同預測期間上的預測能力, 比較模型在不同國家和地區(qū)的適用情況.

1 模型構建

1.1 傳統(tǒng)神經網絡模型

神經網絡模型由全連接層組成, 按照全連接層作用分類, 可以分為輸入層, 隱藏層和輸出層, 如圖1(a).神經網絡中的節(jié)點是非線性轉換單元, 負責對輸入進行線性組合并且利用激活函數(shù)進行非線性輸出, 如圖1(b).

圖1 傳統(tǒng)神經網絡模型

激活函數(shù)是神經網絡可以進行非線性擬合的核心,常見激活函數(shù)有S 型函數(shù)(Sigmoid)、雙曲正切函數(shù)(tanh)和修正線性單元(ReLU), 如式(1).

1.2 循環(huán)神經網絡

傳統(tǒng)神經網絡的輸入是同質的, 無法區(qū)分輸入序列的先后關系, RNN 將輸入看成一個新的維度, 允許模型按照時間順序輸入特征, 如圖2 所示.

圖2 RNN 模型

RNN 雖然可以利用狀態(tài)向量擁有記憶能力, 但是記憶能力有限, 只能記憶當前時刻最近的狀態(tài), 無法處理長期依賴問題. LSTM 模型解決了長期依賴問題, 擁有長期記憶能力, 同時也解決了RNN 梯度爆炸和梯度離散的問題.

圖3 LSTM 模型

GRU 是LSTM 的簡化版本, 性能與LSTM 類似,但是大大減少了計算復雜度, 提高了計算效率[15]. GRU減少了門控的數(shù)量并且去掉了狀態(tài)向量ct, 只保留重置門rt和更新門zt, 如圖4 所示.

圖4 GRU 模型

GRU 輸入為ht?1和xt, 輸出為ht和yt,ht作為下一個時刻的輸入,yt作為最終輸出結果, GRU 的數(shù)據(jù)運算過程如式(5).

1.3 集成學習

股票指數(shù)在不同的資本市場和不同的時期會呈現(xiàn)出不同的趨勢和特點. 機器學習模型有其各自的優(yōu)缺點和最優(yōu)的適用場景, 單一機器學習模型很難適用于股票市場中的所有情況. 集成學習(ensemble learning)可以結合多個基學習器, 獲得一個表現(xiàn)穩(wěn)定且優(yōu)異的強學習器, 能夠同時減少預測偏差和方差[16].

本文選擇傳統(tǒng)神經網絡(NN)、RNN、LSTM 和GRU 4 個模型作為基學習器, 利用bagging 集成學習構建強學習器, 如圖5 所示.

圖5 EL 模型

1.4 傳統(tǒng)金融時間序列模型

傳統(tǒng)金融時間序列模型主要包括n階自回歸模型(AR(n)模型)和差分自回歸移動平均模型(ARIMA(p,d,q)模型).

ARMA(p,q)模型表達式如式(9)所示:

對于非平穩(wěn)金融時間序列, 傳統(tǒng)金融計量經濟學引用d階差分來平穩(wěn)化金融時間序列, 并且使用經過差分后的金融時間序列進行ARMA(p,q) 建模, 即ARIMA(p,d,q)模型[17,18].

2 實證研究

2.1 數(shù)據(jù)選取

本文數(shù)據(jù)來源是wind 數(shù)據(jù)庫, 樣本時間范圍為2005 年1 月1 日到2020 年12 月31 日. 本文選擇7 只我國A 股市場指數(shù)和9 只國際市場指數(shù)共計16 只重要股票指數(shù)作為樣本, 比較機器學習模型和傳統(tǒng)時間序列預測模型在不同市場和擁有不同成分股的股票指數(shù)上的預測能力, 增加了結論的可靠性和穩(wěn)健性.

我國A 股市場指數(shù)分別為上證綜指(000001), 上證50 (000016), 上證180 (000010), 滬深300 (000300),深證成指 (399001), 創(chuàng)業(yè)板指(399006) 和中小板指(399005)[19]; 全球市場指數(shù)分別為道瓊斯工業(yè)指數(shù)(DJI),標普500 (SPX), 納斯達克指數(shù)(IXIC), 恒生指數(shù)(HSI),法國CAC40 (FCHI), 英國富士100 (FTSE), 德國DAX(GDAXI), 日經225 (N225)和韓國綜合指數(shù)(KS11).

2.2 評價指標與DM 檢驗

本文使用平均絕對誤差(MAE) 度量模型預測能力, 并且比較神經網絡集成學習(EL)與傳統(tǒng)金融時間序列預測模型直接預測誤差MAE衡量EL性能提升水平. 本文進一步使用Diebold-Mariano 檢驗來對模型預測能力進行統(tǒng)計顯著性檢驗, 比較神經網絡類模型和集成學習是否顯著優(yōu)于傳統(tǒng)ARIMA 和AR 模型[20,21].

MAE用于衡量預測值與真實值誤差絕對值的均值, 可以比較模型預測能力的優(yōu)劣, 本文為了便于展示,將MAE結果擴大了100 倍, 如式(10).

2.3 模型參數(shù)

神經網絡模型超參數(shù)包括隱藏層層數(shù)、神經元個數(shù)、激活函數(shù)和模型優(yōu)化器等. 為了提高模型的收斂速度, 本文對數(shù)據(jù)進行最大最小值標準化, 對神經網絡類模型采用隨機梯度下降(SGD)優(yōu)化器, 并且配合學習率遞減策略[23]. 4 種基學習器的具體超參數(shù)取值如表1 所示. 本文基準模型選擇ARIMA(p,d,q)模型和AR(n)模型, 兩個基準模型的參數(shù)優(yōu)化及選擇如表2 和表3 所示.

表1 4 種基學習器超參數(shù)取值

表2 ARIMA(p, d, q)模型超參數(shù)選擇

表3 AR(n)模型超參數(shù)選擇

2.4 實證結果

本文選擇全球16 只重要的股票價格指數(shù)時間序列為樣本, 時間跨度為2005 年1 月1 日到2020 年12 月31 日, 共計3889 個交易日, 由于我國A 股市場某些指數(shù)編制起始時間不同, 交易日個數(shù)略少, 具體如表4.

表4 樣本數(shù)據(jù)時間跨度

本文將樣本劃分為不同長度的訓練集和測試集,用以檢驗神經網絡集成學習模型在不同預測期間長度上的表現(xiàn), 具體可分為長期預測(100 個交易日預測),中期預測(50 個交易日預測)和短期預測(30 個交易日預測), 即選擇樣本中最后100、50 和30 個交易日數(shù)據(jù)作為測試集, 其他交易日數(shù)據(jù)作為訓練集.

實證結果如表5–表7 所示. 表5–表7 以MAE為評價指標, 分別展示了神經網絡類模型和神經網絡集成學習模型在全球不同市場不同股票指數(shù)下, 在不同預測期間的預測能力, 比較了神經網絡集成學習(EL)相比于傳統(tǒng)金融時間序列預測模型ARIMA 和AR 模型的性能提升水平.

表5 長期模型預測誤差(MAE)和性能提升

表6 中期模型預測誤差(MAE)和性能提升

由表5–表7 可知, NN、RNN、LSTM、GRU 和集成學習模型的樣本外預測能力顯著優(yōu)于傳統(tǒng)ARIMA和線性回歸模型, 在不同股票指數(shù)和不同預測時間長度上的表現(xiàn)都優(yōu)于傳統(tǒng)模型, 其平均預測性能提升大約35%.

表7 短期模型預測誤差(MAE)和性能提升

LSTM 和GRU 模型在英國富士100 和日經225等極少數(shù)股票指數(shù)上表現(xiàn)不如線性回歸模型, 其他情況下都優(yōu)于ARIMA 和AR 模型. 其中原因是股票指數(shù)與近期股市表現(xiàn)相關性最強, 與長期表現(xiàn)相關性變弱,導致具有長期記憶能力的LSTM 和GRU 模型預測能力下降. 集成學習作為強學習器, 在預測穩(wěn)定性和預測精度上優(yōu)于其他神經網絡類模型, 集成學習在不同期限上的樣本外預測值和真實值的時間序列, 如圖6–圖8所示.

圖6 集成學習在長期預測(100 天)上的表現(xiàn) (橫坐標表示天數(shù), 縱坐標表示股票指數(shù))

圖7 集成學習在中期預測(50 天)上的表現(xiàn) (橫坐標表示天數(shù), 縱坐標表示股票指數(shù))

圖8 集成學習在短期預測(30 天)上的表現(xiàn) (橫坐標表示天數(shù), 縱坐標表示股票指數(shù))

神經網絡類模型和集成學習在不同國家和地區(qū)的股票市場中的表現(xiàn)具有一定的差異. 在中國股票市場和美國股票市場上, 神經網絡類模型和集成學習比ARIMA 模型性能提升大約45%, 比AR 模型性能提升大約35%; 在其他發(fā)達國家股票市場上, 神經網絡類模型和集成學習比ARIMA 模型依然有顯著的優(yōu)勢, 性能提升大約70%, 但是比AR 模型性能提升只有15%左右.

本文利用DM 檢驗, 進一步檢驗神經網絡類模型和集成學習在不同預測期間和不同國家股票市場上的表現(xiàn)的是否顯著優(yōu)于傳統(tǒng)時間序列預測模型, 結果如表8 所示. 表8 檢驗了在不同預測期限上, 神經網絡類模型和集成學習分別在中國股票市場、美國股票市場和其他發(fā)達國家股票市場上相比于傳統(tǒng)時間序列模型是否存在顯著的優(yōu)勢. NN、RNN、LSTM、GRU 和集成學習模型在中國市場和美國市場上的預測能力顯著優(yōu)于傳統(tǒng)時間序列模型, 但是在其他發(fā)達國家市場的表現(xiàn)不具有統(tǒng)計顯著性.

表8 不同股票市場預測能力DM 檢驗

2.5 結果分析

ARIMA 和AR 等傳統(tǒng)金融時間序列預測模型只能捕獲時間序列中的線性關系, 無法捕獲時間序列中的非線性關系. 股票指數(shù)是包含了眾多噪音在內的非線性時間序列, 線性模型只能預測股票指數(shù)的線性趨勢部分, 無法預測股票指數(shù)非線性趨勢部分.

神經網絡類模型可以捕獲時間序列中的非線性關系, 集成學習可以有效地降低單一神經網絡模型的過擬合風險. 基于神經網絡類模型的集成學習不僅僅可以有效地識別出股票指數(shù)中的非線性關系, 還可以避免模型擬合過多的噪音, 增強模型的泛化能力. 所以神經網絡集成學習在金融時間序列預測上的表現(xiàn)遠遠優(yōu)于傳統(tǒng)金融時間序列預測模型.

3 結論

本文以7 只A 股市場指數(shù)和9 只國際市場指數(shù)為樣本, 研究了神經網絡類模型和基于神經網絡的集成學習在金融時間序列上的預測能力與傳統(tǒng)時間序列模型的預測能力的差異, 提出基于神經網絡類模型的集成學習時間序列預測模型, 提高了金融時間序列的樣本外預測能力.

本文主要結論如下: (1) 神經網絡類模型顯著優(yōu)于ARIMA 模型和線性回歸模型. LSTM 和GRU 模型在英國富士100 和日經225 等極少數(shù)股票指數(shù)上表現(xiàn)不如線性回歸模型, 在其他股票指數(shù)上的表現(xiàn)顯著優(yōu)于ARIMA 和AR 等傳統(tǒng)時間序列模型. NN、RNN 和集成學習模型顯著優(yōu)于傳統(tǒng)時間序列模型. (2) 基于神經網絡類的集成學習模型在所有機器學習模型中表現(xiàn)最穩(wěn)定, 在短期預測、中期預測和長期預測和全部股票市場指數(shù)上的表現(xiàn)顯著優(yōu)于傳統(tǒng)時間序列模型. (3) 神經網絡類模型和基于神經網絡的集成學習模型在中國股票市場和美國股票市場中的表現(xiàn)顯著優(yōu)于其他發(fā)達國家股票市場.

本文的研究拓展了金融時間序列預測的理論研究,為股票投資提供風險參考和入場出場時機參考. 在宏觀上, 本文研究可以為投資者提供股票走勢的預測和風險預測; 在微觀上, 本文研究可以減少股票市場不必要的波動, 促進中國股票市場合理定價, 促進中國股票市場繁榮穩(wěn)定發(fā)展.