基于神經網絡的股票預測模型

喬若羽

(中國科學技術大學 統計與金融系，安徽 合肥 230026)

0 引言

股票市場是宏觀經濟形勢的晴雨表和風向標，股票市場的走向可在一定程度上反映當前的經濟形勢，對股票市場的準確預測有助于國家及時調整經濟政策，維護市場穩定，因此對股票市場的準確預測意義重大。

但是股票預測的準確性受到多種因素的限制。由于股票數據是隨機游走的金融時間序列， Fama 論證了金融時間序列的預測難點在于其存在的高噪音[1]。若用統計學模型預測金融時間序列，必須對數據進行預處理，再輸入到模型中，而這樣會破壞數據的完整性和真實性。其次，股票數據是非線性且非平穩的，Singh和Srivastava認為股票數據的非線性和非平穩性導致傳統的多元回歸以及線性回歸模型應用受限，只有更高級的模型才可以準確描述此類非線性的金融時間序列[2]。最后股票市場受到多種復雜且不確定的因素影響，如長期受到宏觀政策的影響，短期受到市場預期的影響，也會受到一些突發事件或國際事件的干擾，如2018年中美貿易戰對中國股市的影響巨大。

國內外的學者嘗試過多種方法預測股票市場，Chulho Jung和Roy Boyd在1996年采用向量自回歸(VAR)模型、誤差修正模型(ECM)和卡爾曼濾波模型(KFM)對英國股市進行預測[3]。

Wolfgang Bessler和Peter Lückoff利用貝葉斯向量自回歸模(Bvar)模型預測德國一些大型公司的投資組合回報，但是預測效果不佳[4]。

Adebiyi等人基于紐約證券交易所和尼日利亞證券交易所的股票數據嘗試運用ARIMA模型預測股票價格，結果顯示該模型具有短期預測潛力[5]。但由于股票數據是非線性非平穩的金融時間序列，并且影響股票價格的因素繁多復雜，傳統的統計方法和計量模型需要對輸入數據進行預處理且數據量不能過多，導致預測效果并不理想。

近年來，深度學習和神經網絡嶄露頭角，在目標檢測[6]、圖像分類[7]、圖像分割[8]等多個領域取得了矚目的成就。神經網絡預測解決了傳統預測方法難以解決的問題，為股票預測帶來了曙光[9]。神經網絡是對人腦抽象和具象能力的人工模擬，具有強大的擬合與表達能力[10]。首先神經網絡具有非線性映射能力，數學理論可證明神經網絡可以無限逼近所有的非線性連續函數；其次神經網絡具有自學習能力，神經網絡在訓練時會自動調節，找出輸入與輸出之間的內在關系；最后神經網絡具有一定的容錯能力，即使部分神經元受損也不會對結果產生較大的影響。神經網絡的這些能力可有效地解決股票數據的不確定、非線性、非平穩等問題，多位學者的研究結果均顯示神經網絡模型預測股票價格的能力要優于傳統計量模型，從而驗證了神經網絡在股票市場預測中的可行性。

Zhang等人研究發現神經網絡模型預測非線性時間序列數據的準確度遠遠高于ARIMA 模型[11]。Bayogly和Bahadir以不同的標準對貝葉斯估計和神經網絡模型的預測效果進行比較，結果表明神經網絡模型的預測效果更好[12]。劉海玥和白艷萍建立了AR模型、RBF和GRNN神經網絡模型，滾動預測上證指數的開盤價、收盤價、最高價和最低價并與實際價格對比和分析誤差，論證了三種模型的有效性，但是AR模型相對預測不穩定，RBF和GRNN網絡訓練速度很快且GRNN表現出了更優秀的效果[13]。

本文基于深度學習算法，構建了一系列用于股票市場預測的神經網絡模型，包括基于多層感知機(Multi-Layer perceptrons，MLP)[14]、卷積神經網絡(Convolution Neural Network， CNN)、 遞歸神經網絡(Recurrent Neural Network，RNN)[15]、長短期記憶網絡(Long Short-Term Memory，LSTM)[16]和門控神經單元(Gated Recurrent Unit，GRU)[17]的模型。針對RNN、LSTM和GRU等網絡模型難以充分利用時間維度信息的問題，本文引入注意力機制(Attention Mechanism)[18]來區分不同時間維度信息對預測的重要程度，進而提高了模型的預測精度。 本文基于上證指數數據進行了充分的實驗，論證了所構建模型的有效性，并通過調控模型中的重要參數進行了充分的對比實驗，探究不同的架構對性能的影響。本文旨在為基于神經網絡的股票預測模型給出合理的優化方向。

1 基于神經網絡的多種模型構建

針對金融數據的格式和需要預測的指標，本文使用神經網絡中的不同模塊構建了多個模型進行比較分析。模塊包括全連接層(Fully-Connected Layer)、CNN、RNN以及RNN的兩種變體網絡: LSTM和GRU。此外，本文考慮將注意力機制引入RNN、LSTM和GRU中，進一步提升網絡模型的學習能力。由于需要處理的股票數據本身維度較低，本文的模型中未使用Batch Normalization(BN)[19]、LayerNormalization(LN)[20]等標準化手段來防止梯度消失、梯度爆炸問題和加快訓練速度。

1.1 基于多層感知機的網絡模型

多層感知機(Multi-Layer perceptrons，MLP)由多層的全連接層構成。層與層之間使用的非線性激活函數通常為Sigmoid、Tanh、線性整流函數(Rectified Linear Unit，ReLU)及ReLU的一系列變種如(LeakyReLU，PReLU，CReLU等等)。全連接層的運算本質是矩陣運算，第i層全連接層的運算模式可表示為:

xi+1=Wixi+bi

(1)

其中，Wi和bi分別表示第i層全連接層的權值和偏置項。

圖1 基于多層感知機的網絡模型

本節構建了含有五層全連接層的網絡模型，如圖1所示，每層輸出元素逐漸遞減，分別為64、32、16、8 、1。全連接層由于參數量過大，且輸出與輸入的所有元素均有關系，很容易導致過擬合的發生。因此模型中每層之間加入了ReLU函數作為非線性激活單元來防止過擬合，增加非線性表達能力，具體表達形式如下:

(2)

Sigmoid函數和Tanh函數作為非線性激活函數在全連接層和卷積層中表現較差，收斂速度慢且易導致梯度消失現象。這兩種函數被廣泛應用于遞歸神經網絡中，具體表現形式為：

(3)

(4)

1.2 基于CNN的網絡模型

卷積神經網絡CNN多用于圖像的各種處理任務，如目標檢測、圖像分類、圖像分割等等，并展示了遠遠超出傳統方法的精度。由于圖片數據多具有局部相關性，某個像素點的值通常和它臨近像素點均有關聯，CNN能夠很好地挖掘局部特征相關性，相比于全連接層對全局特征的關注，能夠更好地提取出紋理信息和邊緣信息。

圖2 基于CNN的網絡模型

本節針對需要處理的時間序列金融數據構建了基于CNN的網絡模型，如圖2所示。考慮到金融數據除了具有時間維度之外，在每個具體時間下也有一系列描述特征的數據，稱為特征維度。該模型中，本文使用tn表示預測時需要參考的時間維度數，fn表示每一時間維度下的特征維度數。

金融數據首先被并行地輸入三個不同的卷積層中，卷積核大小分別為1×fn、fn×fn和tn×fn，對應的特征圖(feature maps)數量均為64。 三個卷積層的輸出維度分別為64×1×1、64×1×|tn-fn|和64×1×tn。卷積核尺寸這樣設置的原因在于，金融數據同一時間維度下的所有特征均用來描述該數據的特性，且與圖片數據的區別在于，這些特征具有較少的局部相關性。如果使用多用于圖像任務的方形尺寸卷積核如3×3、5×5等，只能提取較弱的局部信息，而且會部分丟失同一時間維度下的所有特征之間互相的關聯性。考慮到這一點，本文構建了三種不同的卷積核，分別用來提取不同尺度下的特征。1×fn、fn×fn和tn×fn的卷積核分別用于提取每一時間維度、fn個時間維度和所有參考的時間維度下所有特征之間的關聯信息，分別對應于從小尺度到大尺度信息的提取。卷積層的輸出經過ReLU函數后， 經過維度變換轉化為一維向量，以便于輸入到下一層全連接層。三個不同尺寸的全連接層分別用于處理三個不同維度的向量，輸出的值相加之后得到最終的預測值。

通常來說，多尺度的特征提取能夠提升網絡的性能，同時針對金融數據的特性，本文構建了一個較為適合處理時間序列數據的基于CNN的模型，并在第2章實證分析中和方形尺寸卷積核的CNN模型進行了對比。此外，本文也通過增加卷積層的數量探究模型性能的變化，并在實證分析中進行了詳細論證。

1.3 基于RNN、LSTM和GRU的遞歸網絡模型

遞歸神經網絡是一類由各單元鏈式連接而成的有向循環神經網絡。通過各單元的連接， 遞歸神經網絡可以儲存神經元當前時刻的輸入和前一時刻的輸出關系，在處理時間序列數據上優于其他類型的神經網絡。

圖3 RNN、LSTM和GRU的單元

最早提出的RNN模型單元如圖3(a)所示，每一個RNN單元僅包含全連接層和一個tanh激活函數，用來學習當前時刻輸入和輸出的函數關系。t時刻RNN單元的具體計算模式如下:

ht=tnah(whxxt+wthht-1+bh)

(5)

oi=g(w(t+1)hht+bo)

(6)

其中，w表示從各類輸入到輸出的全連接層權值，在不同的RNN單元內共享權值。xt、ht和ot分別表示輸入序列、隱藏層序列和最終輸出序列，bh和bo分別表示兩次運算中的偏置項。g函數根據任務的不同可以選取不同的函數，例如在分類任務中一般選擇softmax函數用于輸出最終分類結果。

RNN對于短期記憶效果很好，但是結構較為簡單，難以勝任長期記憶任務，易導致結果失真，運算效率低下。LSTM通過復雜的設計實現了長時記憶的任務，在時序處理任務中效果顯著。LSTM單元的具體結構如圖3(b)所示，t時刻的具體計算模式為:

ft=sigm(wfxxt+wthht-1+bf)it=sigm(wixxt+wthht-1+bi)gt=tanh(wgxxt+wghht-1+bg)ct=ft×ct-1+it×gtot=sigm(woxxt+wohht-1+bo)

(7)

其中，ft表示遺忘門，決定有多少來自上一層的信息會被記錄。it表示輸入門，決定有多少輸入的信息會被使用。gt表示一個產生備選信息的來源，隨時用于更新新的單元狀態ct。 由當前的單元狀態ct和中間輸出ot共同決定最終輸出ht，并輸入到下一時刻LSTM單元中。LSTM通過構建輸入門、遺忘門和輸出門來實現信息的長時傳遞，保證之前的信息能夠一直參與網絡訓練。

基于LSTM有一些變種結構，GRU結構是其中一種，如是圖3(c)所示，t時刻的具體計算模式為:

rt=sigm(wrxxt+wrhht-1+br)zt=sigm(wzxxt+wzhht-1+bz)gt=tanh(wgxxt+wghht-1+bg)ht=(1-zt)×ht-1+zt×gt

(8)

其中，rt表示重置門，決定上一時刻的狀態對信息更新的貢獻比例。zt表示更新門，決定新的狀態gt更新到最終輸出ht的比例。和LSTM相比，GRU的特征在于缺少了產生備選信息的來源，同時不再限制當前數據的輸入貢獻比例。GRU的結構相較于LSTM更簡單，但在一些任務處理中表現更加出色。

本節在遞歸神經網絡的前端和末端分別加入了一個全連接層用于改變數據輸出的維度， 并控制遞歸神經網絡中網絡單元的疊加數量和單元內部神經單元的數量，以此構建出多個模型，并在第2章實證分析中詳細論述了不同參數對預測性能的影響。

1.4 基于注意力機制的遞歸網絡模型

上述遞歸神經網絡處理時間序列數據的過程是一個馬爾科夫過程，t時刻的輸出只和t-1時刻有關。通常狀況下，遞歸神經網絡的條件分布函數滿足等式:

P{X(t)≤x|X(tn)=xn,…,X(t1)=x1}=P{X(t)≤x|X(tn)=xn}

(9)

雖然遞歸神經網絡可以傳遞t-1時刻之前的信息，并將其輸送到t時刻的信息中，但是這種隱式的更早信息的表示并不能很好地被網絡提取。尤其當輸入序列很長的時候，模型難以學到合理的向量表示。注意力機制通過保留遞歸網絡中每個時間次序下的輸出，訓練一個模型對這些輸出進行選擇性的學習，并將輸出序列與之進行關聯。

注意力機制的描述如圖4所示，具體的計算模式如下:

(10)

其中，vT和w均為需要學習的權值，at是通過softmax分類函數對ut進行歸一化來計算概率，通過求得的概率at和ut的加權求和得到最終的輸出ct。注意力機制會對每一時序的輸出生成一個概率，通過概率來決定每一時刻的輸出對最終輸出所占有的貢獻。注意力機制本質上是一種相似度的度量，當前的輸入和目標狀態越相似，那么當前輸入所占的權重就會越大。通過加入注意力機制，可以打破傳統遞歸神經網絡的馬爾科夫鏈，將輸出和所有參考的時序數據直接關聯，獲得更加準確的輸出結果。

圖4 注意力機制

本節將注意力機制加入1.3節的遞歸網絡模型中，構建了新型的預測模型，并在第2章實證分析中詳細論述了該機制對性能的影響。

2 實證分析

2.1 樣本選取和實驗設置

本文的實驗數據為1991年7月1日至2019年4月1日的上證指數， 有效數據共計6771條，數據來源于wind。本實驗使用前6650條數據作為訓練集，剩余121條數據作為測試集。 數據指標包含開盤價、收盤價、最高價、最低價、當日成交量、漲跌幅和換手率共計七項指標，對應于模型中每一時間下特征維度。本文使用當天所有七項指標來預測明日收盤價。 在模型訓練中，本文采取過去N天的所有數據來預測第N+1天的數據，并使用均方根誤差(Root Mean Squared Error，RMSE)作為損失函數使其輸出結果不斷逼近真實數據:

(11)

本實驗選取Tensorflow作為實驗平臺，實驗環境為配置GTX 1080Ti顯卡和32G內存的電腦。模型初始學習率為0.0007，共計學習2000個輪次(一個輪次代表訓練集中的所有樣本全部參與訓練一次)。數據首先進行預處理，減去每一特征維度下的均值再除以標準差，得到標準化的數據，然后將數據輸入模型中進行訓練。

2.2 基本模型驗證與對比

本節比較基于MLP的模型，基于CNN的模型，基于RNN、LSTM和GRU的模型和引入注意力機制的上述三種模型，共計八種神經網絡模型。本節中基于CNN的模型為圖2所示的基本模型，六種遞歸網絡模型均只采用了一個遞歸網絡單元，單元內部神經元數量設為10。所使用的注意力機制中神經元數量設置為10。本節中實驗使用前20天的數據來預測第21天的數據，即N=20。圖5為各模型在測試集121條數據樣本上的預測曲線圖。

圖5 八種模型下的預測曲線

預測曲線圖的橫坐標為測試集121天的天數，縱坐標為當天的收盤價格，其中淺色的曲線為真實數據，深色的曲線為預測數據。本文使用平均誤差和相關系數作為衡量模型性能的指標，分別用來預測整體偏差情況以及預測趨勢是否跟實際趨勢一致。其中，平均誤差計算方式為:

(12)

其中，x和x′表示真實值和預測值，Nt表示測試集中數據的數量，在本實驗中Nt=121,相關系數計算方式為:

(13)

其中，Corr(x,x′)表示真實值和預測值的協方差，Var(x)和Var(x′)分別表示真實值和預測值的方差。

可以看到，基于MLP的模型因為很難針對股票數據進行優化，在預測任務中表現最差; 而基于CNN的模型針對股票數據優化之后，表現出遠優于MLP的性能，并能夠一定程度逼近遞歸神經網絡的性能。在所構造的六種遞歸神經網絡模型中，基于注意力機制的GRU(Attention-Based GRU)模型表現出了最佳的性能，而普通的RNN結構表現最差。可以看到，在第二行的四條曲線圖中，深色和淺色的線條幾乎完全重合，這表示模型的預測非常準確。需要強調的是，加入注意力機制的模型和對應的基礎模型相比，均有不同程度性能提升，這說明注意力機制確實有助于提高預測任務的模型精度。

2.3 探究基于CNN的模型性能與結構的關系

本節通過調整基于CNN模型的結構參數， 探究這些重要的結構參數對模型性能的影響。首先將圖2中的卷積核替換為圖像任務中經常使用的方形卷積核，分別使用了2×2、3×3、4×4、5×5的卷積核，模型的預測曲線如圖7第一行所示。可以看到，2×2的卷積核表現最差，平均誤差高達1.6357%，遠遠高于其他三個卷積核。這是由于尺寸過小的卷積核對數據的全局信息提取更加困難，尤其是全局相關性顯著的股票數據。5×5的卷積核表現出了最佳的效果，可能是由于尺寸較大的卷積核能夠更豐富地提取到各特征維度之間的關聯信息。然而，上述的所有模型性能均無法和優化后的CNN模型相比，這證明了該針對數據形式進行的卷積核優化方式的有效性。

圖6 加一層卷積塊的CNN模型

圖7 八種CNN模型下的預測曲線

同時，本節針對模型中卷積層的數量對性能的影響也進行了評估。首先構建一個如圖6的虛線框內所示的卷積塊，所構建卷積塊包含三條通路上獨立的全連接層和卷積層。在卷積塊中，首先將卷積層的輸出使用全連接層改變維度為tn×fn，然后變換其維度為原始數據的維度，之后將其輸入到優化后的卷積核中。圖6所示模型比圖2的模型僅多出一個卷積塊，在首尾網絡層的中間無縫接入。本節對比了加入1、2、3、4個卷積塊的模型對性能的影響，如圖7第二行所示。可以看到，隨著卷積塊的增多，模型性能呈現出下降的趨勢。其原因主要有兩點: 一方面是股票的數據結構較為簡單，復雜程度遠遠不及圖像數據，因此使用較為簡單的網絡結構已經可以逼近模型的上限，更復雜的網絡只會導致嚴重的過擬合，另一方面CNN并不適合處理時間序列任務。

2.4 探究遞歸神經網絡模型性能與結構的關系

本節通過修改六種遞歸網絡模型的結構，分別探究遞歸神經單元中神經元數量和遞歸神經單元堆疊的數量對模型性能的影響。考慮到需要對比的模型數量過多，本節不再使用如節2.2、2.3所示的曲線圖來展示模型性能，而是利用統計直方圖來直觀地展示平均誤差的變化趨勢。 直方圖的橫坐標表示各類不同的模型，縱坐標表示平均誤差。此外，本節使用了表格展示所有遞歸模型的相關系數。

首先，本節探討了遞歸神經單元中神經元數量對模型性能的影響。針對節2.2中的基礎模型，實驗將神經單元中神經元的數量分別改變為30、50、100、200，相當于增加了單元中全連接層的維度。實驗共統計了6種模型在不同神經元數量下的表現性能，如圖8所示。

圖8 神經元數量對性能的影響

可以看到，在RNN、LSTM、GRU三種模型中，整體趨勢表現為性能隨著神經元數量的增加而降低，節2.2的基礎模型反而表現出了最佳性能。這是由于所用股票數據的特征維度只有7，在神經元數量遠遠大于特征維度時，網絡很容易過擬合，而導致在測試集上性能變差。在神經元數量與特征維度接近或相當的時候，網絡的表達能力剛好和數據集契合，此時才能達到網絡的最優性能。

表1 神經元數量對相關系數的影響

表1中展示的相關系數也表現出了和平均誤差相似的變化趨勢，其中A-表示基于注意力機制的模型。值得強調的是，GRU模型在高神經元數量下性能表現明顯差于另外兩類神經網絡，而LSTM模型展現出了最穩定的性能。

而在基于注意力機制的三種模型中，可以看到，其性能變化趨勢較基礎模型非常穩定， 這是由注意力機制所帶來的增益，該機制可以充分地利用所參考的時間維度下的信息，其預測過程不是基礎的遞歸神經網絡模型中簡單的馬爾科夫過程，故而對復雜的網絡有更強的適應能力。值得注意的是，基于注意力機制的GRU模型在高神經元數量下表現出了和基礎模型相似的高預測誤差，而LSTM模型展示出和基礎模型類似的魯棒性。

關于遞歸神經單元堆疊的數量對性能的影響，本節也進行了大量的對比實驗。實驗使用神經元數量為10的遞歸神經單元，針對六種遞歸網絡模型分別堆疊了2、3、4、5個神經單元，模型性能展示如圖9所示。

可以看到，在RNN、LSTM、GRU三種基礎遞歸網絡模型中，堆疊兩到三個神經單元取得了最優性能，之后隨著神經單元的增多，整體呈現性能變差的趨勢。在基于注意力機制的三個模型中，堆疊一到兩個神經單元可以取得最優性能， 但是在單元數量增多后，預測性能依然會變差。值得一提的是，三種基于注意力機制的模型整體性能和穩定性優于基礎模型，這佐證了圖8中得出的結論: 注意力機制可以有效改善過擬合問題，提高模型的性能和穩定性。表2展示了以上各模型的相關系數，其變化趨勢整體和平均誤差相似。

圖9 遞歸神經單元數量對性能的影響

表2 遞歸神經單元數量對相關系數的影響

對比圖8的實驗結果，2塊神經元數量為10的遞歸神經單元和1塊神經元數量為20的神經單元在性能表現上整體呈現出相反的改變趨勢，這說明改變堆疊的遞歸神經單元數量和改變神經單元中神經元數量對性能的影響是不一致的。同時可以發現，即使堆疊神經單元數量增多導致網絡過擬合和性能變差，其性能變差趨勢依然緩和于改變單元內神經元數量。 該實驗對比結果表明，對網絡模型需求更復雜的結構和更強大的擬合能力時，堆疊神經單元數量的優先級高于增加單元內神經元的數量。

2.5 探究網絡模型性能與參考時間維度N的關系

本節通過修改參考時間維度的長度來探索該因素對模型性能的影響。 如節2.2描述， 模型使用前20天的數據預測第21天的數據，2.3、2.4節中的模型遵循這一設置，取N=20。在本節中，實驗修改N的數值分別為10、30、40，并針對節2.2中的八種網絡模型進行了性能評估，結果如圖10所示。因基于MLP的模型性能表現過差，對直方圖的繪制會產生影響， 因此圖10并沒有繪制基于MLP的模型的結果。

圖10 參考時間維度對性能的影響

表3展示了各時間維度下模型的相關系數變化。可以看到，隨著參考時間維度的增加，模型性能呈下降趨勢。這是由于過早的時間數據對當天數據的影響已經微乎其微，若依然將其作為模型輸入，反而會對預測結果產生負面影響。值得注意的是，基于CNN的模型也表現出了這一趨勢，這說明針對股票數據進行的CNN模型的優化也對時間維度具有敏感性。

表3 參考時間維度對相關系數的影響

3 結論

本文選取了近28年上證指數的數據，分別構造了基于MLP、CNN、RNN、LSTM、GRU的網絡模型進行數據的預測。同時，為了克服基于RNN、LSTM、GRU等遞歸網絡模型的局限性，本文引入了注意力機制來增加模型性能和防止過擬合。針對構造的八種網絡模型，本文通過修改模型參數，進行了大量的對比實驗，旨在探索基于神經網絡的股票預測模型合理的優化方向。實驗結果表明，MLP和CNN并不適合處理時間序列任務，其性能和遞歸網絡模型差距較大。在需要對遞歸網絡模型進行復雜設計以適應龐大數據集時，優先增加其單元數量而不是增加單元內神經元數量，可以有效防止過擬合且增加網絡性能。而注意力機制通過打破基礎遞歸網絡模型預測時的馬爾科夫過程，直接利用更早時期的數據，在提升網絡性能的同時可以有效防止過擬合帶來的性能下降，在時間序列預測任務中表現優異。