基于Attention機制的CNN-LSTM概率預測模型的股指預測

摘" 要：鑒于證券市場波動大預測難度高，文章基于encoder-decoder結構將Attention機制融入CNN-LSTM模型，利用Attention機制來捕捉不同時間點之間的數據依賴模式，提取長序列信息，并且在此基礎上給出概率密度函數進行抽樣預測，最終得出股票價格的點預測和區間預測。實驗結果表明，融入Attention機制的CNN-LSTM概率預測模型從綜合性能來看優于其他基準模型，能夠對上證指數收盤價進行較高精度的多步預測。

關鍵詞：Attention機制；概率密度函數；上證指數

中圖分類號：TP39；TP183" 文獻標識碼：A 文章編號：2096-4706（2024）12-0155-06

Stock Index Prediction Based on CNN-LSTM Probability Prediction Model with Attention Mechanism

GAO Xin

（School of Big Data and Statistics， Anhui University， Hefei" 230601， China）

Abstract： Given the high volatility of the securities market and the high difficulty of predicting it， this paper integrates the Attention mechanism into the CNN-LSTM model based on the encoder-decoder structure. The Attention mechanism is used to capture data dependency patterns between different time points， long series information is extracted， and based on this， a probability density function is provided for sampling prediction， point prediction and interval prediction of stock prices are obtained ultimately. The experimental results show that the CNN-LSTM probability prediction model incorporating the Attention mechanism outperforms other benchmark models in terms of comprehensive performance， and can make high-precision multi-step predictions of the closing price of the Shanghai Composite Index.

Keywords： Attention mechanism; probability density function; Shanghai Composite Index

0" 引" 言

股票數據具有高維、非線性的特征，因此股票價格的精準預測存在一定的挑戰。目前，股票價格預測方法主要分為傳統時間序列方法和基于深度學習的機器學習方法。股票數據的變動具有時間屬性，這使得采用傳統時間序列方法解決股票價格預測問題具有一定的理論依據。傳統時間序列方法的主流模型有ARIMA [1]、ARCH [2]和GARCH [3]等。吳玉霞等[4]利用ARIMA模型對華泰證券250期的股票收盤價進行擬合預測，所得結論為該模型的短期動態預測和靜態預測效果較好，為投資者的價值投資提供一定的參考借鑒；王蘇生等[5]采用ARMA-GARCH-SN模型對滬深300股指期貨進行預測，證明了該模型的有效性。許多研究表明，傳統時間序列方法的確能夠對股票價格進行預測，但是此類方法嚴重依賴于某些假設條件，甚至某些假設并不適用于現實中的復雜數據，因此此類方法在實際使用場景中的效果并不理想。

相較之下，機器學習方法無須這些假設條件，同時它還擁有學習數據特征的能力，可以很好地擬合非線性數據，因此研究者們將機器學習方法引入股票價格預測。一些經典的機器學習模型（如支持向量機[6]、隨機森林[7]等）在金融時序預測研究方面發揮著重要的作用。Ticknor等[8]利用BP神經網絡模型對微軟公司和高盛集團股價進行預測；冉楊帆等[9]利用股票新聞來構造情緒值，分別使用BP神經網絡和SVR預測股價，均取得了不錯的效果。在高算力計算機快速發展的時代背景下，深度學習神經網絡模型領域開始推陳出新，其具有批量處理高維、非線性時序數據的能力，理論上還能夠擬合任意形式的函數。其間，誕生了一些具有代表性的神經網絡模型，如LSTM [10]、GRU [11]等，此類模型可廣泛應用于序列預測。馮宇旭等[12]利用LSTM模型對滬深300指數進行預測，并將SVR模型和Adaboost模型作為對比模型，實驗結果表明LSTM模型得到的預測結果RMSE更低；劉銘等[13]利用EMD-LSTM模型對上證指數進行預測，并提出根據數據的具體波動形式來挑選合適股票預測模型的論點。Akita等[14]通過數字信息和文本信息相結合的方式來對東京證券交易所50家公司的開盤價進行預測，首先他們基于段落向量對新聞報道進行分布式表示，再使用LSTM模型進行建模，驗證了所提模型的有效性；Peng等[15]利用LSTM模型和Transformer模型對中國A股銀行股票價格進行預測，將[2年前，1年半前，1年前，6個月前，3個月前，1個月前，2周前，1周前，2天前，1天前] 10個特征日的股票收盤價作為輸入對未來股價進行預測，實驗結果證明這種構造輸入的方式有助于提高股價的預測精準度。

近年來，出現了基于RNN結構的概率預測模型——DeepAR模型[16]。一方面，RNN神經網絡結構本身讓其具備了對序列數據進行預測的能力；另一方面，該模型是基于目標變量服從正態分布的假設，讓其不僅能對目標變量進行點預測，還能對目標變量進行區間估計和一致分位數估計。該模型不僅利用了神經網絡對數據的擬合能力，還增強了模型的可解釋性。Consoli等[17]通過新聞媒體報道構造情緒變量，利用基于LSTM結構的DeepAR模型對西班牙IBEX-35股票市場指數進行預測，發現情緒變量的構造有利于提高模型的預測精度。

本文將注意力機制融入CNN-LSTM模型，在預測過程中直接生成多步預測，與遞歸神經網絡相比，注意力機制能夠提取整個序列信息，捕捉到長距離序列數據之間的依賴模式，可最大程度保存原始輸入序列的信息。最后，通過實驗證明在上證指數收盤價的預測中該模型的預測結果優于基準模型。

1" 模型構建

1.1" 問題的提出

股票價格的預測本質上是時間序列的預測問題，即利用已知的歷史時間步長為N天的數據[Xt-N+1， …， Xt-1， Xt]去預測未來M天的價格[yt+1， …， yt+M-1， yM]。由于股票價格的變動是資本、市場環境、投資者情緒等諸多因素共同作用的結果，具有很強的隨機性，因此本文假設股票每日收盤價均服從正態分布，其分布密度函數為：

（1）

其中，yt表示當天股票收盤價，ut表示當天股票收盤價服從正態分布的均值，σt表示當天股票收盤價服從正態分布的標準差。

我們的目標是建立式（2）模型：

（2）

根據式（2）構造出樣本似然函數，以極大化樣本似然函數（等價于極小化負對數樣本似然函數）為目標，以此作為損失函數來訓練神經網絡。在預測階段根據概率密度函數進行多次抽樣，將抽樣的均值作為本次實驗的預測值，最終實現多步預測。

1.2" 模型框架

本文所使用的Attention-CNN-LSTM概率預測模型，采用encoder-decoder結構解決時間序列數據的多輸入多輸出問題。首先，對預處理好的數據進行位置編碼，在encoder中，數據經過多頭注意力層和兩個一維因果卷積層后最終得到編碼矩陣；在decoder中，將編碼矩陣作為LSTM層的輸入，經過自定義的線性層輸出每天的均值和方差，根據均值和方差實例化一個正態分布，最后進行概率抽樣，具體流程如圖1所示。

1.2.1" 位置編碼

注意力機制雖然可以快速提取序列信息，但是卻忽略了序列中的位置信息，因此必須給輸入數據加上絕對編碼或相對位置編碼，使數據帶有類似時間的屬性，更好地處理時間序列預測任務。本文采用較為常用的正余弦位置編碼，計算式如下：

（3）

（4）

其中，pos表示數據的位置，i表示數據的維度。

1.2.2" 注意力機制

注意力機制本質上是一個函數，它將查詢（Query）和鍵值對（Key-Value）映射到輸出，在這里查詢（Query）、鍵（Key）、值（Value）和輸出均是向量。注意力機制可以計算對輸入的關注權重，從而快速提取特征，與循環神經網絡相比注意力機制可以更好地提取長距離數據之間的聯系。這里使用的是縮放點積注意力（Scaled Dot-Product Attention），計算式如下：

（5）

其中，Q、K、V分別表示由查詢（Query）、鍵（Key）和值（Value）組成的矩陣，dk表示輸入數據的維度。

與單頭注意力機制相比，多頭注意力機制能夠更好地提取長序列之間的數據依賴關系。首先，將Q、K、V投影到不同的線性空間；接著分別利用Attention函數進行計算，再將各自的結果進行連接，最后將連接后得到的矩陣進行投影輸出。多頭注意力機制使得模型具有關注來自不同位置的不同線性子空間信息的能力，計算式如下：

（6）

（7）

其中，。h表示注意力頭數，dk表示輸入的維度，在這里我們設置dk = dv = dmodel / h，在使用多頭注意力機制時，減少每個單頭注意力機制的輸入數據的維度，這樣既能避免計算量的增加（有利于數據并行化），又能加強模型提取數據信息的能力。

1.2.3" 輸出層

模型的輸出層是一個輸出維度為2的線性層，第一個維度代表均值，第二個維度代表標準差。通過輸出層輸出正態分布所需的參數，根據式（1）計算出每個時間點概率分布的具體表達式，輸出層ut和σt的計算式如下：

（8）

（9）

其中，ht表示LSTM層中第t時刻的狀態向量，、 分別表示輸出層ut和σt的權重向量。

2" 實證分析

2.1" 數據來源、數據集劃分及數據預處理

為了驗證模型的有效性，選取2016年8月10日至2023年1月30日期間上證指數各指標變量1 570條數據（以天為單位收集）。另外，為了驗證本文模型的前提假設（即上證指數每天的收盤價服從正態分布），選取2021年12月29日至2023年3月10日期間以5分鐘間隔收集到的上證指數價格波動數據（13 860條數據）。所有數據均是從通達信金融終端APP中下載獲取的。

將數據集中前1 270條數據用于訓練，后300條數據用于預測，實驗目標是利用步長為20天的上證指數的收盤價及各變量指標來預測未來7天的上證指數收盤價。構建樣本集的具體方式是通過設置寬度為20的滑動時間窗口作為模型輸入數據，為了充分利用訓練集數據，在訓練集中每次往后移動1步進行滾動預測，而在測試集每次向后移動7步進行滾動預測。

為了提高模型的預測精度和計算效率，先對數據進行預處理，本文選擇調用Python中的sklearn.preprocessing庫，利用庫中的MinMaxScaler對象來實現數據的歸一化操作，計算式如下：

（10）

其中，xmax表示序列中的最大值，xmin表示序列中的最小值。

2.2" 變量的選擇

在變量特征的選擇方面，本文全面考慮了影響股價變動的各種因素，不僅將上證指數相關的基本型變量指標（比如開盤價、收盤價及成交量）納入考量范圍，還加入一些技術類分析指標，例如能量型指標AR和CR、趨勢型指標MACD等。具體的變量選擇如表1所示。

2.3" 評價指標

對于點預測，采用均方根誤差（RMSE）、平均絕對誤差（MAE）和平均相對誤差（MAPE）衡量模型的優劣，具體表達式如下：

（11）

（12）

（13）

本文引入了預測區間覆蓋率（PICP）、預測區間歸一化寬度（PINAW）和區間覆蓋準則（CWC）三種指標進行區間預測，各自的表達式如下：

（14）

（15）

（16）

其中，ylow表示區間預測下限，yhigh表示區間預測上限，v表示名義置信水平，ρ表示對預測失效的區間懲罰的參數，這里取ρ = 50。PICP越大，代表落入預測區間的真實值越多，預測效果越好；PINAW越大，代表預測區間越寬，預測結果的不確定性越大；但是PINAW的增大會引起PICP增大，因此這兩個變量是相互對立的，需要借助CWC指標來綜合評估區間預測的性能，CWC指標越小區間預測效果越好。

2.4" 實驗結果

2.4.1" 正態分布假設的驗證

本文為了驗證模型對上證指數收盤價服從正態分布的假設，針對2021年12月29日至2023年3月10日（共289天）以5分鐘為間隔收集到的上證指數價格數據按照日期分組進行KS檢驗（原假設是認為數據服從正態分布），并對結果進行統計，如表2所示。

從表2可以看出，在95%置信水平下，認為上證指數的價格服從正態分布的天數為261（共289天），占比90.3%；在99%置信水平下，認為上證指數的價格服從正態分布的天數為284（共289天），占比98.3%。根據表2的檢驗結果，我們可以認為上證指數每日收盤價服從正態分布的原假設具有合理性。

2.4.2" 神經網絡參數設置

Attention-CNN-LSTM模型深度為7層，第一層是位置編碼層，位置編碼層中的參數不需要優化，所以無須設置超參數；第二層是多頭注意力層，此處注意力頭數設置為8，單頭注意力機制的輸入數據維度是7；第三層和第四層都是一維卷積層，輸出維度都是20，卷積核大小都是5；第五層是LSTM層，輸出維度設置為10，return_sequences設置為True（每個時間點都能輸出一個向量）；為防止模型過擬合，本文在模型中增加了dropout層，單元隨機失活的概率設置為0.2；最后一層是自定義線性層，輸出維度是2，第一個維度輸出樣本均值，第二個維度輸出樣本方差。利用每個時間點輸出的均值和方差構造樣本似然函數，將損失函數設置為負對數樣本似然函數并采用Adam優化器（學習率設置為0.001），將batch_size設置為10，循環迭代50次得到最終的預測結果。

2.4.3" 結果展示

根據所得到的分布密度函數進行抽樣，將均值作為點預測值，并與CNN、LSTM和CNN-LSTM模型進行對比，得到的結果如圖2所示。

根據圖2，四種模型均能捕捉到上證指數的價格波動趨勢，Attention-CNN-LSTM模型和CNN-LSTM在股價波動平緩時期預測結果更加平滑，股價快速上升和快速下降階段Attention-CNN-LSTM模型的預測滯后性最小，這說明CNN-LSTM網絡層的運用使模型具備了較為精準且平穩的時序預測性能，注意力機制的融入使模型能夠更好地捕捉到數據變化的內在聯系，因此在股價驟變階段能夠快速做出調整。

為了評估Attention-CNN-LSTM模型的區間預測效果，選用ARIMA模型與之進行對比，結果如圖3所示。

根據圖3，Attention-CNN-LSTM模型和ARIMA模型的點預測效果接近，但是ARIMA模型比較適用于平穩時間序列預測任務，要求數據之間的線性關系較強，而股票數據的波動具有非線性和隨機性的特征，因此在股價變動劇烈的時期ARIMA模型的預測結果偏差較大。在區間預測效果方面，上證指數的實際值基本都落在兩種模型的預測區間內，但是ARIMA模型的預測區間寬度明顯大于Attention-CNN-LSTM模型，不利于投資者進行決策。

根據表3，在點預測效果方面，Attention-CNN-LSTM模型在RMSE、MAE和MAPE三種評價指標下預測偏差均達到最小，ARIMA模型和CNN-LSTM模型也取得了較好的預測性能，平均相對誤差降到2%以下；在區間預測效果上，ARIMA模型的預測相對保守，預測區間覆蓋率（PICP）略高于Attention-CNN-LSTM模型，但是預測區間寬度明顯大于后者，結合區間覆蓋寬度準則（CWC）指標來看，ARIMA模型是Attention-CNN-LSTM模型的1.23倍，因此后者的區間預測效果更優，具備更好的泛化性能，與圖2和圖3的直觀視覺效果相符。

3" 結" 論

股票市場作為經濟發展的晴雨表，其變動趨勢對國民經濟有著重要的影響，因此本文提出將Attention機制融入CNN-LSTM的概率預測模型對上證指數進行預測，利用Attention機制捕捉長序列數據之間的聯系，結合CNN-LSTM模型時序預測方面的優勢，實例化股票價格波動的概率密度函數，實現股票價格的點估計和區間估計，并將該模型與四種基準模型進行對比。實驗結果表明，在點預測和區間預測效果上該模型均具有一定的優越性。

雖然Attention-CNN-LSTM在對上證指數收盤價的預測對比中表現優異，但是此模型仍然存在不足之處，從圖2中可以看出在上證指數快速下跌的過程中，該模型的預測結果存在一定的滯后性，應當對模型做出適當的優化，使模型盡可能快地捕捉到特征變量變化對預測變量的影響，從而提高預測精度。

參考文獻：

[1] WANG C Y. Forecast on Price of Agricultural Futures in China Based on ARIMA Model [J].Asian Agricultural Research，2016，8（11）：9-12+16.

[2] ENGLE R F. Autoregressive Conditional Heteroskedasticity with Estimates of the Variance of United Kingdom Inflation [J].Econometrica，1982，50（4）：987-1008.

[3] KOLA K，SEBEHELA T. The Capitalized Generalized Autoregressive Conditional Heteroskedasticity [J/OL].Review of Pacific Basin Financial Markets and Policies，2022，25（3）：2250017[2023-09-06].https：//www.worldscientific.com/doi/10.1142/S0219091522500175.

[4] 吳玉霞，溫欣.基于ARIMA模型的短期股票價格預測 [J].統計與決策，2016（23）：83-86.

[5] 王蘇生，王俊博，許桐桐，等.基于ARMA-GARCH-SN模型的滬深300股指期貨日內波動率研究與預測 [J].運籌與管理，2018，27（4）：153-161.

[6] NGUYEN T H，SHIRAI K，VELCIN J，et al. Sentiment Analysis on Social Media for Stock Movement Prediction [J].Expert Systems with Applications，2015，42（24）：9603-9611.

[7] OLIVEIRA N，CORTEZ P，AREAL N. The Impact of Microblogging Data for Stock Market Prediction： Using Twitter to Predict Returns， Volatility， Trading Volume and Survey Sentiment Indices [J].Expert Systems with Application，2017，73：125-144.

[8] TICKNOR J L. A Bayesian Regularized Artificial Neural Network for Stock Market Forecasting [J].Expert Systems with Applications，2013，40（14）：5501-5506.

[9] 冉楊帆，蔣洪迅.基于BPNN和SVR的股票價格預測研究 [J].山西大學學報：自然科學版，2018，41（1）：1-14.

[10] GREFF K，SRIVASTAVA R K，KOUTNíK J，et al. LSTM： A Search Space Odyssey [J].IEEE Transactions on Neural Networks and Learning Systems，2017，28（10）：2222-2232.

[11] CHO K，MERRI?NBOER B V，GULCEHRE C，et al. Learning Phrase Representations Using RNN Encoder-Decoder for Statistical Machine Translation [C]//Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing （EMNLP）.Doha：Association for Computational Linguistics，2014：1724-1734.

[12] 馮宇旭，李裕梅.基于LSTM神經網絡的滬深300指數預測模型研究 [J].數學的實踐與認識，2019，49（7）：308-315.

[13] 劉銘，單玉瑩.基于EMD-LSTM模型的股指收盤價預測 [J].重慶理工大學學報：自然科學，2021，35（12）：269-276.

[14] AKITA R，YOSHIHARA A，MATSUBARA T，et al. Deep Learning for Stock Prediction Using Numerical and Textual Information [C]//2016 IEEE/ACIS 15th International Conference on Computer and Information Science （ICIS）.Okayama：IEEE，2016：1-6.

[15] PENG Z Y，GUO P C. A Data Organization Method for LSTM and Transformer When Predicting Chinese Banking Stock Prices [J/OL].Discrete Dynamics in Nature and Society，2022：7119678[2023-09-03].https：//doi.org/10.1155/2022/7119678.

[16] FLUNKERT V，SALINAS D，GASTHAUS J. DeepAR： Probabilistic Forecasting with Autoregressive Recurrent Networks [J/OL].arXiv：1704.04110v1 [cs.AI].[2023-09-06].https：//arxiv.org/abs/1704.04110v1.

[17] CONSOLI S，NEGRI M，TEBBIFAKHR A，et al. Forecasting the IBEX-35 Stock Index Using Deep Learning and News Emotions [C]//7th International Conference on Machine Learning， Optimization， and Data Science.Grasmere：Springer，2022：308-323.

作者簡介：高欣（1997—），男，漢族，安徽六安人，碩士研究生在讀，研究方向：深度學習。