基于注意力機制的LSTM股價趨勢預測研究

林杰　康慧琳

摘 要： 針對中國股票市場，提出了一種基于注意力機制的LSTM股價趨勢預測模型。選取42只中國上證50從2009年到2017年的股票數據為實驗對象，根據股票市場普遍認可的經驗規則，分別對每個技術指標進行量化處理得到股票漲跌的趨勢數據，并和交易數據混合作為預測模型的輸入，然后使用基于注意力機制的LSTM模型提取股價趨勢特征進行預測。實驗結果表明：引入股票離散型趨勢數據到預測模型中，能夠在已有交易數據和技術指標的基礎上提升預測精確度，與傳統的機器學習模型SVM和單一的LSTM模型相比，基于注意力機制的LSTM模型具有更好的預測能力。

關鍵詞： 股價趨勢預測;LSTM;注意力機制

中圖分類號： TP 183/ F 830.9

文獻標志碼： A

Abstract： This paper addresses problem of stock price movements prediction for china stock markets. We present an Attention-Based LSTM approach to predict stock price movements. Nine years of historical data from 2009 to 2017 of 42 stocks of SSE 50 are selected for experimental evaluation. According to the empirical rules generally accepted by the stock market， the stock technical indicators are quantified to obtain the stock price movements prediction and together with the trading data as input to the prediction model. Then， we use Attention-Based LSTM to extract important features for prediction. The experimental results suggest that introducing stock discrete trend data into the prediction model can achieve higher prediction accuracy based on trading data and technical indicators. Experimental results also show that the Attention-Based LSTM model outperforms both traditional machine learning model SVM and the single LSTM model on overall performance.

Key words： stock price movements prediction; LSTM; attention mechanism

股票市場被稱為“經濟晴雨表”，它的波動與市場經濟的興衰息息相關。股價趨勢預測是一個經典問題，一直受到學術界和工業界的廣泛關注。Fama（1970）的有效市場假說（efficient market hypothesis）指出，股票市場是“有效信息”市場。也就是說，如果能把股票交易數據進行有效處理并使用合適的算法，就可以預測股票的漲跌趨勢，這一理論成為后續股票預測研究工作的基礎和依據。

目前越來越多的學者開始投入股票預測研究中，試圖用各種方法和模型來解決金融時間序列數據非線性、非平穩、高噪聲，以及股票市場規則高復雜性的問題。近年來， 隨著大數據與云計算的興起，深度學習算法取得了巨大突破。深度神經網絡是一個高度復雜的非線性人工智能系統，適合處理多影響因素、不穩定的非線性難題，它能夠從數據中提取抽象特征，并能在不依賴計量經濟學假設和金融專業知識的情況下識別隱藏的非線性關系，這使得深度學習可能成為解決股價趨勢預測問題的突破口。

早在20世紀90年代，應用神經網絡來預測股價趨勢便受到國外學術界的廣泛關注。White（1988）首次將BP神經網絡模型應用于股票市場時間序列的處理和預測中，使用IBM公司股票日收益率為實證研究的對象。Kolarik和Rudorfer （1994）將ANN模型和ARIMA模型比較，發現ANN模型預測效果更優。近年來，國內外學者對神經網絡預測股票市場問題的研究也取得了進展。Bildirici 等（2009）學者將ARCH/GARCH模型和ANN模型相結合，選取伊斯坦布爾股票市場三十年的股票歷史數據作為研究對象，發現GARCH和ANN的混合模型比APGARCH模型具有更好的預測效果，但處理海量數據比較棘手。Hammad等（2007）利用多層BP神經網絡分析了約旦證劵市場的股票價格，通過實證分析發現相比較于統計學和計量經濟學分析方法，BP神經網絡預測效果更優，但是文章中并未提及傳統BP神經網絡容易陷入局部極小值的問題。

雖然人工神經網絡相較于其他模型有較好的預測能力，但經過多年的模型優化，人工神經網絡及其各種改進的模型仍不能完全擺脫易陷入局部最小值的缺陷，研究人員開始尋找新的解決思路。近年來，深度學習算法在語音識別、自然語言處理、計算機視覺等諸多領域均取得了巨大成功。考慮到時序關系在金融領域是普遍存在的，加上深度學習中LSTM對時間序列有著良好的處理能力，研究人員開始將LSTM模型應用到金融時間序列問題的研究中。例如，Chen等（2015）使用LSTM預測中國股票回報率，根據投資回報率將標簽分為7類，利用LSTM模型對股票回報率進行預測。與隨機預測方法相比，LSTM模型提高了股票回報率預測的準確率。Fischer（2018）使用LSTM預測了金融市場的表現，形成了短期的投資策略，包括直接預測股價和投資組合等。

目前將LSTM模型應用于金融時間序列的研究偏少，同時LSTM模型用于金融時間序列預測的結果并不令人滿意。注意力機制（attention mechanism）最早由Treisman等（1980）提出，通過計算注意力概率分布從眾多信息中選出關鍵信息，對關鍵性輸入進行突出，實現對傳統模型的優化。已有實驗表明，融入注意力機制的LSTM比單一的LSTM在機器翻譯、情感分類、關系分類等問題中有更好的表現。例如，Wang等（2016）提出的AT-LSTM模型，在LSTM的隱藏層中加入了注意力機制，提高了文本情感分類的精確度。

因此，本文提出了一種基于注意力機制的LSTM股價趨勢預測模型，用來提高股價趨勢預測的精度。首先，介紹了實驗使用的數據集，著重描述了連續型技術指標和離散型技術指標。然后，詳細描述了本文提出的基于注意力機制的LSTM預測模型架構。最后進行兩個對比實驗，驗證了引入股票離散型趨勢數據和本文提出的基于注意力機制的LSTM股價趨勢預測模型的有效性。

1 數據集描述

從大智慧客戶端獲取了42只中國上證50從2009年1月至2017年12月的股票交易數據，每條交易數據都有開盤價、收盤價、最高價、最低價、交易量等信息，共計83716條交易數據，并根據交易數據計算得到股票的技術指標。選取每支股票2016年和2017年的數據作為測試集，其余部分用來模型訓練。42只股票數據共同構成實驗的數據集，共同反映市場情況。

1.1 數據預處理

1.1.1 數據標準化

股票交易數據各變量數值處于不同的量級，如果不進行標準化處理，大量級變量對結果的影響會覆蓋小量級變量對結果的影響，從而丟失小量級變量所包含的信息。需注意的是，由于開盤價、收盤價、最高價和最低價4者間具有相關性，因此對這4個變量統一進行標準化處理。本文采用min-max標準化法，如下所示：

1.2 技術指標介紹

1.2.1 連續型技術指標——實際時序序列

使用以下7個技術指標用于股價趨勢預測：MA、K、D、WR、MACD、RSI和CCI。根據表1中的公式，通過股票交易數據，可以計算得到這7個技術指標值。通過觀察表1可知，技術指標是連續型數值，它們的值在[-1，1]，不會出現大量級覆蓋小量級信息的情況。

1.2.2 離散型技術指標——股價趨勢預測

根據現有的專家知識經驗，對1.2.1中的股票技術指標（連續型）進行量化處理得到各指標對股票漲跌趨勢的預測，它反映的是各指標對未來股價“上漲”和“下跌”的判斷。在這里，把它稱為離散型技術指標。其中，用“+1”代表“上漲”，“-1”代表“下跌”。下文將詳細介紹每個離散型技術指標漲跌判斷的專家規則。

（1）移動平均線（MA）

移動平均線又稱均線，將一定時期內的股票（指數）收盤價加以平均得到。將某一股票不同時間的平均值連接起來，形成一根MA，用以觀察股票變動趨勢。有專家經驗知識指出：若當前價高于其移動平均線，則產生購買信號，預示未來行情看漲;若當前價低于其移動平均線，則產生出售信號，預示未來行情看跌。因此，量化規則如下：如果當前收盤價Clsprc高于MA，行情漲跌趨勢為“漲”，標記為“+1”;如果當前收盤價Clsprc低于MA，行情漲跌趨勢為“跌”，標記為“-1”。在股票市場，常用線有5天、10天、30天、60天、120天和240天的指標。本文中使用10日均線，即MA2。

（2）隨機指標（K、D）

K和D通過最近幾個交易日的最高價、最低價和收盤價的波動，來估計未來的漲跌趨勢，精準反映股票在一段時間內的隨機振幅，是進行中短期趨勢波段分析研判的較佳的技術指標。有專家經驗知識指出：一般當月K、D值在低位時逐步進場吸納，即產生購買信號。因此，量化規則如下：如果當前K值大于前一天，行情漲跌趨勢為“漲”，標記為“+1”;如果當前K值小于前一天，行情漲跌趨勢為“跌”，標記為“-1”。D也遵從此規定。

（3）威廉指標（WR）

利用“最后一周期”的最高價、最低價、收市價，計算當日收盤價的擺動點，度量市場處于超買還是超賣狀態。有專家經驗知識指出：WR屬于擺動類反向指標，即股價上漲，WR指標向下，股價下跌，WR指標向上。因此，量化規則如下：如果當前WR值小于前一天，行情漲跌趨勢為“漲”，標記為“+1”;如果當前WR值大于前一天，行情漲跌趨勢為“跌”，標記為“-1”。WR1是10天買賣強弱指標;WR2是6天買賣強弱指標。本文中使用WR1。

（4）指數平滑移動平均線（MACD）

MACD由快的指數移動平均線（EMA12）減去慢的指數移動平均線（EMA26）得到。有專家經驗知識指出：MACD從負數轉向正數，是購買的信號;MACD從正數轉向負數，是售出的信號。因此，量化規則如下：如果當前MACD值大于前一天，行情漲跌趨勢為“漲”，標記為“+1”;如果當前MACD值小于前一天，行情漲跌趨勢為“跌”，標記為“-1”。

（5）相對強弱指數（RSI）

相對強弱指數RSI以數字計算的方式來量化分析市場買賣意向和實力。相對強弱指數RSI認為，在一個正常的股市中，多空買賣雙方的力量必須得到均衡，股價才能穩定。有專家經驗知識指出：RSI指標的取值范圍在0～100，70以上可認為是超買，30以下可認為是超賣。在正常區間（30，70）內，若向上的力量較大，則RSI曲線上升，是購買的信號，若向下的力量較大，則RSI曲線下降，是售出的信號。因此，量化規則如下：若當前RSI值小于30，行情漲跌趨勢為“漲”，標記為“+1”;若當前RSI值大于70，行情漲跌趨勢為“跌”，標記為“-1”;如果RSI值在30～70，當前RSI值大于前一天，行情漲跌趨勢為“漲”，標記為“+1”;若當前RSI值小于前一天，行情漲跌趨勢為“跌”，標記為“-1”。

（6）隨順市勢指標（CCI）

CCI是專門測量股價是否已超出常態分布范圍，波動于正無窮大和負無窮大之間的指標。有專家經驗知識指出：在100以上可認為是超買，-100以下可認為是超賣。在振蕩區（-100，+100），若向上的力量較大，是購買的信號，若向下的力量較大，則是售出的信號。因此，量化規則如下：若當前CCI值小于-100，行情漲跌趨勢為“漲”，標記為“+1”;若當前CCI值大于100，行情漲跌趨勢為“跌”，標記為“-1”;如果CCI值在-100～+100，當前CCI值大于前一天，行情漲跌趨勢為“漲”， 標記為“+1”，若當前CCI值小于前一天，行情漲跌趨勢為“跌”，標記為“-1”。

2 預測模型

本文所提出的基于注意力機制的LSTM的股價趨勢預測模型架構如圖1所示。它包括數據準備層、輸入層、長短時記憶網絡層、注意力機制層、全連接層和輸出層。數據準備層完成股票混合數據集的構建;長短時記憶網絡層充分發揮LSTM的優勢，保持股票數據信息并提取其特征;注意力機制層用來識別股票漲跌最主要的特征;最后經過全連接層，使用Softmax分類器得出分類結果。

2.1 數據準備層

預測模型的輸入包括交易數據和技術指標兩部分，技術指標又分為連續型（詳見1.2.1）和離散型（詳見1.2.2），預測模型的輸出是“漲跌”預測標簽。將前t天的股票數據依次輸入Attention-Based LSTM網絡中，預測第t+1天的漲跌情況。將模型預測得到的結果與真實的漲跌情況進行對比，來調整預測模型。

2.2 長短時記憶網絡層

用數據準備層的輸出數據作為長短時記憶網絡層的輸入，充分發揮LSTM的時間序列處理優勢，保持股票信息并提取其特征。長短時記憶網絡（long short term memory，LSTM）是一種改進的RNN模型，它解決了RNN訓練過程中梯度爆炸或者梯度消失等問題，所有的RNN都有一種重復的神經網絡模塊鏈式的形式。在標準的RNN中，這個重復的模塊只有一個非常簡單的結構，例如一個tanh層或者sigmoid層。與單一tanh循環體結構不同，LSTM是一種擁有三個“門”的特殊網絡結構，它們分別是忘記門（forget gate）、輸入門（input gate）和輸出門（output gate）。忘記門負責選擇忘記過去無用信息;輸入門負責確定有用的新信息被存放在細胞狀態中;輸出門決定輸出信息。LSTM單元結構如圖2所示。

記憶模塊進行狀態更新和信息輸出的過程如下：

（1） LSTM的核心是Cell ：“Cell State”即細胞狀態，是隨著時間而變化的整個模型的記憶傳輸帶。傳送帶本身是無法控制哪些信息是否被記憶，起控制作用的忘記門、輸入門和輸出門。

3 實驗結果與分析

為了檢驗本文提出的離散型技術性指標的效果，以及基于注意力機制的LSTM預測模型的作用，設置了以下兩組實驗。實驗一， 為檢驗本文提出的離散型技術性指標的效果，使用三種不同的輸入數據，分別使用基于注意力機制的LSTM模型進行股價趨勢預測實驗;實驗二，為了檢驗本文提出的基于注意力機制的LSTM模型的效果，使用基本交易數據（7維）+離散型技術指標（7維）為輸入數據，分別使用Attention-Based LSTM模型、SVM模型和LSTM模型進行股價趨勢預測實驗。

本文的實驗環境為Ubuntu 16.04操作系統， 采用Tensorflow 開源平臺作為深度學習平臺，采用Python3.5編寫實驗程序，利用Python調用Tensorflow框架來實現基于注意力機制的LSTM模型的搭建。在SVM分類對比實驗中，采用Python的第三方機器學習庫Scikit-learn來實現傳統機器學習的分類方法。

3.1 模型參數

在傳統機器學習SVM分類方法中，設置Kernel為Polynomia，目標函數的懲罰系數C為1，degree設置為1。在LSTM模型和Attention-Based LSTM模型中，設置droupout rate 為 0.5。在訓練的時候采用小批量隨機梯度下降法，以減少訓練損失，mini-batch設置為64。

3.2 評價指標

實驗采用的評估分類模型的指標為模型分類的準確率（Accuracy）和F值（F-measuree）。計算這兩個評估統計指標需要先計算精確率（Precision）和召回率（Recall）。精確率和召回率公式如下：

Precisionpositive=TPTP+FP（13）

Precisionnegative=TNTN+FN（14）

Recallpositive=TPTP+FN（15）

Recallnegative=TNTN+FP（16）

其中：TP表示預測上漲趨勢，實際也為上漲的樣本個數;FP表示預測下跌趨勢，實際也為上漲的樣本個數;TN表示預測下跌趨勢，實際也為下跌的樣本個數;FN表示預測下跌趨勢，實際也為上漲的樣本個數。

Accuracy和F-measure公式如下：

Accuracy=TP+TNTP+FN+TN+FP（17）

F-measure=2×Precision×RecallPrecision+Recall（18）

其中：Precision是Precisionpositite和Precisionnegative的加權平均;Recall是Recallpositite和Recallnegative的加權平均。

3.3 對比實驗分析

3.3.1 不同輸入數據集的預測對比實驗

為檢驗本文提出的離散型技術性指標的效果，實驗分別采用以下三種輸入數據集：a. 基本交易數據（7維）;b. 基本交易數據（7維）+連續型技術指標（7維）;c. 基本交易數據（7維）+離散型技術指標（7維）。本實驗中，用前20天的股票數據去預測第21天的股票漲跌，使用基于注意力機制的LSTM網絡作為預測模型。實驗結果如表2所示。

使用BASIC+離散型指標數據的數據集在基于注意力機制的LSTM模型中是最優的，將近55%的正確率。相較于只使用交易數據，正確率提升將近2.5%，相較于BASIC+連續型輸入，正確率有1%的提高，實驗結果驗證了加入離散型技術指標的有效性。離散型技術指標數據作為模型的輸入時，它向模型輸入了各個技術指標所感知的趨勢信息，相較于輸入股票實際的技術指標，這是向前邁進的一步。實驗小結：引入股票離散型趨勢數據到預測模型中，能夠在已有交易數據和技術指標的基礎上提升預測精確度。

3.3.2 Attention-Based LSTM模型與SVM、LSTM模型的對比實驗

為了檢驗本文提出的含有注意力機制的LSTM模型的效果，分別使用Attention-Based LSTM模型、SVM模型和LSTM模型進行股價漲跌預測實驗。本實驗中，用前20天的股票數據去預測第21天的股票漲跌，使用基本交易數據（7維）+離散型技術指標（7維）為輸入數據。實驗結果如表3所示。

表3列出了含有離散型技術指標混合數據集分別在SVM、LSTM和LSTM+ Attention 模型的分類正確率和F值。從實驗結果可以看出，SVM在本次試驗中表現最差，使用LSTM模型進行股票預測，相較于SVM模型，預測的正確率提高了3%。實驗結果表明了LSTM模型在股票預測中的有效性。Attention-Based LSTM模型表現最為出色，正確率提升將近5%。實驗結果表明，與傳統的機器學習模型SVM和單一的LSTM模型相比，基于注意力機制的LSTM模型具有更好的預測能力。

4 總結與展望

針對金融時間序列動態不穩定性以及長期依賴的特性，本文提出了一種基于注意力機制的LSTM股價趨勢預測模型。實驗結果表明引入股票離散型趨勢數據到預測模型中，能夠在已有交易數據和技術指標的基礎上提升預測精確度，與傳統的機器學習模型SVM和單一的LSTM模型相比，基于注意力機制的LSTM模型具有更好的預測能力。未來可以進一步從豐富專家經驗規律特征，引入宏觀經濟指標，加入金融新聞與評論、網民情緒語料等方面來優化本模型。

參考文獻：

[1] MALKIEL B G， FAMA E F. Efficient capital markets： a review of theory and empirical work[J]. The journal of Finance， 1970， 25（2）： 383-417.

[2] WHITE H. Economic prediction using neural networks： the case of IBM daily stock returns[C]//Neural Networks， 1988， IEEE International Conference on. IEEE，1988：451-458.

[3] KOLARIK T， RUDORFER G.Time series forecasting using neural networks[J].Time Series and Neural Networks，1994，12（3）：86-94.

[4] BILDIRICI M， ERSIN. Improving forecasts of GARCH family models with the artificial neural networks： an application to the daily returns in Istanbul Stock Exchange[J]. Expert Systems with Applications， 2009， 36（4）： 7355-7362.

[5] HAMMAD A， ALI S M A， HALL E L. Forecasting the Jordanian stock price using artificial neural network[J]. Intelligent Engineering Systems through Artificial Neural Networks， 2007， 17.

[6] GRAVES A， MOHAMED A， HINTON G. Speech recognition with deep recurrent neural networks[C]//Acoustics， speech and signal processing （icassp）， 2013 ieee international conference on. IEEE， 2013： 6645-6649.

[7] WANG S， JIANG J. Learning natural language inference with LSTM[J]. arXiv preprint arXiv：1512.08849， 2015.

[8] SUN Y， WANG X， TANG X. Deeply learned face representations are sparse， selective， and robust[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2015： 2892-2900.

[9] CHEN K， ZHOU Y， DAI F. A LSTM-based method for stock returns prediction： a case study of China stock market[C]//Big Data （Big Data）， 2015 IEEE International Conference on. IEEE， 2015： 2823-2824.

[10] FISCHER T， KRAUSS C. Deep learning with long short-term memory networks for financial market predictions[J]. European Journal of Operational Research， 2018， 270（2）： 654-669.

[11] TREISMAN A M， GELADE G. A feature-integration theory of attention[J]. Cognitive psychology， 1980， 12（1）： 97-136.

[12] LUONG M T， PHAM H， MANNING C D. Effective approaches to attention-based neural machine translation[J]. arXiv preprint arXiv：1508.04025， 2015.

[13] WANG Y， HUANG M， ZHAO L. Attention-based lstm for aspect-level sentiment classification[C]//Proceedings of the 2016 conference on empirical methods in natural language processing. 2016： 606-615.

[14] ZHOU P， SHI W， TIAN J， et al. Attention-based bidirectional long short-term memory networks for relation classification[C]//Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics （Volume 2： Short Papers）. 2016， 2： 207-212.

[15] KARA Y， BOYACIOGLU M A， BAYKAN ? K. Predicting direction of stock price index movement using artificial neural networks and support vector machines： the sample of the Istanbul Stock Exchange[J]. Expert systems with Applications， 2011， 38（5）： 5311-5319.

[16] HOCHREITER S， SCHMIDHUBER J. Long short-term memory[J]. Neural computation， 1997， 9（8）： 1735-1780.

[17] MIKOLOV T， KARAFI？T M， BURGET L， et al. Recurrent neural network based language model[C]//Eleventh Annual Conference of the International Speech Communication Association. 2010.

[18] ABADI M， BARHAM P， CHEN J， et al. Tensorflow： a system for large-scale machine learning[C]//OSDI. 2016， 16： 265-283.