SCONV：一種基于情感分析的金融市場趨勢預測方法

林培光 周佳倩 溫玉蓮

(山東財經大學計算機科學與技術學院 濟南 250014)(llpwgh@163.com)

股票市場是一個與我們日常生活息息相關的市場，對于我國甚至全球的經濟發展都十分重要.股民作為股票市場的重要參與者，其情緒的變化會迅速反映到市場上.隨著近些年，互聯網技術的迅速發展，信息傳播的速度與渠道也越來越多，股民們獲取信息的方式也越來越多樣化.金融新聞、財經新聞、社交媒體等等逐漸開始影響股民們投資的決策.因此，股票價格不僅僅會受政治、經濟、軍事的影響，還會受“情感”因素的影響.隨著新聞、微博、博客、貼吧、論壇等等社交網絡的影響.金融新聞更加快速直觀地誘導放大了投資者對于股票市場的態度傾向，導致股票價格的不確定性和波動性很大，使股票價格的預測成為研究的一大難題.

近年來，深度學習[1]開始成為學習熱潮，經過近幾十年的發展，深度學習已經成為了一門熱門技術[2]，并且不斷在各大領域有所突破，如股價預測[3-5]、時間序列預測、文本分析、計算機視覺[6]等等.

本文提出了一種基于情感分析的卷積LSTM模型SCONV(semantic convolutional),該模型從股民評價與交易數據中動態提取金融市場趨勢的潛在數據，利用股民評價來提取情感特征，幫助提高股價預測的準確率和穩定性，使用word2vec模型對文本數據進行訓練、獲取詞向量表示并提取出“情感”權重后，通過卷積的局部特征，使用卷積LSTM模型[7]來捕捉金融交易數據的特征.

本文利用4種評價指標，通過與其他3種傳統模型的比較以及對不同的數據集進行獨立測試，并對實驗結果進行分析，實驗結果表明：本文提出的模型在不同長度的樣本中依舊具有更好的預測性能，適用性更強.

本文的主要貢獻有3個方面：

1) 通過融合語義分析與帶有卷積的LSTM模型來進行金融市場的走勢預測.SCONV模型僅將原始金融交易數據以及股民評價作為輸入，沒有任何中間的人為干預，是一種純端到端的方法.

2) 用股吧評價來挖取股民的“情感”因素作為輔助信息，提高了預測的準確性.

3) 不同于以往的8～10年的數據訓練量，本文嘗試使用小一些的樣本(3年以內的交易數據以及股吧評論)來訓練模型，并用金融和機器學習標準評估它.實驗結果表明：與基本模型(如RNN、普通LSTM網絡)相比，SCONV為所有實驗樣本提供了更加穩健的預測效果.

1 相關工作

目前，用于時間序列預測最常用的模型是AR模型及其衍生的ARMA，ARCH，GARCH等模型，但是，時間序列的高度非線性與不穩定性，限制了AR模型的適用性.隨著機器學習與深度學習的發展，開始衍生出很多其他的時間序列預測模型，如結合K-最近鄰和支持向量機的混合模型，添加了隱馬爾可夫模型的對抗非線性股價時間序列模型，以及基于和諧搜索的神經網絡.

盡管傳統的神經網絡具有處理非線性數據的能力，但是這并不足以盡可能多地找到時間序列中的長期依賴關系以及特征提取.為了記住時間序列數據的長期上下文特征，激發了門控存儲單元的使用，從而出現了目前用于股票研究的預測的最廣泛使用的模型之一：LSTM模型.LSTM是Hochreiter等人[8]在1997年首次提出的，是遞歸神經網絡RNN的變體，它是一種可擴展的動態模型，很好地實現了時間序列數據的長期上下文.在2016年Akita等人[9]用LSTM采用歷史數值和文本數據來預測價格.2015年，Rather[10]等人提出了股票收益預測的遞歸神經網絡和混合模型.

Zhang等人[3]提出了一種通過離散傅立葉變換增強的LSTM變體，以發現多頻交易模式;2017年，Tsantekidis等人[11]提出了基于CNN模型的股票價格預測，實現了神經元的局部連接和權值共享，保留重要參數，減少了大量不重要的參數.

2015年提出的卷積LSTM[7]將深度卷積神經網絡的局部特征提取能力與LSTM的時間特征保持相結合，已經被應用于許多領域，例如天氣預報[7]、圖像壓縮[12]以及一般算法任務[13].

盡管有很多方法可以預測股票價格[14-15]，但是這些工作都沒有考慮到股民作為股票市場參與者的影響，實際上，隨著互聯網的迅速發展，信息的傳播速度越來越快，金融類新聞更加快速直觀地誘導放大了投資者對于股票市場的態度傾向，股民的情緒開始更加快速直觀地影響股價，為了更加準確地預測股價走勢，本文提出了一種基于情感分析的金融時間序列預測方法SCONV.除固定的結構化歷史數據之外，還爬取了非結構化的股民評論來提取“情感”因素與股票價格一起，利用ConvLSTM模型進行股票預測.

實驗表明：本文提出的SCONV模型在較小樣本的情況下依舊具有穩定性，SCONV模型的各類結果參數RMSE，MSE，MAE和MAPE的值比對照的傳統模型CNN,LSTM,LSTM-CNN的值要小，可以得出，本文提出的SCONV模型在不同長度的樣本下依舊具有優勢，證明了本文提出模型的有效性.

2 SCONV方法模型

本文提出的SCONV的體系結構如圖1所示，通過從股吧爬取股評，經過數據清洗之后，創建單詞到索引和矢量的映射、轉換訓練和測試詞典，使用word2vec模型獲取股票評論信息的詞向量表示，將詞向量特征使用lstm模型進行情感分類，賦予情感權重.同時，將股價信息進行特征提取與降維處理后，與對應日期的情感權重一起組合，利用ConvLSTM模型通過2個步驟處理二維數據幀：

Fig. 1 SCONV model structure diagram圖1 SCONV模型結構圖

1) 卷積核捕獲局部特征；

2) 基于局部特征，LSTM網絡用門控遞歸網絡捕獲瞬時特征.

在后一個疊加的LSTM進行訓練之前，模型中添加了一次dropout來避免過擬合.

2.1 數據預處理

本文的數據預處理主要為對股民評價的原始數據清洗、刪選、去除噪聲以及無關內容，得到高質量的數據，使之后的情感分析更為準確.

首先進行數據清洗，刪除有缺失或缺失比例較高的股評.

隨后，使用jieba分詞工具的精確模式將文本數據進行分詞處理，去掉換行符，對于無關向量進行刪除操作來去除噪聲，并創建詞語字典，返回每個詞語的索引、詞向量以及每個句子所對應的詞語索引，為之后的情感分析做鋪墊.jieba分詞具有3種模式：精確模式、全模式以及搜索引擎模式.其中，精確模式可以將句子以最精確的方式進行切分，此模式常被用于情感分析.創建每個詞語的索引、詞向量以及每個句子所對應的詞語索引的過程具體會在2.2節進行介紹.

2.2 股票評論文本情感提取

有關情感的論述可以追溯到19世紀末的James[16]，在情感分析的發展過程中，Subasic等人[17]將自然語言處理技術與模糊邏輯技術相結合，基于手動創建的模糊情感詞典，對新聞故事和電影評論進行情感分析.隨著文本情感傾向分析研究的不斷深入，對于具有傾向性的特殊句式的研究也逐漸展開，在傾向性分析應用以及傾向性分析與其它任務相結合的研究也在逐漸展開，例如傾向性文本摘要、傾向性信息檢索[18]等.

如圖2所示，本文構建的情感分析模塊由預處理與情感分析2部分組成.

Fig. 2 Emotional analysis module圖2 情感分析模塊

2.2.1 預處理

預處理包含了情感分析模塊的輸入部分以及詞向量表示部分，將股票評論文本的一條評論信息輸入模塊進行處理，先對句子進行分詞，去掉換行符，并創建詞語字典，返回每個詞語的索引、詞向量以及每個句子所對應的詞語索引，此過程為：

1) 創建單詞到索引的映射；

2) 創建單詞到矢量的映射；

3) 轉換培訓和測試詞典.

預處理中，記錄了所有頻數超過10的詞語的索引以及所有頻數超過10的詞語的詞向量，對于每個句子中所含詞語對應的索引，若句子中含有頻數小于10的詞語，則索引為0.

2.2.2 情感分類

1) word2vec

word2vec模型可以構建文本特征詞向量，可以用于情感分析.word2vec是由Mikolov[19]等人開發的工具，它是在Log-Bilinea和NNLM這2個模型的基礎上發展生成的.word2vec可以將詞從高維空間映射到低維空間，并且保留了詞向量之間的位置關系，從而解決了語義聯系和向量稀疏2個問題.

2) 情感權重計算

由預處理部分得到詞向量后，本文使用LSTM層來提取股評信息特征，進行情感分析，提取的特征信息在輸入神經元(input neuron)生成用于情感分類的特征值，最后在輸出層(output layer)使用softmax函數輸出情感類別，積極情感為1，普通為0，消極情感為-1，最終賦值整合成情感權重.

隨后對詞向量進行分類后得出該條股評的類別(label)為1(積極情感)或0(普通情感)或-1(消極情感)，并計算每一條股評的價值，再進一步整合成每一天的情感值sentiment_label.

如表1所示，本文通過情感分析的input neuron模塊，對每一條股評的類別label進行判別，并計算出該條股評的情感值sentiment_value.具體計算過程如式(1)至式(6)所示：

Table 1 Theemotional Value and Label of Stock Evaluation表1 股評情感值與標

ft=σ(Wf[ht-1,xt]+bf)，

(1)

it=σ(Wi[ht-1,xt]+bi)，

(2)

其中，σ表示sigmoid函數，ft和it分別代表遺忘門和輸入門，xt表示輸入端的股評分詞向量，W表示權重矩陣，b表示偏差矩陣.

(3)

(4)

ot=σ(Wo[ht-1,xt]+bo)，

(5)

ot為輸出門，此時ot表示sentiment_value，即每一條股評的情感值，sentiment_value∈[0,1]，sentiment_value=1時表示該條股評情感強烈，反之，則表示該條股評情感所占比重不多.

(6)

ht表示t時刻LSTM單元的輸出，此時ht代表sentiment_label，即每日的情感值，通過累加每一條的sentiment_value×label并向上取整，可以得出如表2所示的每天的情感權重sentiment_label.

Table2 Daily Emotional Value表2 每日情感值

2.3 股票時間序列預測

2.3.1 卷積LSTM

卷積LSTM是在2015年由Shi等人[7]提出的，起初其用于降水預報.如圖3所示，相比于傳統的LSTM，ConvLSTM中先使用了卷積操作提取數據特征，再對數據進行訓練，可以更好地預測數值的趨勢走向.相比卷積網絡疊加LSTM，ConvLSTM中門的計算引入了卷積，輸入可以是二維圖像(可以是多個通道的)，而后者的卷積操作疊加LSTM，其中的卷積層只是用來提取特征，特征轉換為一維向量后作為輸入送入LSTM，LSTM中門的計算是全聯接的.ConvLSTM自提出以來，已經被應用于許多領域，例如天氣預報[7]、圖像壓縮[13]以及一般算法任務[11].

普通LSTM網絡中的所有隱藏層都是完全連通的層，它對于語音識別和自然語言處理等任務非常有效，因為它可以將語音和文本完美地映射到可訓練的向量空間中[18].然而，它無法更好地處理純數字數據的標記化.卷積LSTM單元通過用卷積核替換完全連通的層來解決這個問題.

形式上，在ConvLSTM的網絡結構中，將股票時序數據連同其對應的前1天、前3天均值、前一周均值的情感數據一起作為輸入，使其在ConvLSTM底部的卷積層CNN中不僅能夠得到時序關系，還能夠像卷積層一樣提取空間特征，這樣ConvLSTM就可以同時提取時間特征和空間特征，并且狀態與狀態之間的切換也換成了卷積運算，具體模型如圖3所示.ConvLSTM單元的信息更新過程如式(7)～(11)所示：

Fig. 3 ConvLSTM cell structure圖3 ConvLSTM單元

it=σ(Wxi*Xt+Whi*Ht-1+
Wci°Ct-1+bi)，

(7)

Ct=ft°Ct-1+it°tanh(Wxi*Xt+
Whi*Ht-1+bc)，

(8)

ot=σ(Wx0*Xt+Wh0*Ht-1+
Wc0°Ct+b0)，

(9)

ft=σ(Wxf*Xt+Whf*Ht-1+
Wcf°Ct-1+bf)，

(10)

Ht=ot°tanh(Ct)，

(11)

其中，σ表示sigmoid函數，tanh是雙曲正切函數，*表示卷積運算.Xt,Ht,Ct分別表示時間步長t處的輸入數據、隱藏狀態和單元狀態.it,ft,ot表示在時間步長t時輸入門、遺忘門和輸出門的輸出.Wxi,Whf,Wcf表示輸入、輸出和遺忘門的卷積核.bc表示輸入門的偏置，bf表示遺忘門的偏置，b0表示輸出門的偏置，°表示逐點乘法.

由于參數共享是深度學習模型泛化的關鍵因素，其通過核和數據之間的卷積運算，使核的參數在輸入數據之間共享，因此卷積操作對于從數據中提取泛化特征更有效.

然而，由于金融交易數據的性質，我們不能直接使用卷積LSTM單位的原始設計.雖然交易數據可以組織成二維框架，但我們不能應用二維卷積，因為二維框架的行包含不同類型的特征，包括開盤價、收盤價、最高價、最低收和交易量.

相反，本文使用一維卷積的修改版本：通道只在二維數據幀的時間線列之間水平移動，同時它們也在不同類型的數據之間共享，以保證參數共享.請注意，我們遵循Shi等人[7]的設計，即在卷積過程中不壓縮輸入幀的大小，這意著如果輸入的Xt是6*5，輸出通道是32，則最終隱藏狀態輸出Ht應該是6*5*32，并且它們被展平為矢量，作為后續分類器層的輸入.

2.3.2 LSTM

從ConvLSTM中生成的數據，再添加一次dropout來避免過擬合，LSTM模型單元內部結構如圖4所示.LSTM單元的信息更新過程如式(12)～(17)所示:

Fig. 4 Stock prediction module圖4 股票預測模塊

it=σ(Wixt+Uiht-1+bi)，

(12)

ft=σ(Wfxt+Ufht-1+bf)，

(13)

(14)

(15)

ot=σ(Woxt+Uoht-1+Vo*ct+bo)，

(16)

ht=ot°tanh(ct)，

(17)

其中，σ表示sigmoid函數，tanh表示雙曲正切函數，xt為輸入的股票向量，ct表示內存狀態向量，ht是從ct輸出的隱藏狀態向量.Wi和Ui以及Vi表示權重矩陣，bi為偏差矢量，調節流入存儲單元的允許的新的股票價格.ft為遺忘門，控制在該單元中應保留多少信息.ot為輸出門，定義了可以輸出的信息量.°表示逐點乘法.

3 實驗與結果

本節使用我們的技術構建了用于金融時間序列預測的SCONV混合模型，并且在不同時間長度、不同文本數量的數據集上測試了本文的方法.

3.1 度量標準

本文選用準確率(mean average precision,MAP)、平均絕對誤差(mean absolute error,MAE)、平均絕對百分比誤差(mean absolute percentage error,MAPE)、均方誤差(mean square error,MSE)和均方根誤差(root mean square error,RMSE)，作為模型預測評價指標，計算過程如式(18)～(22)所示:

(18)

(19)

(20)

(21)

其中，預測值為predict_yi，i∈[0,n]，真實值為y={y1,y2,…,yn}，則RMSE，MSE，MAE和MAPE的取值范圍是[0,+)，若其越靠近0則表示模型預測性能越好，反之，越差.

(22)

MAP的范圍是[0，1],當MAP=1時，即完美模型，股票預測值和真實值之間的誤差越小，MAP值越大，模型的預測性能越好，反之，則越差.

3.2 數據集

本文采用的數據集包括2部分：股評信息以及股票交易數據.股票交易數據來源為英為財情網站和銳思數據庫，從中選取影響股票價格波動的主要的4個技術指標：開盤價(Open)、最高價(High)、最低價(Low)、收盤價(Close).股民評論信息來源為東方財富網站.選用的數據集為阿里巴巴(BABA.us)、平安銀行(000001.sh)、格力電器(000651.sz).

其中阿里巴巴(BABA.us)選用的股票交易日期和股民評論日期為2016-01-02—2019-12-31，爬取的股評數目為11 390條；平安銀行(000001.sh)選用的股票交易日期和股民評論日期為2016-04-02—2017-09-30，爬取的股評數目為112 307條；格力電器(000651.sz)選用的股票交易日期和股民評論日期為2019-06-26—2019-12-30，爬取的股評數目為27 911條.

隨后將這些爬取到的股評數據集先進行預處理.如表3所示，將股價日數據集分為80%的訓練集train和20%的測試集test，對應的股評文本按照日期同樣進行劃分，并分別計算出對應股價日期前1日的情感值、前3日的情感均值與前一周的情感均值，使用訓練集train對模型進行訓練，隨后使用測試集test對模型的各預測指標進行測試并統計.

Table 3 Stock Data Set Statistics表 3 股票數據集統計

3.3 實驗結果

本節為了驗證我們提出的SCONV混合模型的可行性和高效性，實驗以阿里巴巴(BABA.us)、格力電器(000651.sz)、平安銀行(000001.sh)不同時間段、不同文本評論數據條數作為數據集進行數據預處理，并使用CNN,LSTM,LSTM-CNN方法進行對比實驗.各個模型在不同數據集上的評價指標結果如表4所示，其中，SCONV(1),SCONV(3),SCONV(7)分別表示在模型運行中使用了對應股價日期前1天情感值、前3天情感均值、前一周情感均值的結果.

Table 4 Comparison of Experimental Prediction Indexes of Each Model表4 各模型的實驗預測指標對比

從表4的結果可以得出，SCONV遠遠優于其他模型，接下來進行對結果的具體分析.

3.3.1 實驗結果綜合分析

從表4中可以看出，LSTM模型的預測結果明顯比CNN好，MAE,MAPE,MSE,RMSE值更小，說明LSTM模型的預測值更接近真實值,主要是因為LSTM模型克服了CNN模型不能長期有效記憶的能力，對時序數據的預測效果更好.

LSTM-CNN的模型預測結果均小于LSTM，說明作為2個模型的外部疊加，經過CNN提取特征后，可以更好地預測股票價格.

SCONV作為本文提出的模型，預測結果均強于前3個模型，說明相比LSTM-CNN，ConvLSTM作為卷積網絡與LSTM內部結合的模型，SCONV可以比僅在外部疊加的LSTM-CNN更有魯棒性，無論是3年、1.5年還是5個月的數據集，SCONV依舊有著穩定性，相比單純的LSTM-CNN，由于文本分析的加入，SCONV的預測效果更好.

從結果中也可以看出，使用較長時間的情感均值可以更好地預測股票價格走向，說明股民的情緒對股價走勢有著一定緩慢程度上的影響.

3.3.2 實驗結果綜合比較

為了更加直觀地對比SCONV與各個模型的效果差異，本文將各個數據集在不同模型中的測試集輸出整合到了一張圖表上(SCONV選取了使用了SCONV(7)的結果數值來畫圖)，如圖5～7所示，Alibaba(BABA.us)的測試集相對而言最長，隨后是平安銀行(000001.sh)，最后是格力電器(000651.sz)，

Fig. 5 AliBABA forecast integration chart圖5 AliBABA預測整合圖

Fig. 6 PingAN bank forecast integration chart圖6 平安銀行預測整合圖

Fig. 7 GeLi forecast integration char圖7 格力電器預測整合圖

從圖5～7中可以看出，無論測試集長短如何，SCONV模型與實際收盤價(Close)的擬合程度始終優于其他對比模型.

3.3.3 穩定性分析

MAP作為本文實驗的準確率判別標準，計算過程由式(17)給出，為了更加直觀地顯示SCONV的穩定性與文本分析在SCONV中的角色地位，本節實驗中將3個實驗數據的實驗集進行時間長度統一化，并統一只使用對應日期前1天的股評情感加入模型訓練.

本文實驗中3個數據集經過時間長度統一后的MAP如表5所示，每個MAP的范圍均由同一個數據集近50次訓練得出.

由表5可以進行分析，首先看歸一化與原數據集的比對，阿里巴巴(BABA.us)和平安銀行(000001.sh)歸一化后的MAP小于其均歸一化前，并且歸一化后的MAP的動蕩范圍變大，說明實驗集的長短對于預測的準確率有一定的影響.

以平安銀行(000001.sh)與阿里巴巴(BABA.us)歸一化前后作對比，平安銀行(000001.sh)在歸一化后剩下了3.6萬條左右的文本數據，阿里巴巴(BABA.us)在歸一化后剩下了0.5萬左右的文本數據，可以對比前者的動蕩區間變化比后者相對小一些，說明文本數量以及文本分析在SCONV中占有著一定的重要地位.

再來看歸一化后有著相同實驗集長度的3個不同股票數據集(表5的第2,4,6列)，其MPA基本穩定在一個固定區間內，相較于以往傳統模型的5～8年數據集，SCONV在5個月的數據集上依舊可以穩定發揮，說明SCONV具有一定的穩定性.

Table 5 The MAP of SCONV表5 SCONV模型的MAP

4 總 結

本文提出的基于情感分析的金融市場趨勢預測方法SCONV，在引入文本分析的前提下，通過word2vec進行情緒分析，進行輸入神經元與輸出層的情感分析，得到分為“積極”、“普通”、“消極”的3種情感分類，并得出每日的情感權重.再使用卷積LSTM進行股價預測.本文采用阿里巴巴(BABA.us)、平安銀行(000001.sh)、格力電器(000651.sz)作為實驗數據，并且不同以往的股價預測中使用5～8年的數據，本文實驗中分別使用了3年左右(BABA.us)、1.5年左右(000001.sh)、5個月左右(000651.sz)較小的樣本來進行實驗，使用CNN,LSTM,LSTM-CNN等傳統模型進行對比，實驗結果表明，本文提出的SCONV的預測性能更好，在不同時間長度、不同文本數量的數據集中依舊可以穩定預測，具有一定的魯棒性.

未來的工作會嘗試研究國家政策、市場、突發事件等不確定性因素影響，嘗試使用長周期樣本以及更小的樣本來進一步試驗完善模型和參數，提高模型的性能.