基于Pytorch的LSTM模型對股價的分析與預測

張康林，葉春明，李釗慧，王錦文

(1.上海理工大學 管理學院，上海 200093；2.南昌大學 公共管理學院，江西 南昌 330000)

0 引 言

股票市場發展至今已有400多年歷史，股票投資者隨著金融市場發展的越來越成熟也變得越來越多，而股價的預測一直都是股票投資者關注的問題。文獻[1]說明了由于股票價格具有高噪聲、動態、非線性和非參數等特性，想要準確預測股價仍具有很大的挑戰。但隨著大數據時代的到來和人工智能技術的發展，準確預測股票價格已經慢慢變為了可能。

目前，越來越多的學者采用人工智能技術來實現股價的預測，從傳統的人工神經網絡模型到深度學習模型，再到現在的多種模型相互結合進行預測，這些技術一直都在被改進并且被廣泛使用。許興軍[2]使用反向傳播神經網絡(backward-propagation network，BPN)模型對浦發銀行近一年交易日的股票數據進行了預測；韓山杰等人[3]采用多層感知機(multi-layer perceptron，MLP)模型預測了蘋果公司每日的股票收盤價；Ticknor等人[4]將日市場價格和財務指標作為輸入，利用前饋神經網絡模型對微軟公司和高盛集團未來一天的收盤價進行了預測。但是由于人工神經網絡在對股價進行預測時，存在很多問題，比如：模型優化過程中，存在梯度消失和梯度爆炸問題，導致模型無法優化；容易出現局部極值問題；過擬合現象的發生導致模型在對測試集進行預測時，其預測精度變小。為了解決上述問題，針對深度學習的研究也是越來越多。Graves等人[5]說明了LSTM模型可以解決梯度消失和梯度爆炸問題,Polson等人[6]探討了深度學習技術在金融市場研究中不僅可以解決過擬合問題，還能提高樣本的擬合程度。同時，國內外學者也利用深度學習技術對股價預測進行研究。Hoseinzade等人[7]提出了一個基于CNN的框架，并對標普500指數、納斯達克指數、道瓊斯指數、紐約證交所指數和羅素指數次日的走勢進行了預測，結果表明，預測性能比基線算法更高；Zahra等人[8]通過遞歸神經網絡(RNN)對卡薩布蘭卡證券交易所29天的maroc股票價格進行預測;宋剛等人[9]使用基于自適應粒子群優化的LSTM模型分別對滬市、深市、港股股票數據進行了股價預測，具有更高適用性。

通過上述分析，少有研究將聚類算法和深度學習技術進行結合來應用于金融預測，相關研究如文獻[10]，并且大多數研究使用的是Tensorflow深度學習框架進行建模分析。因此，該文使用SOM算法對187只不同業績的股票進行聚類和基于Pytorch的LSTM模型對三類中的共9只股票進行股價預測，主要貢獻有：(1)使用Pytorch深度學習框架進行深度學習模型的構建，相對于被廣泛使用的Tensorflow，Pytorch更加簡潔直觀；(2)使用了同一LSTM神經網絡結構對9只股票進行股價預測，證明了LSTM神經網絡在股價預測上有著很好的泛化能力；(3)針對不同業績的股票進行分類預測，證明了LSTM模型對業績優良的股票預測精度更高。

1 SOM神經網絡原理及改進

1.1 SOM神經網絡原理

1981年，自組織映射(self-organizing map，SOM)神經網絡由芬蘭學者Kohonen[11]提出，該聚類算法由于可以實現自學習，網絡具有自穩定性，無須外界給出評價函數，能夠識別向量空間中最有意義的特征，抗噪音能力強等優點。文獻[12-14]證明了SOM算法在各個領域應用廣泛。

1.2 SOM算法的具體過程

(1)初始化輸入數據Xi,j,i=1,2,…,n,j=1,2,…,m。

(2)初始化參數。模型需要初始化學習率η(0<η<1)，最小學習率ηmin，輸入神經元數m，輸出神經元數P=Pr*Pc，鄰域值R，鄰域值的縮小率a(a<1),學習率的縮小率λ(λ<1),最初迭代次數Iteration=0,最大迭代次數Max_iteration，時間k=0。

(3)初始化權重Wp,q,j(中心點Cp,q)，隨機生成[0,1)之間的數，p=1,2,…,Pr,q=1,2,…,Pc,j=1,2,…,m。

(4)最初迭代次數加1，并且設置目前的數據位置a=0。

(5)將數據下標o加1，數據位置a加1：

o=o+1

(1)

a=a+1

(2)

(6)設置當前來自于Xi,j數據Xo，Xo=[xa,1,xa,2,…,xa,m]。

(7)計算當前數據Xo與每個中心點的距離：

(3)

(8)通過步驟(7)的最小距離來確定獲勝中心點(WC);

(9)依次修改所有權重坐標(即中心點坐標)：

(a)在拓撲圖(見圖1)中計算當前中心點與獲勝中心點的距離：

disCC,WC=dic(Cp,q,WC)=

(4)

(b)修改權重坐標:

(5)

(c)重復步驟(a)與(b)，直到所有中心點坐標被修改。

圖1 拓撲圖

(10)判斷中心是否被所有數據修改:

(a)如果a=n，則跳到第(11)步；

(b)如果a≠n，則返回第(5)步。

(11)修改鄰域值和學習率：

R=R*a

(6)

η=η*λ

(7)

(12)判斷學習率：若η<ηmin,則令η=ηmin。

(13)停止標準：

(a)如果Iteration=Max_iteration,則跳到第(14)步；

(b)如果Iteration≠Max_iteration，則返回第(4)步。

(14)將數據分配到距離最小的中心點，再計算每個中心點的數據數。

(15)根據拓撲圖矩陣確定每一類中包含數據的數量。

1.3 SOM算法的改進

為了進一步探討不同類別的股票在對其收盤價格進行預測時，其預測精度是否也會有所不同，在計算出分布矩陣和最佳中心點的坐標后，再一一計算每一個點和中心點的歐氏距離，見式(8)。通過分布矩陣，找出距離中心點最近的n個點，即可找到每一類中所含的股票代碼。

(8)

2 改進的SOM實驗及其結果分析

2.1 數據下載

該文所做的SOM分析所需要的數據均來自于證券寶平臺，該平臺可以通過python API獲取股票年報數據。分析中選取了滬市股票(600000-600100)、深市股票(000001-000100)與創業板股票(300001-300100)總共187家上市公司2018年的銷售凈利潤率、凈資產收益率、銷售毛利率、凈利潤和每股收益5項能充分反映上市公司綜合盈利能力的指標作為主要研究對象。

為了避免指標單位對結果的影響，需先將原始數據進行歸一化處理，歸一化公式如下：

(9)

2.2 實驗結果分析

該文在系統WIN10、1TB+128G(SSD)的硬盤、INTEL酷睿I7-6700Q的CPU和內存4 GB的PC機上使用python3.7實現SOM算法，輸入神經元數為5。由于該文將187只股票分為了虧損股、盈利股和小幅虧損或小幅盈利股三類，所以輸出神經元數P=Pr*Pc=1*3，鄰域值為4，學習率為0.1,最小學習率為0.001，鄰域值的縮小率為0.99,學習率的縮小率為0.99。迭代次數經過多次調整發現，當Max_itreation大于等于200時，最終的聚類結果不變，所以將Max_itreation設為200，減少程序運行時間。

經過多次對程序的運行，可以求出其中有71只股票以點[0.916 956 54 0.955 327 9 0.623 186 590.077 145 72 0.540 198 69]為中心聚為第一類，有96只股票以點[0.906 286 24 0.948 758 48 0.390 331 97 0.047 142 88 0.520 635 68]為中心聚為第二類，有20只股票以點[0.499 768 73 0.800 670 52 0.380 143 94 0.023 035 95 0.243 620 15]為中心聚為第三類，通過SOM算法的改進原理，進一步優化python實現的SOM代碼，將每一個類別中所含的股票一一求出。

為了比較每一類的股票盈利能力大小，表1將三類中部分股票的盈利能力指標列出。

表1 每一類部分股票的盈利能力

其中，code代表股票代碼，roeavg代表凈資產收益率(平均)(%)，npMargin代表銷售凈利率(%),gpMargin代表銷售毛利率(%)，netProfit代表凈利潤(元)，epsTTM代表每股收益。

該文選取的五項指標是衡量公司獲利能力和成長性最好的指標，即能通過這五項指標說明該類上市公司在技術水平、經營規模、經營實力等方面具有很大優勢，經營業績優良，競爭能力比較強,綜合財務狀況較佳，頗具發展潛力和長期投資價值，即通過這五項指標的大小可以判斷該公司的綜合盈利能力大小。所以結合表1可以看出，綜合盈利能力的大小排序：第一類>第二類>第三類。計算出不同類別所包含的股票后，將進一步對不同類別的股票使用LSTM模型進行預測。

3 Pytorch深度學習框架

3.1 簡 介

Pytorch是Facebook在2017年開源的一款深度學習框架，它是源于torch更新后的一種新產品，同時也是一個原生的python包，它與python是無縫集成的，而且還特意使用了命令式編碼風格。Pytorch由于具有動態計算圖表、精簡的后端與高度可擴展等優勢，目前得到了廣泛的應用。Pytorch在已經在聊天機器人、機器翻譯、文本搜索、文本到語音轉換和圖像與視頻分類等項目中取得了巨大成功。

3.2 開發環境

該文是在系統WIN10、1TB+128G(SSD)的硬盤、INTEL酷睿I7-6700Q的CPU和內存4 GB的PC機上通過python3.7版本和anaconda5.3.1版本來使用Pytorch構造LSTM深度學習模型。Anaconda是一個開源的python包管理器，包含了python、conda等180多個科學包及其依賴項。它支持Windows、Linux和Mac三種系統，由于它提供了包管理與環境管理的功能，所以能很方便地解決多版本python切換、并存以及下載安裝各種第三方包等問題。然后打開其中的jupyter notebooks應用程序，直接在谷歌網頁頁面中編寫、運行和調試代碼。

4 LSTM神經網絡的原理

長短期記憶神經網絡(long-short term memory，LSTM)在1997年由Hochreiter等人[15]提出。它是循環神經網絡(recurrent neural network，RNN)的一種變體，能夠更好地解決傳統RNN在處理大型時間序列時存在的梯度消失和梯度爆炸等問題。由于深度學習框架發展得越來越成熟，再加上LSTM能夠更好地處理序列化數據，所以LSTM神經網絡目前得到了廣泛的應用，相關研究如文獻[16-17]說明了LSTM算法在時間序列預測、視覺識別、分類等都取得了重大成功。

LSTM的網絡結構由三個門控和一個記憶細胞組成。記憶細胞能將歷史記憶信息進行保留。下面是三個門控的計算原理。

第一步，遺忘門能決定從單元信息狀態中去丟棄哪些信息，采用sigmoid作為激活函數，它能為單元狀態中的每個元素輸出0到1之間的數值，公式表示如下：

ft=σ(Wf*[ht-1,Xt]+bf)

(10)

第二步，確定要添加到單元狀態的信息。這里包括兩個部分：一個是采用sigmoid作為激活函數的輸入門，它決定要更新的值；另一個是tanh層，它創建要添加到單元狀態的新值。公式表示如下:

it=σ(Wi*[ht-1,Xi]+bi)

(11)

Ct=tanh(WC′*[ht-1,Xt]+bC′)

(12)

(13)

第四步，決定輸出門的值，公式表示如下：

Ot=σ(Wo*[ht-1,Xt]+bo)

(14)

(15)

式(10)～式(15)中，σ表示sigmoid激活函數，Wf表示遺忘門的權重矩陣，Wi表示輸入門的權重矩陣，Wc表示更新門的權重矩陣，Wo表示輸出門的權重矩陣，bf表示遺忘門的偏置，bi表示輸入門的偏置，bc表示更新門的偏置，bo表示輸出門的偏置，ht表示t時刻的輸出，Ct表示t時刻更新的細胞狀態。

5 LSTM神經網絡設計與實現

5.1 實驗設計

預測流程包括：下載數據、數據處理、數據歸一化、LSTM模型的訓練、微調參數和收盤價格預測。

下載數據：每一類中隨機挑選3只股票，下載每一只實驗股票2018年的收盤價格，通過證券寶平臺的python API接口，編寫python程序進行下載和儲存。

數據處理：將存儲的原始數據打開，刪除股票代碼一列，并且刪除缺失值的每一行，進一步構建完整有效的數據集，便于數據分析。

數據歸一化：為了使模型更加容易正確的收斂，將收盤價格進行了歸一化處理。

LSTM模型的訓練：上文已將187只股票分成了3類，并且也已知每一類別中所含的股票代碼，所以接下來將使用LSTM模型對每一個類別中的股票隨機進行預測，觀察每一類別的預測精度。該文想通過前面2天的股價來預測當天的收盤價，所以將前兩天的股價當作輸入，當天的股價當作輸出，最后再基于Looney[18]的研究，將每只實驗股票收集到的65%數據作為訓練數據集，35%數據作為測試數據集。

微調參數：在模型的訓練過程中，需要不斷調整學習率、LSTM層數和隱藏層神經元數，直到模型的預測效果最佳。

價格預測：將測試數據集導入訓練好的模型進行價格預測。

實驗流程如圖2所示。

圖2 股價預測實驗流程

5.2 模型評價標準

選取均方誤差(MSE)和決定系數(R2)作為評價指標對模型預測結果進行定量評價。其中MSE數值越小，模型預測結果與真實值偏差越小，結果也就越準確；決定系數R2越接近數值1，說明擬合優度越大，模型預測效果也就越好。具體公式如下：

(16)

(17)

其中，N代表數據集中數據的個數，yp代表模型預測值，yn代表實際值，yave代表實際值的平均值。

5.3 LSTM模型參數設置

LSTM模型結構由輸入層、輸出層、兩層LSTM層組成，其中輸入層單元數為2，在權衡了模型的預測準確度后，將1-3類的隱藏層單元數都設置為4，輸出層單元數為1，迭代次數為1 000，學習率為0.01，損失函數采用均方誤差MSE,模型訓練過程采用的優化算法為Adam算法，模型的搭建在Pytorch深度學習框架下實現。

5.4 結果分析

每一類中隨機抽取3只股票的預測結果，如圖3～圖5所示，每一張圖的縱坐標代表股價做歸一化處理后的值，橫坐標代表時間第x天。兩條曲線分別代表LSTM模型預測值和股價真實值，可以看出LSTM模型的預測曲線都很接近于股價的真實曲線。

圖3 第一類中的sz.300059、sz.300003、sh.600033股票預測結果

圖4 第二類中的sz.300044、sh.600082、sz.300014股票預測結果

圖5 第三類中的sz.300083、sz.300063、sz.300069股票預測結果

為進一步驗證模型預測不同盈利能力的股票的預測性能，表2給出了三類中各3只股票的評價標準計算結果。第一類的平均均方誤差為0.003 40，第二類的平均均方誤差為0.006 21，第三類的平均均方誤差為0.008 71，所以第一類預測誤差小于第二類，第二類的預測誤差小于第三類，說明相同的LSTM模型預測第一類股票的股價結果最準確。同時，在決定系數R2評價標準中，第一類的R2平均值為0.931 18，第二類的R2平均值為0.899 17，第三類R2平均值為0.860 01，所以同樣的LSTM模型在預測不同類的股票價格時，第一類的決定系數更接近1，其次是第二類，說明LSTM模型在對第一類進行預測時，模型擬合優度最大，預測效果最好，其次是第二類。綜合以上分析，可以得出：使用相同的LSTM模型預測不同盈利能力的股票價格時，盈利能力越強的股票，模型對其股票價格預測結果越準確。

表2 評價標準結果

6 結束語

股票價格的預測是一個非常復雜的過程，因為股票市場的預測過程基本上是動態的、非線性的、復雜的。因此，通過證券寶平臺下載187只股票數據，提出一種基于自組織特征映射(SOM)神經網絡和長短期記憶網絡(LSTM)相結合的股價預測方法。首先使用python實現Kohonen提出的SOM算法，然后通過加入計算每一只股票與最終中心點的距離的改進，將187只股票聚成3類，并且得出三類中每一類所含股票，再基于Pytorch深度學習框架構建LSTM模型，分別對三類中隨機選取的3只股票進行股價預測。實驗結果表明：在使用相同網絡結構的LSTM模型對不同盈利能力的股票價格進行預測時，模型對盈利能力較大的股票價格預測有更高的預測精度。

該文對股價的預測方法，能通過聚類幫助股票投資者篩選出擁有更大盈利能力的股票，從而進一步提高預測精度。此方法在未來金融時間序列研究中擁有廣泛的應用前景，不僅能為投資者提供一定的參考信息，也能為后續的研究者提供相應的參考。