基于生成式對(duì)抗神經(jīng)網(wǎng)絡(luò)的股票預(yù)測(cè)研究

嚴(yán)冬梅，李 斌

天津財(cái)經(jīng)大學(xué) 理工學(xué)院，天津 300222

隨著我國經(jīng)濟(jì)的高速發(fā)展，人們投資理財(cái)?shù)囊庾R(shí)不斷提高。股票作為一種操作便捷、高風(fēng)險(xiǎn)、高收益的投資標(biāo)的，深受廣大投資者關(guān)注。影響股票價(jià)格走勢(shì)的因素很多，例如數(shù)據(jù)體量大、難以量化。傳統(tǒng)的股票預(yù)測(cè)方法以計(jì)量經(jīng)濟(jì)學(xué)為主。20 世紀(jì)80 年代，隨著玻爾茲曼機(jī)和反向傳播（backpropagation，BP）算法[1]的出現(xiàn)解決了多層網(wǎng)絡(luò)的訓(xùn)練問題，神經(jīng)網(wǎng)絡(luò)逐漸走進(jìn)了研究人員的視野。文獻(xiàn)[2-4]等學(xué)者將BP神經(jīng)網(wǎng)絡(luò)用于股市建模與決策，證明了BP 神經(jīng)網(wǎng)絡(luò)對(duì)股票預(yù)測(cè)存在實(shí)用性價(jià)值。

近年來隨著循環(huán)神經(jīng)網(wǎng)絡(luò)在解決時(shí)間序列問題上展現(xiàn)出的獨(dú)特優(yōu)勢(shì)，不少專家學(xué)者利用長(zhǎng)短期記憶（long short-term memory，LSTM）人工神經(jīng)網(wǎng)絡(luò)、門控循環(huán)單元（gated recurrent unit，GRU）等循環(huán)神經(jīng)網(wǎng)絡(luò)及其變體進(jìn)行股票預(yù)測(cè)，取得了不錯(cuò)的效果。文獻(xiàn)[5]論述了使用BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行股票預(yù)測(cè)存在的諸多不合理性，創(chuàng)新性地將LSTM 網(wǎng)絡(luò)用在股票這種金融時(shí)間序列的預(yù)測(cè)研究上。雖然只是對(duì)LSTM模型進(jìn)行參數(shù)優(yōu)化，未涉及模型上的改進(jìn)創(chuàng)新，但是通過實(shí)驗(yàn)對(duì)比仍舊驗(yàn)證了LSTM模型在股票預(yù)測(cè)上比BP網(wǎng)絡(luò)模型更加精準(zhǔn)。文獻(xiàn)[6]以美股中微軟等有代表性的股票作為研究對(duì)象，利用LSTM網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，結(jié)果表明LSTM模型在美股預(yù)測(cè)中可以保持較高的預(yù)測(cè)精度。文獻(xiàn)[7]提出了一種基于主成分分析的LSTM模型對(duì)股票進(jìn)行預(yù)測(cè)，將行情數(shù)據(jù)與技術(shù)面數(shù)據(jù)結(jié)合在一起通過主成分分析對(duì)數(shù)據(jù)進(jìn)行降維，再通過LSTM 模型對(duì)股票數(shù)據(jù)進(jìn)行預(yù)測(cè)，與傳統(tǒng)的LSTM相比大大降低了預(yù)測(cè)誤差，并且減少了運(yùn)行時(shí)間。文獻(xiàn)[8]等以LSTM模型為主體，以一定序列長(zhǎng)度的數(shù)據(jù)作為一個(gè)測(cè)試集，通過這個(gè)測(cè)試集去預(yù)測(cè)下一個(gè)點(diǎn)的收盤價(jià)；再把這個(gè)點(diǎn)的收盤價(jià)加入到測(cè)試集中，循環(huán)往復(fù)，證明了周數(shù)據(jù)相較于日數(shù)據(jù)在預(yù)測(cè)中得到的準(zhǔn)確率更高。

注意力機(jī)制首先被應(yīng)用于圖形圖像領(lǐng)域，由于其優(yōu)秀的性能表現(xiàn)，逐漸被應(yīng)用到自然語言處理等領(lǐng)域。對(duì)于股票等金融時(shí)間序列，注意力機(jī)制也逐漸被廣大學(xué)者所應(yīng)用。文獻(xiàn)[9]提出了基于改進(jìn)自注意力（selfattention）的股價(jià)趨勢(shì)預(yù)測(cè)模型，分別對(duì)日線數(shù)據(jù)和分時(shí)線數(shù)據(jù)進(jìn)行編碼和融合，學(xué)習(xí)資金流變化對(duì)股票變化趨勢(shì)的影響，大幅度提升了股票預(yù)測(cè)的準(zhǔn)確率。文獻(xiàn)[10]提出了一個(gè)基于自注意力的LSTM-CNN股票走勢(shì)預(yù)測(cè)模型，將LSTM-CNN模型與自注意力機(jī)制相結(jié)合，通過實(shí)驗(yàn)證明了此模型具有出色的泛化性。文獻(xiàn)[11]提出了基于attention 機(jī)制的GRU 股票預(yù)測(cè)模型，將GRU 模型與attention機(jī)制相結(jié)合進(jìn)行預(yù)測(cè)，通過注意力機(jī)制對(duì)時(shí)間維度的重要特征進(jìn)行捕捉，相較于沒有添加注意力機(jī)制的GRU模型，實(shí)驗(yàn)效果有明顯的提升。文獻(xiàn)[12]在結(jié)合注意力機(jī)制的GRU模型的基礎(chǔ)上結(jié)合了經(jīng)驗(yàn)?zāi)B(tài)分解使得實(shí)驗(yàn)效果進(jìn)一步提升。

與此同時(shí)，隨著對(duì)深度神經(jīng)網(wǎng)絡(luò)的研究進(jìn)一步深入，許多優(yōu)秀的神經(jīng)網(wǎng)絡(luò)模型不斷被提出。2014 年，Goodfellow 等[13]在神經(jīng)信息處理系統(tǒng)大會(huì)（NIPS）發(fā)表論文Generative Adversative Nets，第一次正式提出生成式對(duì)抗神經(jīng)網(wǎng)絡(luò)（generative adversarial network，GAN）[13]。生成式對(duì)抗神經(jīng)網(wǎng)絡(luò)優(yōu)秀的表現(xiàn)，吸引越來越多的學(xué)者對(duì)其進(jìn)行研究探索，出現(xiàn)了許多基于對(duì)抗神經(jīng)網(wǎng)絡(luò)的改進(jìn)模型，在圖像處理等眾多領(lǐng)域取得了杰出的成果。

文獻(xiàn)[14]對(duì)Goodfellow 等[13]提出的GAN 模型做了變化，提出了一種條件型生成式對(duì)抗網(wǎng)絡(luò)（conditional generative adversarial network，cGAN）。cGAN 相較于GAN 最大的優(yōu)勢(shì)在于在引入了條件這一概念，通過對(duì)生成器和判別器添加約束條件的方式使得訓(xùn)練自由度降低。約束條件可以為一個(gè)標(biāo)簽、一個(gè)圖片等，這個(gè)標(biāo)簽或者圖片作為一個(gè)條件變量對(duì)生成器生成的數(shù)據(jù)進(jìn)行指導(dǎo)。文獻(xiàn)[14]通過添加約束變量的方式將無監(jiān)督學(xué)習(xí)的GAN 網(wǎng)絡(luò)轉(zhuǎn)變?yōu)橛斜O(jiān)督學(xué)習(xí)的cGAN 網(wǎng)絡(luò)。cGAN 的出現(xiàn)使得GAN 網(wǎng)絡(luò)可以應(yīng)用于監(jiān)督學(xué)習(xí)，為GAN 網(wǎng)絡(luò)的進(jìn)一步研究奠定了基礎(chǔ)。文獻(xiàn)[15]提出了深度卷積生成式對(duì)抗網(wǎng)絡(luò)（deep convolutional generative adversarial network，DCGAN），首次將卷積神經(jīng)網(wǎng)絡(luò)（CNN）與GAN 相結(jié)合，將CNN 應(yīng)用于GAN 的生成器和判別器中。DCGAN 在圖像領(lǐng)域取得了優(yōu)秀的實(shí)驗(yàn)效果。

考慮GAN 模型的優(yōu)秀性能及其可以處理時(shí)間序列問題，本文以GAN模型作為基礎(chǔ)模型，提出了自注意力殘差生成式對(duì)抗網(wǎng)絡(luò)模型（self-attention and resnet generative adversarial network，SAR-GAN）對(duì)股票價(jià)格進(jìn)行預(yù)測(cè)。該模型的生成器（generator）由長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）層、自注意力機(jī)制層、殘差層等構(gòu)建而成，判別器（discriminator）由全連接網(wǎng)絡(luò)構(gòu)建而成，并且在模型中加入L2正則項(xiàng)防止訓(xùn)練過程中出現(xiàn)過擬合的情況。

實(shí)驗(yàn)方面，選取上證指數(shù)（SSEC）及多個(gè)股票市場(chǎng)中熱點(diǎn)行業(yè)的龍頭股票數(shù)據(jù)，將SAR-GAN模型進(jìn)行預(yù)測(cè)的結(jié)果與其他模型的預(yù)測(cè)結(jié)果相對(duì)比。實(shí)驗(yàn)結(jié)果表明：相較于選取單一市場(chǎng)股票數(shù)據(jù)訓(xùn)練出來的模型，SAR-GAN模型的預(yù)測(cè)誤差更小，泛化性更強(qiáng)，可適用于不同股票市場(chǎng)股票價(jià)格的預(yù)測(cè)。

1 生成式對(duì)抗神經(jīng)網(wǎng)絡(luò)

生成式對(duì)抗神經(jīng)網(wǎng)絡(luò)是由Goodfellow 等[13]在2014年正式提出的。GAN 是一個(gè)生成式模型，由生成器和判別器兩個(gè)部分組成。GAN符合博弈論中的零和博弈理論，在圖形圖像領(lǐng)域中有著廣泛應(yīng)用。

1.1 判別式模型與生成式模型

判別式模型是以條件概率分布為基礎(chǔ)的模型，是通過樣本的屬性X的特征來判斷樣本所屬的類別Y。通俗地講，如果要確定一幅圖片中的孩子是男孩還是女孩，判別式模型就是通過大量的男孩女孩的圖片來學(xué)習(xí)男孩女孩不同的特征，再根據(jù)這幅圖片中的孩子的特征來判斷圖片中的孩子是男孩還是女孩。

生成式模型是以聯(lián)合概率分布為基礎(chǔ)的模型，目的是得到屬性為X并且類別為Y的聯(lián)合概率分布。同樣要確定一幅圖片中的孩子是男孩還是女孩，其方法與判別式模型是不同的。首先根據(jù)男孩的特征學(xué)習(xí)出一個(gè)男孩的模型，根據(jù)女孩的特征學(xué)習(xí)出一個(gè)女孩的模型；再從圖片中提取出孩子的特征，放在男孩模型中得到孩子是男孩的概率，放在女孩模型中得到孩子是女孩的概率；最后通過對(duì)比兩個(gè)概率大小就可以判斷出圖片中的孩子是男孩還是女孩。

1.2 生成器與判別器

1.2.1 生成器

生成器（generator，用G 表示），通過學(xué)習(xí)樣本的真實(shí)分布，輸出一個(gè)根據(jù)真實(shí)分布生成的生成分布數(shù)據(jù)，其結(jié)構(gòu)如圖1所示。假設(shè)已知某種分布，首先，從該分布pz(?)中采樣得到隱藏變量z，然后依據(jù)參數(shù)化的pg(x|z)分布，由生成器獲得生成樣本x～pg(x|z)。

圖1 生成網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Generating network structure diagram

對(duì)于所輸入的符合某種真實(shí)分布的數(shù)據(jù)樣本，生成器能夠通過多層感知機(jī)或者深度神經(jīng)網(wǎng)絡(luò)生成所期望數(shù)據(jù)分布的生成數(shù)據(jù)。

1.2.2 判別器

判別器（discriminator，用D表示），用來區(qū)分由生成器生成的生成數(shù)據(jù)與真實(shí)數(shù)據(jù)。判別器D 的輸出范圍為[0～1]，當(dāng)判別器D 的輸出為0 時(shí)，判別器D 判斷生成的數(shù)據(jù)為生成器生成的數(shù)據(jù)；當(dāng)判別器D 的輸出為1時(shí)，判別器D判斷生成的數(shù)據(jù)為真實(shí)數(shù)據(jù)。

判別網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。判別器D 接受從生成器產(chǎn)生的生成數(shù)據(jù)xf～pg(x|z)，同時(shí)接受從數(shù)據(jù)集中采樣出的真實(shí)數(shù)據(jù)xr～pr(?)，判別器D 通過xf與xr共同作為訓(xùn)練集進(jìn)行訓(xùn)練，將所有的生成樣本標(biāo)記為假，將所有的真實(shí)樣本標(biāo)記為真。判別器D 通過最小化預(yù)測(cè)值與標(biāo)簽的誤差值進(jìn)行參數(shù)優(yōu)化，輸出判斷該樣本為真實(shí)樣本的概率P。

圖2 判別網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Discriminant network structure diagram

1.3 價(jià)值函數(shù)

在生成式對(duì)抗網(wǎng)絡(luò)中生成器和判別器是緊密關(guān)聯(lián)的，兩者符合零和博弈理論。假設(shè)甲乙雙方進(jìn)行博弈，甲乙的收益和損失之和為零，也就意味著雙方不可能都獲得收益，必定有一方有收益，一方有虧損。一方若想取得最大收益則需要最小化對(duì)方的最大收益，從而引出了價(jià)值函數(shù)value function（簡(jiǎn)稱V），其計(jì)算方法見公式（1）：

生成器與判別器是一種對(duì)抗的關(guān)系，價(jià)值函數(shù)代表了判別器的判別性能。判別器的目標(biāo)是最大化價(jià)值函數(shù)，而生成器的目的是針對(duì)特定的判別器最小化價(jià)值函數(shù)。

1.4 GAN應(yīng)用于股票預(yù)測(cè)

生成式對(duì)抗網(wǎng)絡(luò)基于零和博弈原理，可以把生成器比作假鈔制作器，判別器作為驗(yàn)鈔機(jī)去鑒別一張紙幣是真幣還是假幣。假鈔制作器制作出的假鈔不斷地被送到驗(yàn)鈔機(jī)中鑒別，在這個(gè)過程中假鈔制作器和驗(yàn)鈔機(jī)不斷地對(duì)抗博弈，兩者的能力也都在不斷提升，直到驗(yàn)鈔機(jī)分辨不出制作出的是假鈔還是真鈔。

基于上述特性，生成式對(duì)抗網(wǎng)絡(luò)GAN 在圖形圖像領(lǐng)域應(yīng)用廣泛。隨著對(duì)GAN 網(wǎng)絡(luò)的進(jìn)一步研究，文獻(xiàn)[16]發(fā)現(xiàn)在時(shí)間序列預(yù)測(cè)問題上GAN 同樣能發(fā)揮出優(yōu)勢(shì)，在2019年提出了（forecasting of sensory data with generative adversarial network，F(xiàn)orGAN）網(wǎng)絡(luò)。這是首次將時(shí)間序列預(yù)測(cè)問題與GAN 網(wǎng)絡(luò)結(jié)合起來，通過交通流數(shù)據(jù)集驗(yàn)證了GAN的可行性，打開了利用GAN處理時(shí)間序列預(yù)測(cè)問題的大門。

股票市場(chǎng)的技術(shù)分析理論具有三大假設(shè)，其中重要的一條就是股票的歷史走勢(shì)會(huì)重演。這就表示股票的走勢(shì)并不是完全隨機(jī)的，過去的走勢(shì)有一定概率會(huì)重新出現(xiàn)。在預(yù)測(cè)任務(wù)中股票走勢(shì)的歷史數(shù)據(jù)分布就顯得尤為重要了，而深度學(xué)習(xí)模型就是要學(xué)習(xí)歷史走勢(shì)的分布。GAN模型可以通過生成器與判別器不斷地對(duì)抗學(xué)習(xí)股票歷史走勢(shì)的數(shù)據(jù)分布，生成和歷史分布相似的預(yù)測(cè)數(shù)據(jù)，提高預(yù)測(cè)的精度。

2 SAR-GAN模型股票價(jià)格預(yù)測(cè)

2.1 生成器組成

2.1.1 LSTM神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）善于處理序列數(shù)據(jù)。因其具有共享參數(shù)以及記憶性的特點(diǎn)，在文本處理、語音識(shí)別、時(shí)間序列預(yù)測(cè)等領(lǐng)域被廣泛應(yīng)用。RNN的結(jié)構(gòu)如圖3所示。

圖3 循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Structure diagram of recurrent neural network

在圖3中，U、V、W代表權(quán)重矩陣，t代表不同時(shí)刻，xt-1、xt、xt+1分別為在t-1、t、t+1 時(shí)刻的RNN的輸入向量，st-1、st、st+1為各個(gè)隱藏層的隱藏狀態(tài)，ot-1、ot、ot+1為RNN的輸出向量。RNN適用于處理序列問題的原因在于：RNN 的當(dāng)前隱藏層狀態(tài)st不僅與當(dāng)前時(shí)刻的輸入向量xt相關(guān)，還與前一時(shí)刻的隱藏層狀態(tài)st-1有關(guān)。隱藏層狀態(tài)st和RNN的輸出ot可以具體地表示為公式（4）和（5）：

這表明RNN是一種可以記憶之前狀態(tài)的神經(jīng)網(wǎng)絡(luò)。雖然RNN 可以記憶之前的狀態(tài)，但是會(huì)存在長(zhǎng)距離依賴問題。

LSTM是一種改進(jìn)的循環(huán)神經(jīng)網(wǎng)絡(luò)，在RNN的基礎(chǔ)上增加了一個(gè)狀態(tài)向量以及3個(gè)門控單元，分別為輸入門（input gate）、遺忘門（forget gate）和輸出門（output gate）。LSTM 網(wǎng)絡(luò)神經(jīng)元的結(jié)構(gòu)如圖4 所示，c為L(zhǎng)STM內(nèi)部狀態(tài)向量，h是LSTM神經(jīng)元的輸出向量，x為L(zhǎng)STM 神經(jīng)元的輸入向量。σ為激活函數(shù)，在LSTM神經(jīng)元中一般為Sigmoid 函數(shù)，將Sigmoid 函數(shù)的輸出控制在0到1之間，可以達(dá)到控制輸出流量的目的。

圖4 LSTM神經(jīng)元結(jié)構(gòu)圖Fig.4 LSTM neuron structure diagram

ft表示遺忘門，用來控制當(dāng)前神經(jīng)元需要遺忘的信息，具體表達(dá)式為公式（6），其中Wf為矩陣向量，bf為偏移量。it表示輸入門，c?t表示新的候選向量。tanh為激活函數(shù)，使得c?t的輸出為標(biāo)準(zhǔn)范圍[?1，1]。當(dāng)前時(shí)刻的內(nèi)部狀態(tài)向量ct是由遺忘的前一狀態(tài)的信息和當(dāng)前狀態(tài)的部分信息組合而成的。ot表示輸出門，由于LSTM神經(jīng)元的輸出需要進(jìn)行選擇而不是全部輸出，所以ht不能直接輸出。it、c?t、ct、ot、ht具體表達(dá)式見公式（7）至公式（11）：

正是由于3 個(gè)門控單元以及兩個(gè)狀態(tài)量的神經(jīng)元結(jié)構(gòu)特點(diǎn)，LSTM 相較于RNN 可以記憶長(zhǎng)時(shí)間的信息，避免了由此引起的梯度消失或者梯度爆炸的問題。在本文提出的SAR-GAN 中，生成器以LSTM 為主體網(wǎng)絡(luò)層正是參考了LSTM具有長(zhǎng)期記憶的特點(diǎn)。

2.1.2 一維卷積神經(jīng)網(wǎng)絡(luò)

一維卷積神經(jīng)網(wǎng)絡(luò)與二維卷積神經(jīng)網(wǎng)絡(luò)不同。一維卷積只在一個(gè)維度上進(jìn)行卷積操作，所以適用于序列模型，例如時(shí)間序列預(yù)測(cè)、自然語言處理等。在股票預(yù)測(cè)中，一維卷積結(jié)構(gòu)示意圖見圖5，每一行代表一個(gè)時(shí)間維度，每一列代表一個(gè)特征。通過一維卷積可以提取股票序列數(shù)據(jù)的特征。

圖5 一維卷積示意圖Fig.5 One-dimensional convolution diagram

2.1.3 注意力機(jī)制

注意力機(jī)制（attention mechanism）源自于人腦的注意力機(jī)制。當(dāng)人觀察一個(gè)場(chǎng)景時(shí)，雖然整個(gè)場(chǎng)景可以進(jìn)入人的視野，但是人腦會(huì)快速地將目光聚焦在重點(diǎn)關(guān)注的區(qū)域。這就相當(dāng)于將場(chǎng)景中每一個(gè)區(qū)域賦予一個(gè)注意力權(quán)重，其中重點(diǎn)關(guān)注的區(qū)域注意力權(quán)重較高，人可以快速忽略不重要的信息，將關(guān)注點(diǎn)聚焦在重要區(qū)域。

注意力機(jī)制學(xué)習(xí)輸入序列中的每一個(gè)輸入元素對(duì)目標(biāo)元素的重要程度，根據(jù)重要程度的不同對(duì)不同的特征賦予不同的權(quán)重。若在神經(jīng)網(wǎng)絡(luò)之前使用，可以對(duì)輸入特征空間的重要性進(jìn)一步理解；若在神經(jīng)網(wǎng)絡(luò)之后使用，可以使模型的最終決策更加聚焦在對(duì)最終目標(biāo)有正向幫助的特征維度上。

自注意力機(jī)制（self-attention）是在注意力機(jī)制的原理上的進(jìn)一步優(yōu)化，本質(zhì)還是加權(quán)求和的思想，見公式（12）：

其中，Q、K、V分別為輸入張量與3 個(gè)權(quán)重共享矩陣WQ、WK、WV進(jìn)行相乘操作得到的向量合并之后的矩陣。Q為查詢矩陣，K為鍵矩陣，V為值矩陣。KT為K矩陣的轉(zhuǎn)置矩陣，dk矩陣的作用是調(diào)整內(nèi)積維度。自注意力機(jī)制在加權(quán)求和的思想上對(duì)權(quán)重進(jìn)行自我學(xué)習(xí)。通過Q?KT的運(yùn)算得到權(quán)重分?jǐn)?shù)（attention score），反映了向量之間的相關(guān)性，相當(dāng)于一個(gè)“打分”的過程。Softmax 激活函數(shù)將這些權(quán)重分?jǐn)?shù)進(jìn)行歸一化，并且使這些權(quán)重分?jǐn)?shù)之和為1。通過Softmax之后可以得到哪些時(shí)刻哪些位置關(guān)注度較大，將經(jīng)過Softmax 函數(shù)的值與V矩陣進(jìn)行矩陣按位相乘，得到注意力矩陣。這樣增強(qiáng)了相關(guān)性強(qiáng)的位置特征，削弱了相關(guān)性弱的位置特征，使得模型能更好地關(guān)注重要信息。

近年來，在圖像處理、自然語言處理等領(lǐng)域，結(jié)合注意力機(jī)制的模型被廣泛應(yīng)用。文獻(xiàn)[17]首次在機(jī)器翻譯的任務(wù)中采用注意力機(jī)制并取得了不錯(cuò)的效果。文獻(xiàn)[18]在CVPR2017中提出了一種循環(huán)注意力卷積神經(jīng)網(wǎng)絡(luò)（RA-CNN），通過注意力機(jī)制對(duì)圖像的局部進(jìn)行關(guān)注，在鳥類識(shí)別的樣本上取得了良好的效果。

2.1.4 殘差網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)（resnet）通過在卷積層之間的跳躍連接避免了深度模型梯度消失的問題。如圖6所示，輸入x通過兩個(gè)卷積層得到F(x)，并將F(x)與輸入的x進(jìn)行相加運(yùn)算得到H(x)。這里F(x)與x的形狀完全一致，若不一致則需要通過函數(shù)identity將x的形狀變換成F(x)的形狀。函數(shù)identity 以1×1 的卷積運(yùn)算為主，主要用于調(diào)整輸入的形狀。由于神經(jīng)網(wǎng)絡(luò)需要學(xué)習(xí)F(x)=H(x)-x，所以被稱為殘差網(wǎng)絡(luò)。

圖6 殘差網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 Resnet structure

2.1.5 L2正則項(xiàng)

L2正則化又稱為ridge regression，主要用于避免過擬合。L1 正則化是各個(gè)參數(shù)的絕對(duì)值之和，L2 正則化與之不同，表示的是各個(gè)參數(shù)平方值的和的開方。L2正則化是使每個(gè)參數(shù)都變小接近于0 但不為0，最終避免過擬合問題。

2.1.6 生成模型結(jié)構(gòu)

生成模型的結(jié)構(gòu)較為復(fù)雜，由多種神經(jīng)網(wǎng)絡(luò)層交替組成。生成器結(jié)構(gòu)如圖7所示。

圖7 生成器結(jié)構(gòu)圖Fig.7 Generator structure diagram

由于神經(jīng)網(wǎng)絡(luò)的輸入必須為三維數(shù)據(jù)，所以首先將二維股票數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，通過設(shè)置時(shí)間窗口的方法設(shè)置時(shí)間步長(zhǎng)，將股票數(shù)據(jù)擴(kuò)展為三維數(shù)據(jù)張量，即數(shù)量（samples）、時(shí)間步長(zhǎng)（timesteps）、特征維度（features），以適合神經(jīng)網(wǎng)絡(luò)的輸入。

第一層為L(zhǎng)STM 層：將輸入的三位股票數(shù)據(jù)輸入LSTM神經(jīng)網(wǎng)絡(luò)層。股票價(jià)格預(yù)測(cè)屬于時(shí)間序列預(yù)測(cè)，并且訓(xùn)練集為多年的股票數(shù)據(jù)。針對(duì)這種長(zhǎng)時(shí)間跨度的序列，使用LSTM網(wǎng)絡(luò)既可以處理長(zhǎng)期的股票歷史信息又可以避免梯度爆炸的情況。

第二層為自注意力self-attention 層：將從LSTM 提取到的時(shí)序特征信息即不同時(shí)間維度股票特征信息張量，輸入到自注意力網(wǎng)絡(luò)。self-attention 計(jì)算出兩個(gè)不同日期之間股票特征的相關(guān)度，并且計(jì)算出向量之間的注意力得分（attention score），通過softmax 函數(shù)得出學(xué)習(xí)到的權(quán)重，最終形成注意力矩陣。

第三層為殘差網(wǎng)絡(luò)層：殘差網(wǎng)絡(luò)層在設(shè)計(jì)上采用了兩個(gè)一維卷積和跳躍連接模塊，用以解決深度網(wǎng)絡(luò)訓(xùn)練過程中梯度消失的問題。

在第三層和第四層之間添加一個(gè)dropout 層，參數(shù)值為0.1，以防止訓(xùn)練過程中出現(xiàn)的過擬合問題。

第四層包含一個(gè)一維卷積網(wǎng)絡(luò)和一個(gè)一維最大值池化，目的是在保留最強(qiáng)的特征和拋棄較弱的特征，減少模型參數(shù)，減少過擬合問題的出現(xiàn)。

第五層包含一個(gè)LSTM 網(wǎng)絡(luò)層、一個(gè)dropout 層和一個(gè)全連接網(wǎng)絡(luò)層。數(shù)據(jù)張量通過全連接網(wǎng)絡(luò)得到最終的輸出。

2.2 判別器組成

如圖8 所示，判別器由兩個(gè)全連接網(wǎng)絡(luò)以及一個(gè)LeakyReLU激活函數(shù)組成，用以鑒別生成的股票數(shù)據(jù)是否能欺騙過判別器。

圖8 判別器結(jié)構(gòu)圖Fig.8 Discriminator structure diagram

在圖8中，Xt+1_prediction為生成器生成的第t+1 天的股票價(jià)格，Xt+1_real為從數(shù)據(jù)集中采樣出的真實(shí)的第t+1 天的股票數(shù)據(jù)。GAN就是將第t+1 天的預(yù)測(cè)股票收盤價(jià)Xt+1_prediction不斷逼近第t+1 天的真實(shí)股票收盤價(jià)Xt+1_real。通過對(duì)抗學(xué)習(xí)使得生成器的生成能力和判別器的鑒別能力不斷提升，最終判別器將無法區(qū)分預(yù)測(cè)收盤價(jià)格和真實(shí)收盤價(jià)格，將生成收盤價(jià)格誤認(rèn)為是真實(shí)價(jià)格。

2.3 SAR-GAN優(yōu)勢(shì)及特點(diǎn)

與其他時(shí)間序列模型RNN、LSTM相比，SAR-GAN的生成器和判別器構(gòu)建更加靈活多樣。在生成器中加入LSTM層能夠提取股票數(shù)據(jù)的時(shí)間序列方面的特征，1DCNN 層又能夠提取股票數(shù)據(jù)的局部空間特征，將LSTM和1DCNN結(jié)合可以提取得到股價(jià)數(shù)據(jù)的時(shí)空特征；在借助殘差網(wǎng)絡(luò)避免梯度消失的基礎(chǔ)上，通過注意力機(jī)制選取對(duì)股價(jià)預(yù)測(cè)具有正向幫助的特征維度，從而提升股價(jià)走勢(shì)預(yù)測(cè)效果。

2.4 SAR-GAN結(jié)構(gòu)及訓(xùn)練

本文提出的SAR-GAN 模型由生成器和判別器兩個(gè)部分組成。生成器主要由以由LSTM層、self-attention層、殘差層以及一維卷積層組成；判別器由全連接層組成。SAR-GAN網(wǎng)絡(luò)模型具體結(jié)構(gòu)示意圖如圖9所示。

圖9 SAR-GAN網(wǎng)絡(luò)結(jié)構(gòu)Fig.9 SAR-GAN network architecture

在圖9 中，首先將股票數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，得到三維股票數(shù)據(jù)張量作為生成器的輸入。數(shù)據(jù)經(jīng)過生成器得到預(yù)測(cè)的股票收盤價(jià)格，并與當(dāng)日的真實(shí)股票數(shù)據(jù)一起作為輸入送入判別器中進(jìn)行判斷。

使用SAR-GAN 網(wǎng)絡(luò)模型訓(xùn)練時(shí)，第一步固定生成器G，對(duì)判別器D 進(jìn)行訓(xùn)練，使得判別器D 獲得鑒別真實(shí)數(shù)據(jù)和虛假數(shù)據(jù)的能力；第二步固定判別器D，訓(xùn)練生成器G，以便生成器G 產(chǎn)生的數(shù)據(jù)不斷逼近真實(shí)數(shù)據(jù)。以上兩個(gè)步驟多次循環(huán)執(zhí)行，直至生成器生成的預(yù)測(cè)數(shù)據(jù)可以欺騙判別器。

3 實(shí)驗(yàn)分析

3.1 數(shù)據(jù)來源及分析

3.1.1 數(shù)據(jù)來源

為了保證數(shù)據(jù)來源的準(zhǔn)確性，實(shí)驗(yàn)數(shù)據(jù)全部來源于Yahoo財(cái)經(jīng)。為了驗(yàn)證模型的普適性，分別對(duì)股票指數(shù)和多個(gè)股票價(jià)格進(jìn)行預(yù)測(cè)。股指數(shù)據(jù)選擇上海證券交易所綜合指數(shù)（SSEC），數(shù)據(jù)時(shí)間范圍從2009年1月1日至2020 年12 月31 日。股票數(shù)據(jù)選取多個(gè)票市場(chǎng)中熱點(diǎn)行業(yè)的龍頭股票，數(shù)據(jù)時(shí)間范圍從2009年1月1日至2020年12月31日。

3.1.2 利用特征工程選取重要參數(shù)

在構(gòu)建股票數(shù)據(jù)集的時(shí)候，如果僅僅將每天的開盤價(jià)（open）、最高價(jià)（high）、最低價(jià)（low）、收盤價(jià)（close）、交易量（volume）這些行情指標(biāo)作為特征去進(jìn)行深度學(xué)習(xí)訓(xùn)練過于表面化，反映不出股票價(jià)格波動(dòng)的實(shí)質(zhì)。股票價(jià)格預(yù)測(cè)應(yīng)該建立在對(duì)市場(chǎng)行為深刻認(rèn)識(shí)的基礎(chǔ)上。

在構(gòu)建股票數(shù)據(jù)集的時(shí)候，將行情數(shù)據(jù)與技術(shù)指標(biāo)相結(jié)合，并通過特征工程的特征重要性以及Pearson、Spearman相關(guān)性分析。最終得到由18個(gè)特征構(gòu)成的數(shù)據(jù)集，分別為開盤價(jià)（open）、最高價(jià)（high）、最低價(jià)（low）、相對(duì)強(qiáng)弱指標(biāo)（RSI）、隨機(jī)指標(biāo)K、隨機(jī)指標(biāo)D、隨機(jī)指標(biāo)J、指數(shù)移動(dòng)平均值（EMA）、三重指數(shù)移動(dòng)平均線（TEMA）、雙移動(dòng)平均線（DEMA）、考夫曼自適應(yīng)移動(dòng)平均線（KAMA）、5 日均線（MA5）、10 日均線（MA10）、加權(quán)移動(dòng)平均線（WMA）、中間價(jià)格（MIDPRICE）、資金流量指標(biāo)（MFI）、布林線（M_line）、收盤價(jià)（close）。

3.2 數(shù)據(jù)預(yù)處理

在股票數(shù)據(jù)中，開盤價(jià)、最高價(jià)、最低價(jià)、成交量等價(jià)格與技術(shù)指標(biāo)具有不同的量綱和量綱單位。這樣未經(jīng)處理的數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)會(huì)對(duì)預(yù)測(cè)造成重要干擾。為了消除量綱不同造成的影響，本文采用Sklearn庫中的MinMaxScaler 函數(shù)進(jìn)行數(shù)據(jù)歸一化處理，使得價(jià)格因子與交易量因子指標(biāo)處于同一個(gè)數(shù)量級(jí)。數(shù)據(jù)歸一化公式見公式（13）：

其中，x為原始數(shù)據(jù)，xstd為調(diào)整后的數(shù)據(jù)，xmin為原始數(shù)據(jù)中的最小值，xmax為原始數(shù)據(jù)中的最大值。

由于股票數(shù)據(jù)是結(jié)構(gòu)化數(shù)據(jù)，屬于2D 數(shù)據(jù)，不適用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，所以需要增加維度使得股票數(shù)據(jù)上升為3D數(shù)據(jù)。本次實(shí)驗(yàn)采用滑動(dòng)窗口的方法來實(shí)現(xiàn)股票數(shù)據(jù)升維，即第一維表示樣本數(shù)（samples），第二維表示時(shí)間步長(zhǎng)（time_steps），第三維表示股票的特征（features）如開盤價(jià)、收盤價(jià)等。

經(jīng)過預(yù)處理后數(shù)據(jù)按照時(shí)間順序分成訓(xùn)練集和測(cè)試集，其中前75%的數(shù)據(jù)作為訓(xùn)練集用來訓(xùn)練模型，后25%的數(shù)據(jù)作為測(cè)試集對(duì)模型預(yù)測(cè)效果進(jìn)行評(píng)估。總共2 826個(gè)交易日，其中75%的訓(xùn)練集為2 120個(gè)交易日數(shù)據(jù)，25%的測(cè)試集為706個(gè)交易日數(shù)據(jù)。

3.3 評(píng)價(jià)指標(biāo)

為了評(píng)估模型的預(yù)測(cè)性能，采用均方根誤差（RMSE）、平均絕對(duì)誤差（MAE）、均方根百分比誤差（RMSPE）和平均絕對(duì)百分比誤差（MAPE）4 種回歸評(píng)價(jià)指標(biāo)來量化模型的性能，4種指標(biāo)的計(jì)算公式見公式（14）～（17）：

其中，m為樣本數(shù)，yi為真實(shí)值，y?i為預(yù)測(cè)值，yˉ為真實(shí)值的平均值。RMSE、MAE越小說明預(yù)測(cè)值越接近真實(shí)值，RMSPE和MAPE消除了股票絕對(duì)價(jià)格的影響，更能反映預(yù)測(cè)準(zhǔn)確性，值越小說明預(yù)測(cè)越準(zhǔn)確。

3.4 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

實(shí)驗(yàn)機(jī)器的操作系統(tǒng)為Windows10，CPU 為AMD R7 5800H，顯卡為RTX3070-8 GB，代碼采用Python 語言編寫，主要使用的框架為Tensorflow2.0 集成的Keras框架。

本次實(shí)驗(yàn)采用單步預(yù)測(cè)，將股票數(shù)據(jù)(t?1)時(shí)間序列的價(jià)格用于預(yù)測(cè)當(dāng)前時(shí)間(t)的股票價(jià)格，這是一個(gè)持續(xù)滾動(dòng)的過程。

在模型參數(shù)設(shè)置方面，通過進(jìn)行多次實(shí)驗(yàn)最終確定以下參數(shù)：LSTM 單元數(shù)設(shè)置為64，一維卷積核長(zhǎng)度為4，自注意力頭數(shù)為4，L2正則化參數(shù)為0.017，batch_size設(shè)置為64，timesteps 設(shè)置為1；生成器、判別器的優(yōu)化器均采用Adam 優(yōu)化器，損失函數(shù)設(shè)置為平均絕對(duì)誤差MAE，學(xué)習(xí)率（learn_rate）為0.000 1，dropout 參數(shù)設(shè)置為0.1。

3.5 實(shí)驗(yàn)結(jié)果

3.5.1 上證指數(shù)預(yù)測(cè)實(shí)驗(yàn)

上證指數(shù)是上證綜合指數(shù)的簡(jiǎn)稱，是以上證所掛牌上市的全部股票為計(jì)算范圍，以發(fā)行量為權(quán)數(shù)的加權(quán)綜合股價(jià)指數(shù)。本實(shí)驗(yàn)采用SAGAN模型對(duì)上證指數(shù)收盤價(jià)進(jìn)行預(yù)測(cè)，并將實(shí)驗(yàn)結(jié)果與LSTM、GRU、CNN-LSTM、CNN-GRU、Basic GAN等模型進(jìn)行對(duì)比（Basic GAN是指生成器由LSTM 網(wǎng)絡(luò)構(gòu)成，生成器以CNN 網(wǎng)絡(luò)構(gòu)成的基礎(chǔ)GAN網(wǎng)絡(luò)）。為了消除實(shí)驗(yàn)的偶然性，進(jìn)行多次實(shí)驗(yàn)求其平均值。具體實(shí)驗(yàn)結(jié)果如表1所示。

表1 不同模型在SSEC測(cè)試集的預(yù)測(cè)性能Table 1 Prediction performance of different models in SSEC test set

由表1 可知，SAR-GAN 模型在股票收盤價(jià)格預(yù)測(cè)上體現(xiàn)出獨(dú)特優(yōu)勢(shì)。Basic GAN 相較于LSTM、GRU、CNN-LSTM、CNN-GRU網(wǎng)絡(luò)，在預(yù)測(cè)準(zhǔn)確度上有明顯的優(yōu)勢(shì)。本文提出的SAR-GAN與Basic GAN相比，RMSE、MAE、RMSPE、MAPE 這4 個(gè)評(píng)價(jià)指標(biāo)更小。實(shí)驗(yàn)結(jié)果表明：在股票指數(shù)收盤價(jià)格預(yù)測(cè)中，SAR-GAN模型的預(yù)測(cè)效果更好，更接近真實(shí)值，預(yù)測(cè)誤差更小。

如圖10為SSEC數(shù)據(jù)集收盤價(jià)格預(yù)測(cè)結(jié)果，其中的圖（a）、（b）、（c）、（d）、（e）、（f）分別是使用LSTM、GRU、CNN-LSTM、CNN-GRU、Basic GAN 以及SAR-GAN模型的股票收盤價(jià)格預(yù)測(cè)走勢(shì)結(jié)果圖。如圖11 是同一次實(shí)驗(yàn)選取局部30天幾種模型預(yù)測(cè)的收盤價(jià)格走勢(shì)的比較，能夠更加直觀地顯示出SAR-GAN模型的預(yù)測(cè)效果優(yōu)于LSTM、GRU、CNN-LSTM、CNN-GRU 模型，以及同樣為生成式對(duì)抗網(wǎng)絡(luò)的Basic GAN模型。

圖10 6種模型對(duì)SSEC測(cè)試集預(yù)測(cè)結(jié)果Fig.10 Six models predict results for SSEC test set

圖11 SSEC測(cè)試集局部30天收盤價(jià)預(yù)測(cè)對(duì)比圖Fig.11 Comparison diagram of SSEC test set partial 30-day closing price forecast

3.5.2 個(gè)股預(yù)測(cè)實(shí)驗(yàn)

實(shí)驗(yàn)選取了現(xiàn)階段熱點(diǎn)行業(yè)（消費(fèi)、科技、醫(yī)療）中的龍頭股票，包括美股中的蘋果（AAPL）、亞馬遜（AMZN）、深圳證券交易所中小板的紫光國微（002049）、港股中的騰訊（0700.HK）、上海證券交易所的貴州茅臺(tái)（600519）、中國平安（601318）等股票，數(shù)據(jù)時(shí)間范圍從2009年1月1日至2020年12月31日。雖然不同市場(chǎng)的實(shí)際交易日會(huì)有所不同，但是都將前75%為訓(xùn)練集，后25%為測(cè)試集。表2中展示了使用LSTM、GRU、CNN-LSTM、CNNGRU、Basic GAN 模型以及SAR-GAN 模型對(duì)這6 只不同市場(chǎng)股票的收盤價(jià)預(yù)測(cè)結(jié)果。

表2 中加黑的數(shù)據(jù)表示在此數(shù)據(jù)集下最優(yōu)的測(cè)試結(jié)果，加下劃線的數(shù)據(jù)表示第二優(yōu)秀的測(cè)試結(jié)果。從表中可以看出：在金融時(shí)間序列股票預(yù)測(cè)方面，SAR-GAN模型在6 個(gè)不同市場(chǎng)不同熱點(diǎn)行業(yè)的股票收盤價(jià)預(yù)測(cè)中均有優(yōu)秀的表現(xiàn)。經(jīng)過多次實(shí)驗(yàn)，在6只股票測(cè)試集上SAR-GAN 模型測(cè)試效果除了在貴州茅臺(tái)數(shù)據(jù)集上的RMSE 指標(biāo)略低于CNN-GRU 模型，在其他5 只股票上均優(yōu)于LSTM、GRU、CNN-GRU、CNN-LSTM、Basic GAN模型，實(shí)驗(yàn)結(jié)果反映出SAR-GAN模型可以適用于多個(gè)市場(chǎng)的股票價(jià)格預(yù)測(cè)。

表2 不同模型在6只股票測(cè)試集的預(yù)測(cè)性能Table 2 Predictive performance of different models in six stock test sets

如圖12 展示了這6 只股票測(cè)試集上測(cè)試效果最好的兩個(gè)模型局部50 天預(yù)測(cè)結(jié)果對(duì)比展示，若效果僅次于最好模型的模型多于一個(gè)，則一起對(duì)比展示。

圖12 個(gè)股測(cè)試集局部預(yù)測(cè)對(duì)比Fig.12 Comparison of stock test sets local forecast

4 總結(jié)

本文提出的SAR-GAN 模型，以生成式對(duì)抗網(wǎng)絡(luò)為基礎(chǔ)，結(jié)合自注意力機(jī)制、殘差網(wǎng)絡(luò)、一維卷積等網(wǎng)絡(luò)層對(duì)股票價(jià)格進(jìn)行預(yù)測(cè)。通過實(shí)驗(yàn)可以看出，無論是在股指預(yù)測(cè)還是在個(gè)股預(yù)測(cè)上，SAR-GAN 模型的預(yù)測(cè)效果均好于其他基礎(chǔ)模型。

下一步可以在多個(gè)方面繼續(xù)進(jìn)行研究：在數(shù)據(jù)特征選取方面，可以繼續(xù)深入研究與股票價(jià)格變化相關(guān)的金融數(shù)據(jù)指標(biāo)；在時(shí)間步長(zhǎng)方面，可以選取不同的時(shí)間步長(zhǎng)，研究時(shí)間步長(zhǎng)對(duì)實(shí)驗(yàn)的影響；可以在預(yù)測(cè)模型中加入關(guān)于財(cái)經(jīng)新聞、股評(píng)分析等相關(guān)情感分析數(shù)據(jù)，進(jìn)一步提升模型的預(yù)測(cè)性能。