基于CEEMDAN-GAN的金融時間序列預測建模研究

王認真,陳 尹,邱鳳鳴

(1.合肥大學 經(jīng)濟與管理學院,安徽 合肥 230601;2.安徽農(nóng)業(yè)大學 財務處,安徽 合肥 230601)

一、引 言

金融市場因具有較高的投資回報率吸引了大量的投資人士和學者對金融產(chǎn)品價格走勢進行預測研究,但金融市場受市場情緒、政策等多種復雜因素影響,使其走勢包含大量噪聲。最早學者們使用傳統(tǒng)統(tǒng)計學方法如ARIMA等模型用來研究各因素對于金融產(chǎn)品價格走勢的影響,但金融時間序列多具有非線性、不平穩(wěn)的特性,傳統(tǒng)模型的預測表現(xiàn)并不理想[1]。近幾年飛速發(fā)展的機器學習方法如支持向量機(SVM)等模型通過引入核技巧來對模型輸入特征進行非線性映射,從而能較好地處理非線性時間序列數(shù)據(jù)。深度學習是機器學習研究的一個新領域,模型構(gòu)建更為復雜,對數(shù)據(jù)特征之間的關系著力更多,它能夠從訓練數(shù)據(jù)包含的有限特征中推斷出新的特征,在噪音中提取信號?；谶@些優(yōu)點,深度學習方法廣泛應用在金融時間序列的預測建模中[2]。

長短期神經(jīng)網(wǎng)絡(LSTM)作為一種改進之后的遞歸神經(jīng)網(wǎng)絡(RNN),具有長時記憶功能,在時間序列預測建模上相較傳統(tǒng)神經(jīng)網(wǎng)絡有很大優(yōu)勢。薛濤等提出一種基于經(jīng)驗模態(tài)分解(EMD)和多分支長短期神經(jīng)網(wǎng)絡的預測模型對歐元兌美元匯率進行預測,發(fā)現(xiàn)結(jié)合EMD的組合模型可以提高傳統(tǒng)模型的預測準確率和模型穩(wěn)定性[3]。賀毅岳等將CEEMDAN引入到股市指數(shù)預測建模中,對指數(shù)進行分解與重構(gòu),實驗結(jié)果表明CEEMDAN結(jié)合LSTM的預測性能優(yōu)于傳統(tǒng)建模方法,具有更低的預測誤差和滯后性[4]。作為新一代RNN,門控制循環(huán)單元網(wǎng)絡(GRU)具有結(jié)構(gòu)簡單、不易過擬合等優(yōu)點而廣泛應用于時間序列預測建模中[5]。黎鐳等使用GRU對上證中18支股票的日收盤價數(shù)據(jù)進行測試,證明了GRU具有的強大學習和泛化能力[6]。劉寧寧等將主成分分析和GRU相結(jié)合對上證綜指進行預測,通過構(gòu)建主成分分析與RNN、LSTM、GRU的融合模型,發(fā)現(xiàn)兩層GRU模型取得了最好的預測效果[7]。近年來學術(shù)界熱議的GAN是深度學習未來的研究重點之一,GAN能夠?qū)W習和探索真實樣本的分布與結(jié)構(gòu),同強化學習比,其更貼近人類的學習模式,具有更強大的性能。GAN在金融時間序列預測的研究尚處于探索階段,王靜等提出了一種基于經(jīng)驗模態(tài)分解生成對抗網(wǎng)絡(EMD-WGAN)模型對滬深300指數(shù)進行預測,通過與傳統(tǒng)金融時間序列預測方法對比,證明了該模型具有更好的性能[8]。

隨機森林(Random forest)是一種集成機器學習方法,其特征重要性評分(VIM)可作為高維數(shù)據(jù)降維的方法,已被廣泛應用于金融等領域的各種特征選擇問題上[9-11]。為進一步提升GAN對于高頻金融時間序列預測的準確率和穩(wěn)定性,本文提出基于CEEMDAN的GAN模型,該模型使用CEEMDAN算法對金融時間序列進行分解,將分解得到的內(nèi)涵模態(tài)分量(IMF)和殘差作為GAN的輸入。為防止模型過度復雜,使用隨機森林算法對IMF和殘差進行了特征重要性評估和對IMF分量進行了均值為0的t檢驗來對輸入進行降維和重組,進一步提高模型準確性和穩(wěn)定性。本文可能的創(chuàng)新包括以下幾個方面:一是將圖像信號處理領域廣泛應用的GAN模型引入到金融領域時間序列的預測;二是將CEEMDAN算法引入到匯率的預測建模過程中,分解獲得波動相對簡單的相互獨立的子序列,便于研究其波動規(guī)律;三是利用隨機森林算法,對各子序列進行重組降維,減少模型復雜度,降低模型誤差。

本文使用美元兌人民幣匯率(USDCNY)作為實驗數(shù)據(jù),對所提出的模型性能進行評估和分析。使用另外兩種時序預測建模常見的深度學習方法LSTM、GRU和兩種信號處理方法經(jīng)驗模態(tài)分解、總體平均經(jīng)驗模態(tài)分解構(gòu)建組合模型作為對比模型。實驗結(jié)果表明,CEEMDAN-GAN模型在金融時間序列預測上的表現(xiàn)優(yōu)于現(xiàn)有常見模型,證實了基于CEEMDAN的GAN模型對復雜時間序列信息的有效預測與應用。

二、建模的理論基礎

(一) CEEMADN

EMD是處理非平穩(wěn)信號的方法Hilbert-Huang變換的重要組成部分,如今廣泛應用在很多領域[12],但EMD方法存在一些缺陷,比如脈沖干擾和噪聲等會導致分解結(jié)果出現(xiàn)模態(tài)混淆[13]。很多學者就這一問題提出了解決方法,Wu等通過研究白噪聲信號的統(tǒng)計特征,提出了總體平均經(jīng)驗模態(tài)分解( EEMD),EEMD對原始信號多次加入不同的白噪聲進行EMD分解,對多次分解結(jié)果進行平均得到最終的IMF[14]。Yeh等提出了補充的總體平均經(jīng)驗模態(tài)分解 (CEEMD),CEEMD通過向待分解信號中添加兩個相反的白噪聲,分別進行EMD分解[15]。但經(jīng)過EEMD和CEEMD分解得到的IMF中會殘留一定的白噪聲,增加了后續(xù)分析處理的難度和誤差,CEEMDAN算法則較好的解決了這個問題,該算法有效阻止了白噪聲從高頻到低頻的轉(zhuǎn)移傳遞[16],具體過程如下。

步驟1 將高斯白噪聲vj加入到y(tǒng)(t)得到y(tǒng)(t)+(-1)qεvj(t),其中q=1,2。對其進行EMD分解就得到了第一階本征模態(tài)分量C1:

(1)

步驟2 對分解得到的N個模態(tài)分量進行總體平均就得到CEEMDAN分解的第1個本征模態(tài)分量:

(2)

步驟3 將信號y(t)減去第1個本征模態(tài)分量得到殘差r1(t):

(3)

(4)

步驟5 將殘差r1(t)減去第2個本征模態(tài)分量得到殘差r2(t):

(5)

步驟6 重復上述步驟,直到得到的殘差為單調(diào)函數(shù),無法進一步分解,整個算法過程結(jié)束。若分解獲得的本征模態(tài)分量數(shù)量為K,則原y(t)經(jīng)CEEMDAN分解結(jié)果如下:

(6)

CEEMDAN可以有效地將原始信號分離為具有不同頻率尺度的不同本征模分量,相較于EEMD等方法,CEEMDAN可以提高重構(gòu)精度,減少迭代次數(shù),解決模態(tài)混合問題。

(二) GRU

人們做大多數(shù)決定時,不僅要了解當前信息,還需要參考之前的信息,如匯率、股指等都是連續(xù)的序列數(shù)據(jù)。RNN專門用來處理具有時間依賴的序列數(shù)據(jù),在RNN中,每個輸出由當前輸入和之前的信息共同決定,但也帶來一個新的問題,有時我們需要大量之前的信息,當之前的信息距離當前預測目標太遠時,RNN可能會出現(xiàn)梯度消失的問題,之前的信息會呈指數(shù)級丟失,由此出現(xiàn)了一種新的網(wǎng)絡LSTM。LSTM較好的解決梯度消失等問題,但它引入了3個門結(jié)構(gòu)來控制輸入和輸出,參數(shù)較多,訓練起來難度比較大。GRU模型與LSTM類似,不過它只有兩個門結(jié)構(gòu):更新門和重置門,結(jié)構(gòu)更為簡單、更容易實現(xiàn),性能也更為穩(wěn)定。GRU模型結(jié)構(gòu)如圖1所示:其中t為時刻,xt為當前時刻網(wǎng)絡的輸入,ht為上一時刻的記憶,σ代表sigmoid函數(shù),?表示向量元素乘,⊕表示向量和。

圖1 GRU模型示意圖

GRU首先會分析在當前時刻,根據(jù)當前的輸入,我們需要用到記憶中的哪些部分:

rt=σ(Wr·[ht-1,xt])

(7)

用rt(重置門)乘以ht-1就得到了可利用的記憶信息,然后和當前時刻的信息xt合并在一起輸入到tanh網(wǎng)絡中:

(8)

接著通過當前時刻的輸出去更新記憶,先計算更新程度:

zt=σ(Wz·[ht-1,xt])

(9)

再利用zt(更新門)對上一時刻的記憶和當前的輸出進行加權(quán)結(jié)合得到當前時刻記憶:

(10)

GRU比LSTM模型更簡單,訓練速度也更快,預測性能可以達到和LSTM相同的效果甚至更好[17]。

(三) GAN

常見的機器學習模型大致可以分為“判別式”和“生成式”,生成模型由于能夠?qū)W習數(shù)據(jù)的隱含特征表示,近些年發(fā)展迅速。GAN是一種基于對抗學習的深度生成模型,廣泛應用在圖像信號等領域。

圖2 GAN模型示意圖

如圖2所示,GAN的主體包括一個生成器G(Generator)和一個判別器D(Discriminator),當輸入真實數(shù)據(jù)x時,期待判別器D輸出真(接近1);當生成器G的輸入隨機變量z,輸出是與x相近的生成樣本G(z)時,將G(z)輸入到D,這時期待D輸出假(接近0)。整個訓練過程中G的目標就是盡量欺騙D,使D輸出真(把G(z)誤判為x),相對應D的目標就是可以正確區(qū)分x(輸出1)和G(z)(輸出0),就這樣G和D不斷的進行對抗訓練,最后無論是x還是G(z),D的正確判別概率是穩(wěn)定的。GAN的對抗訓練本質(zhì)上是一個求minmax問題的解,目標函數(shù)如下:

Εz～pz(z)[log(1-D(G(z)))]

(11)

三、實證分析

(一)建模分析

美元兌人民幣匯率經(jīng)CEEMDAN分解產(chǎn)生的IMF和殘差波動特征相對簡單,可充分提取分析匯率的波動特征。將CEEMDAN的時序分解與GRU的時序預測和GAN強大的特征學習能力的3個優(yōu)勢功能進行結(jié)合,GRU作為GAN模型的生成器,CEEMDAN分解得到的IMF分量進行重組作為輸入,提出一個高準確性的匯率預測模型CEEMDAN-GAN。

(二)數(shù)據(jù)的選取

匯率是非常重要的經(jīng)濟指標,可以直接反映一個國家的宏觀經(jīng)濟情況,是經(jīng)濟領域中最具有研究意義的數(shù)據(jù)之一。本文從Wind平臺提取了2012年7月17日至2022年7月8日之間近十年美元兌人民幣匯率的收盤價,共計2 494個數(shù)據(jù)作為金融時間序列預測建模的原始數(shù)據(jù),數(shù)據(jù)走勢如圖3所示。

(三)數(shù)據(jù)的檢驗

對美元兌人民幣匯率數(shù)據(jù)進行ADF檢驗,結(jié)果顯示在1%顯著性水平下序列非平穩(wěn);對匯率序列進行Jarque-Bera檢驗,偏度為0.294 72,峰度為1.867 8,P值近似為0,匯率序列分布顯著非正態(tài)?？梢钥闯雒涝獌度嗣駧艆R率序列非平穩(wěn)且包含大量噪聲,因此本文使用CEEMDAN對匯率序列進行分解、重組,運用非線性時序建模方法GAN進行預測建模。

圖3 美元兌人民幣匯率

(四)數(shù)據(jù)CEEMDAN分解

按照前文所述CEEMDAN計算方法,對原始數(shù)據(jù)進行分解,共得到7個IMF和殘差(圖4)。由圖4可以發(fā)現(xiàn),從IMF1—IMF7到殘差頻率逐漸降低,各子序列變化也較原始數(shù)據(jù)更簡單。

圖4 美元兌人民幣匯率CEEMDAN分解結(jié)果

(五)模型調(diào)優(yōu)及效果評價

參考楊青等[18]的模型構(gòu)建方法,使用前30個交易日的數(shù)值為輸入來預測下一交易日的數(shù)值,選用R-squared(決定系數(shù))、MAE(平均絕對誤差)、MSE(均方誤差)和RMSE(均方根誤差)4個評價指標對模型性能進行評估。

1.使用全部子序列GAN建模

使用全部子序列當做模型輸入,參考劉寧寧等[7]對GRU的研究,本文使用2層GRU作為GAN的生成器。根據(jù)高昆侖等[19]的研究,一維卷積神經(jīng)網(wǎng)絡可以很好地應用于時間序列分析和具有固定長度周期的信號數(shù)據(jù),故使用4層Conv1D作為GAN的判別器,對數(shù)據(jù)進行訓練與測試,結(jié)果如圖5和表1所示。研究發(fā)現(xiàn)模型在訓練集上的表現(xiàn)出色,R2達到了0.997以上,但預測集上R2只有0.982 85,說明模型存在過擬合問題,表明模型輸入過于復雜,需要對輸入特征進行降維處理。

圖5 使用全部子序列建模預測結(jié)果

表1 使用全部子序列建模評估效果

2. 隨機森林降維GAN建模及效果評價

為適當降低GAN預測建模的復雜度和避免模型過擬合,使用隨機森林算法對所有序列重要性評估,表2呈現(xiàn)了歸一化處理后的評估結(jié)果和相關系數(shù)。研究發(fā)現(xiàn)IMF1—IMF4的隨機森林重要性評分(VIM)分別為0.000 455、0.000 469、0.000 764和0.001 321,可以看出信號頻率逐漸降低但是重要性程度逐漸增加。從圖4可以發(fā)現(xiàn),高頻信號圍繞0均值值上下波動劇烈,幾乎沒有規(guī)律性,因為高頻信號表示的是匯率短期的波動,這種短期波動主要受短期外匯儲備變動、市場預期和噪聲的影響和長期趨勢的影響,使得高頻信號VIM總體低于低頻信號。IMF5—IMF7、殘差的相關系數(shù)也明顯大于IMF1—IMF4。因此,通過保留超過0.99的重要性對全部子序列進行降維,剔除相關系數(shù)較低的IMF1—IMF4共4個IMF信號來對模型進行訓練和預測。

表2 子序列重要性評分與相關系數(shù)

實驗結(jié)果(圖6和表3)顯示,相較于使用全部子序列作為模型輸入,剔除4個高頻IMF信號的預測模型的訓練集RMSE增加了59.21%,訓練誤差顯著放大。預測集的R2降到了0.915 944 333,RMSE增加了121.4%,模型解釋能力不足,誤差增大。雖然訓練集的R2大于0.99擬合效果較好,但是從圖6可以看出,剔除高頻IMF信號作為輸入后,模型無法預測短期波動的影響,整體預測值為一條平滑的曲線,表明高頻IMF信號雖然包含噪聲,和實際匯率走勢相關性較低,但是其中包含了大量的有用信息如外匯儲備變動、市場預期等,因此采用直接剔除VIM較低的IMF信號來降維的方式無法構(gòu)建一個有效的美元兌人民幣匯率預測模型,需要采用IMF信號重組方式進行降維處理。

圖6 剔除高頻子序列建模預測結(jié)果

表3 剔除高頻子序列建模評估效果

3. 所有子序列重組GAN建模及效果評價

參考李合龍等[20]的研究,對分解所產(chǎn)生的7個IMF分量進行重組。首先對所有IMF分量進行均值為0的t檢驗,其中IMF1—IMF4的P值分別為0.968 34、0.306 33、0.356 15和0.912 21,沒有顯著性差異。IMF5—IMF7的P值分別為0.007 20、1.321 17e-13和0.00673,均值顯著不等于0。其中IMF5是首個P值小于0.05的本征模態(tài)分量,因此將IMF1—IMF4重組成為美元兌人民幣匯率的高頻分量,IMF5—IMF7重組為低頻分量,將殘差作為趨勢項,具體如圖7所示。重組后的子序列較為簡單,有利于模型學習美元兌人民幣匯率的長期趨勢和短期波動特征。

圖7 所有子序列重組

接下來使用高頻、低頻和趨勢3個分量作為模型的輸入進行訓練和預測,預測結(jié)果如圖8所示。由表4中的各項指標評估結(jié)果,可以看出子序列重組GAN模型訓練和預測結(jié)果的RMSE差異不大,R2均大于0.99,解釋能力較強,較好地解決了使用全部子序列GAN建模的模型過擬合問題。輸入子序列從8個減少到了3個,簡化了模型同時大幅提升了訓練速度,相比較下,本模型訓練結(jié)果的RMSE降低1.28%,差異不明顯,但測試結(jié)果的RMSE降低了8.47%,模型預測準確性得到了進一步的提升。但IMF5—IMF7的VIM和相關系數(shù)均較高,重組為低頻序列降低了模型復雜度的同時也損失大量中長期趨勢信息。

圖8 所有子序列重組建模預測結(jié)果

表4 所有子序列重組建模評估效果

4. 僅高頻重組GAN建模及效果評價

研究發(fā)現(xiàn)IMF5—IMF7信號頻率較低,與原始信號走勢相似,包含的更多的是美元兌人民幣匯率中長期趨勢,較少受情緒波動、投機活動、突發(fā)事件等噪聲影響,所以可以直接作為模型的輸入,保留完整的趨勢信息來對預測模型進行優(yōu)化?，F(xiàn)在僅將包含較多噪聲的IMF1—IMF4重組為高頻信號,IMF5—IMF7、殘差直接作為信號進行輸入,預測結(jié)果如圖9所示。實驗所得模型的評價指標結(jié)果(表5)顯示訓練和測試結(jié)果的R2均大于0.99,模型解釋能力較強。相較于全部子序列重組建模,本模型訓練、測試結(jié)果的RMSE分別降低了46.62%和44.64%。雖然輸入子序列從3個增加到了5個復雜度有所提升,但是預測模型預的性能有了較大提高。

圖9 僅高頻子序列重組建模預測結(jié)果

表5 僅高頻子序列重組建模評估效果

四、CEEMDAN-GAN模型預測效果的對比驗證分析

本文以美元兌人民幣匯率為實驗數(shù)據(jù),利用一些經(jīng)研究證實性能比較突出的時間序列預測建模方法[3-8],包括LSTM、GRU、GAN直接進行預測和結(jié)合EMD、EEMD、CEEMDAN的組合模型進行預測,作為實驗的對比方法,對CEEMDAN-GAN模型的預測有效性、適應性進行評估。表6給出了各模型的預測結(jié)果的各項評估指標,結(jié)果顯示在不對匯率數(shù)據(jù)進行分解的情況下,3個機器學習模型預測結(jié)果的R2均小于0.99,模型解釋能力較差。RMSE的結(jié)果也比較接近,GNA模型僅比LSTM、GRU模型提升了6.36%和4.32%,說明僅使用原始序列來構(gòu)建預測模型時輸入特征過于簡單,訓練效果不佳,誤差較大,GAN也無法發(fā)揮強大的學習真實樣本分布優(yōu)勢。在組合模型方面,本文比較了相同分解方法下不同深度學習模型的表現(xiàn),從圖10中可以看出EMD、EEMD和CEEMDAN 3種分解方法下LSTM測試結(jié)果RMSE最大,EMD-GRU模型略低于EMD-GAN模型,EEMD、CEEMDAN組合模型中GAN性能明顯優(yōu)于LSTM、GRU,且CEEMDAN-GAN模型取得了最好表現(xiàn),R2大于0.995,RMSE降至了0.008 543,較之其他預測模型準確度有了較大提升。當使用相同深度學習模型和不同分解方法時,從圖11可以看出,在預測性能上,EMD-LSTM和EEMD-LSTM表現(xiàn)幾乎一致,CEEMDAN-LSTM優(yōu)于其他兩種分解組合模型;EEMD-GRU測試誤差大于EMD-GRU,EEMD-GAN測試誤差小于EMD-GAN,說明兩種分解方法各有優(yōu)劣。與前面兩種分解組合模型相比,CEEMDAN-GRU和CEEMDAN-GAN均取得了最好的表現(xiàn)。

表6 不同建模方法預測效果對比分析結(jié)果

圖10 不同深度學習模型性能比較

圖11 不同分解方法性能比較

五、結(jié)論及展望

本文運用CEEMDAN將金融時間序列分解為不同頻率與波動特征的子序列,再進一步對子序列進行降維與重組處理,同時使用在時序預測上有顯著優(yōu)勢的GRU作為GAN模型的生成器,依據(jù)隨機森林重要性評估和相關系數(shù)大小對所有子序列進行降維重組,最后對不同重組方法進行性能評估,提出了一種CEEMDAN和GAN相結(jié)合的匯率預測模型CEEMDAN-GAN。選取了金融市場具有代表性的美元對人民幣匯率為實驗數(shù)據(jù),并對數(shù)據(jù)進行詳細的實證分析。實驗結(jié)果證明,本文所提出的CEEMDAN分解、重組方法可以有效地將單一匯率數(shù)據(jù)重構(gòu)為保留信息相對完整、結(jié)構(gòu)簡單的子序列,提高了建模的效率與性能,所提出的CEEMDAN-GAN模型預測的具有誤差小、擬合度高等優(yōu)點,同時也為構(gòu)建其他金融時間序列預測模型提供了參考。另外,本文也有不足之處,如GAN訓練時G和D容易出現(xiàn)一方強大一方弱小的問題,若不及時平衡就會導致梯度消失(D強G弱)和模式奔潰(G強D弱)問題。后續(xù)考慮采用修正的損失函數(shù)Wessertein距離代替JS散度,Wessertein距離沒有上界,不會出現(xiàn)梯度消失的情況;同時,金融產(chǎn)品價格走勢受宏觀經(jīng)濟環(huán)境和市場參與者情緒波動影響較大,后續(xù)研究擬將宏觀經(jīng)濟指標與市場恐慌系數(shù)納入預測模型,進一步提升預測模型可解釋性與性能。