基于最大信息挖掘廣域?qū)W習(xí)系統(tǒng)的混沌時(shí)間序列預(yù)測(cè)

閆機(jī)超 鄭靜雅 孫勝耀

1(鄭州職業(yè)技術(shù)學(xué)院軟件工程系 河南 鄭州 450121)

2(河南大學(xué)計(jì)算機(jī)學(xué)院 河南 開(kāi)封 475000)

0 引 言

混沌時(shí)間序列預(yù)測(cè)對(duì)于許多領(lǐng)域都是十分重要的技術(shù)手段,比如天氣預(yù)測(cè)、價(jià)格預(yù)測(cè)和成績(jī)預(yù)測(cè)等,因此得到了廣泛的關(guān)注[1-2]。然而,線(xiàn)性方法不足以學(xué)習(xí)時(shí)間序列的非線(xiàn)性模式,因此學(xué)者們開(kāi)始將注意力放在非線(xiàn)性模型混沌時(shí)間序列預(yù)測(cè)的研究上[3]。

混沌動(dòng)力系統(tǒng)中,由于各種因素的影響,存在著不穩(wěn)定的因素:線(xiàn)性相關(guān)、非線(xiàn)性決定機(jī)制、混沌機(jī)制、噪聲等。最大化信息開(kāi)發(fā)(MIE)可以看作是充分提取數(shù)據(jù)中的特征并充分利用它們[4]。隨著神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的發(fā)展,MIE是學(xué)者們研究和追求的目標(biāo)。反向傳播算法利用反向傳播誤差來(lái)更新權(quán)重以減少輸出誤差,在一定程度上可以看作是MIE的早期階段[5]。此外,學(xué)者們開(kāi)始關(guān)注網(wǎng)絡(luò)架構(gòu)的研究,以達(dá)到最大的功能利用率。文獻(xiàn)[6]近年來(lái)提出了密集網(wǎng)絡(luò)布局的層疊結(jié)構(gòu),通過(guò)創(chuàng)建更復(fù)雜的特征檢測(cè)器來(lái)追求信息的充分利用。文獻(xiàn)[7]提出了使用“門(mén)通道”來(lái)控制原始信息的傳輸,以避免信息丟失。文獻(xiàn)[8]提出的密集卷積網(wǎng)絡(luò)(DenseNet)保證了各層信息的直接連接,減少了特征的丟失。這些方法通過(guò)建立快捷連接來(lái)確保信息的完整性,但是為了獲得較好的預(yù)測(cè)效果,上述方法訓(xùn)練時(shí)間較長(zhǎng),需要的樣本較多,且模型的可解釋性較差。

為此,文獻(xiàn)[9]提出了廣義學(xué)習(xí)系統(tǒng)(BLS),該系統(tǒng)也使用層疊結(jié)構(gòu)來(lái)實(shí)現(xiàn)信息挖掘并進(jìn)行動(dòng)態(tài)更新,因此,它不會(huì)經(jīng)歷長(zhǎng)時(shí)間的訓(xùn)練過(guò)程。結(jié)構(gòu)化流形BLS(SM-BLS)則基于流形學(xué)習(xí)的無(wú)監(jiān)督人工學(xué)習(xí)和非均勻嵌入提取特征,挖掘時(shí)間序列潛在的確定性演化信息,提高模型的可解釋性[10]。文獻(xiàn)[11]提出了一種新的基于隨機(jī)擾動(dòng)近似的正則化方法,并將其應(yīng)用于魯棒流形BLS中,用于噪聲時(shí)間序列的預(yù)測(cè)。考慮到時(shí)間序列的時(shí)間特性,在BLS的特征節(jié)點(diǎn)中引入了一種儲(chǔ)層結(jié)構(gòu),用于時(shí)間序列的動(dòng)態(tài)模式提取。雖然這幾種方法有效解決了訓(xùn)練時(shí)間與模型解釋性問(wèn)題,但是仍舊未能充分挖掘混沌系統(tǒng)的演化信息,使得預(yù)測(cè)精度的提升有限。

為了解決上述問(wèn)題,提出一種基于最大信息挖掘廣域?qū)W習(xí)系統(tǒng)的混沌時(shí)間序列預(yù)測(cè)模型,并在四個(gè)大規(guī)模數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn),結(jié)果證明了本文方法能夠有效提升預(yù)測(cè)效果。

1 相關(guān)研究

1.1 漏積分器回波狀態(tài)網(wǎng)絡(luò)

一個(gè)典型的回波狀態(tài)網(wǎng)絡(luò)(Echo State Networks,ESN)包含一個(gè)輸入層、一個(gè)輸出層和一個(gè)稱(chēng)為池化層的隱藏層。從輸入層到隱藏層的權(quán)重Win和動(dòng)態(tài)隱藏層的權(quán)重Wres是隨機(jī)生成的,而從隱藏層到輸出層Wout的權(quán)重矩陣是通過(guò)監(jiān)督學(xué)習(xí)得到的。令v(t)=[v1(t),v2(t),…,vN(t)]T,t=1,2,…,T表示為輸入時(shí)間序列,假設(shè)u(t)=v(t)為輸入序列,y(t)=v(t+τ)為輸出序列。改變步長(zhǎng)τ可以實(shí)現(xiàn)不同時(shí)間域的預(yù)測(cè)。基本狀態(tài)方程可以表示為:

x(t+1)=f[Winu(t+1)+Wresx(t)]

(1)

式中:x(t)∈RS×1表示網(wǎng)絡(luò)的第t步時(shí)間狀態(tài),S是隱藏層的維度;f(·)是輸出層的激活函數(shù),通常采用雙曲函數(shù)。當(dāng)t增大到無(wú)窮大時(shí),當(dāng)前狀態(tài)對(duì)初始狀態(tài)的依賴(lài)性減小。

LIESNs是回聲狀態(tài)網(wǎng)絡(luò)ESN的一個(gè)變形網(wǎng)絡(luò)。其基本結(jié)構(gòu)與ESN相似。唯一的區(qū)別是,LIESNs的隱藏層包含泄漏的積分神經(jīng)元,這使得它能夠保持前一時(shí)刻的激活狀態(tài)。LIESNs的狀態(tài)方程如下:

x(t+1)=(1-a)f(Wresx(t)+Winu(t+1)+

Wbacky+ax(t))

(2)

式中:0

(3)

1.2 寬度學(xué)習(xí)系統(tǒng)

No-prop算法是克服局部最優(yōu)問(wèn)題的一種有效算法,BLS是no-prop算法的一個(gè)演化,它可以動(dòng)態(tài)更新且不需要重新訓(xùn)練。圖1描繪了BLS的結(jié)構(gòu),展示了信息傳播的方式以及不同權(quán)重的影響。

圖1 BLS結(jié)構(gòu)

在特征學(xué)習(xí)階段,將輸入轉(zhuǎn)換為特征節(jié)點(diǎn)并生成特征映射。假設(shè)一個(gè)BLS包含n組特征節(jié)點(diǎn)并且輸入為U,則特征映射為:

Zi=?(UWei+βei)i=1,2,…,n

(4)

式中:Wei和βei表示第i個(gè)特征映射節(jié)點(diǎn)的權(quán)重和偏差;?(·)表示特征映射節(jié)點(diǎn)的激活函數(shù)。將特征映射的輸出作為P=[Z1,Z2,…,Zn],P表示不同生成模式下的所有特征映射。特征提取中的非線(xiàn)性學(xué)習(xí)能力由增強(qiáng)型節(jié)點(diǎn)來(lái)補(bǔ)償。這些特征被隨機(jī)映射到增強(qiáng)節(jié)點(diǎn)。假設(shè)增強(qiáng)層中有m個(gè)節(jié)點(diǎn),則公式如下:

Hj=ξj(PWhj+βhj)j=1,2,…,m

(5)

式中:特征和第j層的增強(qiáng)節(jié)點(diǎn)之間的權(quán)重Whj和偏差βhj是隨機(jī)產(chǎn)生的,且具有適當(dāng)?shù)木S數(shù);ξj(·)表示第j個(gè)節(jié)點(diǎn)的激活函數(shù)。本文中激活函數(shù)為Sigmoid函數(shù)。增強(qiáng)層的整體輸出可以表示為:

Hm=[H1,H2,…,Hm]

(6)

則BLS被定義為:

Y=[Z1,Z2,…,Zn|H1,H2,…,Hm]W=[P|Hm]W

(7)

式中:W是BLS的輸出權(quán)重。

2 最大信息挖掘廣域?qū)W習(xí)系統(tǒng)

2.1 MIE-BLS

提出的MIE-BLS主要可以分為兩部分:基于改進(jìn)泄漏積分型隱藏層系統(tǒng)演化模式的發(fā)現(xiàn)和基于隨機(jī)映射的非線(xiàn)性動(dòng)態(tài)特征的重新激活。首先,采用沒(méi)有非線(xiàn)性激活的改進(jìn)泄漏積分型動(dòng)態(tài)隱藏層將系統(tǒng)的當(dāng)前狀態(tài)和歷史狀態(tài)進(jìn)行整合。其次,將模擬系統(tǒng)隱藏層的狀態(tài)發(fā)送到增強(qiáng)層,以提取非線(xiàn)性信息,并在大規(guī)模時(shí)間序列預(yù)測(cè)應(yīng)用中快速建模。此外,動(dòng)態(tài)隱藏層和隨機(jī)非線(xiàn)性增強(qiáng)特征與輸出層同時(shí)連接。

假設(shè)重建的輸入數(shù)據(jù)矩陣為U=[u1,u2,…,uN]T∈RN×K,其中:N為樣本大小;K為輸入維數(shù)。為了模擬輸入時(shí)間序列的狀態(tài)演化信息,本文引入了一種改進(jìn)的泄漏積分型隱藏層來(lái)動(dòng)態(tài)捕獲特征。滲漏積分神經(jīng)元的動(dòng)態(tài)隱藏層狀態(tài)更新公式為:

x(t+1)=(1-a)f(Wresx(t)+Winu(t+1)+ax(t))

(8)

為了最大程度地挖掘信息,避免不同層之間的信息傳遞出現(xiàn)損失,在狀態(tài)更新公式中用一個(gè)完全線(xiàn)性傳遞方法代替非線(xiàn)性激活。

x(t+1)=(1-a)(Wresx(t)+Winu(t+1)+ax(t))

(9)

此線(xiàn)性傳遞方法使動(dòng)態(tài)系統(tǒng)中的信息流最大化,激活了新?tīng)顟B(tài)和歷史狀態(tài)之間的相互作用。為了避免隱藏層稀疏性帶來(lái)的不確定性,在模型中引入了全連接層。將所有更新后的隱藏層狀態(tài)定義為:

P=[x(1),x(2),…,x(N)]T

(10)

線(xiàn)性激活函數(shù)沒(méi)有復(fù)雜的映射功能,因此本文利用泄漏積分型隱藏層到增強(qiáng)層的隨機(jī)映射進(jìn)行復(fù)雜映射和快速建模,表示為:

Hj=ξ(PWhj+βhj)j=1,2,…,m

(11)

式中:Whj和βhj是隨機(jī)生成的,表示權(quán)重和偏差;P是隱藏層狀態(tài);m是增強(qiáng)節(jié)點(diǎn)的個(gè)數(shù)。增強(qiáng)層的輸出為Hm=[H1,H2,…,Hm]。Hj表示為映射值,假設(shè)U對(duì)應(yīng)的輸出為Y,則設(shè)計(jì)的模型的輸出可以表示為:

Y=[P|Hm]W=AW

(12)

式中:W是MIE-BLS的輸出權(quán)重;A=[P|Hm]W∈RN×(n+m)。層疊機(jī)制實(shí)現(xiàn)了將線(xiàn)性和非線(xiàn)性特征與輸出直接連接,恢復(fù)了增強(qiáng)層在傳輸中丟失的信息,彌補(bǔ)了網(wǎng)絡(luò)中的信息偏差。這里采用嶺回歸算法求出輸出矩陣:

W=(ATA+λI)-1ATY

(13)

式中:λ是正則化參數(shù)。嶺回歸用于計(jì)算輸出權(quán)重,因?yàn)樗梢杂行У胤乐惯^(guò)擬合現(xiàn)象。

2.2 最大程度利用信息

傳統(tǒng)的前向神經(jīng)網(wǎng)絡(luò)可以看作是面向狀態(tài)的計(jì)算技術(shù)。狀態(tài)在不同層之間傳輸。每層狀態(tài)的變化記錄了需要保留的信息。不同層之間傳輸存在信息丟失,這是不可避免的。所有的特征學(xué)習(xí)方法都可以看作是提取回歸/分類(lèi)的本質(zhì)特征,避免信息丟失。從混沌時(shí)間序列預(yù)測(cè)的角度來(lái)看,MIE應(yīng)該最終利用混沌時(shí)間序列中的線(xiàn)性相關(guān)性、非線(xiàn)性確定性和混沌性。如圖2所示,采用了兩種基本機(jī)制來(lái)保證混沌動(dòng)力學(xué)系統(tǒng)的MIE:改進(jìn)的泄漏積分隱藏層代表相互作用機(jī)制和具有隨機(jī)映射的增強(qiáng)層代表層疊機(jī)制。這兩項(xiàng)技術(shù)增強(qiáng)了MIE且將功能重新激活。

圖2 MIE理論描述

LIESNs隱藏層的結(jié)構(gòu)與ESN相似。在典型的ESN中,沒(méi)有單位內(nèi)存,并且隱藏層中的狀態(tài)取決于先前的非線(xiàn)性狀態(tài)。在LIESNs中,隱藏層中的狀態(tài)也依賴(lài)于歷史狀態(tài),同時(shí)保留了更多的時(shí)間演化動(dòng)態(tài),便于時(shí)間序列預(yù)測(cè)。因此,泄漏積分型機(jī)制比標(biāo)準(zhǔn)ESN更適合于時(shí)間序列的動(dòng)態(tài)建模。為了模擬混沌系統(tǒng)的動(dòng)態(tài)演化過(guò)程,引入了改進(jìn)的泄漏積分型隱藏層。式(9)表明,隱藏層的泄漏積分型神經(jīng)元衡量歷史狀態(tài)和當(dāng)前狀態(tài),實(shí)現(xiàn)最后狀態(tài)和更新?tīng)顟B(tài)之間的相互作用和相互補(bǔ)充。

隱藏層特征節(jié)點(diǎn)與輸出之間的增強(qiáng)層對(duì)提取的動(dòng)態(tài)特征進(jìn)行非線(xiàn)性映射。然后,增強(qiáng)層和泄漏積分型動(dòng)態(tài)特征傳輸?shù)捷敵鰧印Ｔ鰪?qiáng)層可以利用動(dòng)態(tài)特征,且能夠容易地實(shí)現(xiàn)對(duì)非線(xiàn)性信息的探索和動(dòng)態(tài)特征的重新激活。建立一條直接連接特征和輸出的短路徑,以補(bǔ)償傳輸中不可避免的信息丟失。采用層疊機(jī)制促進(jìn)信息的傳播和重利用,恢復(fù)傳輸時(shí)在不同層之間丟失的信息,并探索最大數(shù)量的信息。

2.3 與DenseNet、HighwayNet和ResNet的異同

(1) 與DenseNet的異同:本文提出的MIE-BLS與DenseNet在結(jié)構(gòu)上相似。兩者網(wǎng)絡(luò)的各層之間均采用層疊的方式。不同之處在于它們使用了不同的特征映射方法:DenseNet利用卷積神經(jīng)單元進(jìn)行圖像應(yīng)用,而MIE-BLS使用泄漏積分型神經(jīng)元進(jìn)行混沌動(dòng)態(tài)發(fā)現(xiàn)。從結(jié)構(gòu)方面比較,MIE-BLS小得多,在某些情況下僅等效于四層密集模塊。

(2) 與HighwayNet的異同:在HighwayNet中有一個(gè)從輸入信號(hào)到隱藏層的門(mén)控通道。隱藏層不僅可以學(xué)習(xí)上一層的非線(xiàn)性激活信息,還可以通過(guò)快捷連接訪(fǎng)問(wèn)原始信息。但是,MIE-BLS始終可以學(xué)習(xí)輸入的完整線(xiàn)性映射。而且,HighwayNet的權(quán)重需要訓(xùn)練和學(xué)習(xí),而MIE-BLS不需要。

(3) 與ResNet的異同:從特征重用的角度來(lái)看,提取恒等映射可以使網(wǎng)絡(luò)不必學(xué)習(xí)恒等映射,可以直接學(xué)習(xí)剩余部分,從而簡(jiǎn)化了學(xué)習(xí)目的和難度,減少了信息的冗余。但是有可能只有少數(shù)幾個(gè)模塊學(xué)習(xí)了有用的表示,或者許多模塊共享很少的信息,從而對(duì)最終目標(biāo)的貢獻(xiàn)很小。

HighwayNet、ResNet和DenseNet都包含不同層之間的信息。與這三個(gè)網(wǎng)絡(luò)相比,本文提出的模型更適合于動(dòng)力學(xué)建模和大規(guī)模混沌時(shí)間序列預(yù)測(cè)。除了信息利用層疊機(jī)制之外,這些網(wǎng)絡(luò)中還應(yīng)用了信息交互和探索的迭代機(jī)制。

2.4 隨機(jī)映射分析

假設(shè)高維特征為u∈Rm,低維特征為v∈Rn,隨機(jī)矩陣為A∈Rn×m,n<

(14)

式中:δ是非常小的正數(shù)。壓縮感知理論中的有限等距性質(zhì)證明存在一個(gè)滿(mǎn)足式(14)的固定隨機(jī)矩陣。同樣,JL定理也為上述結(jié)果提供了理論支持。

JL定理:假設(shè)存在U=[u1,u2,…,ud]∈Rm×d且0<δ<1,β>0,令:

(15)

對(duì)于U中的任何兩個(gè)向量ui、uj(i≠j),都有一個(gè)映射f:Rm→Rn。將映射f定義為隨機(jī)矩陣A,并將矩陣中的元素定義為A(i,j)=aij,此時(shí),需要滿(mǎn)足:

(16)

文獻(xiàn)[8]證明了隨機(jī)高斯矩陣滿(mǎn)足條件。高斯隨機(jī)矩陣映射可以使向量之間保持適當(dāng)?shù)木嚯x。從本質(zhì)上講,所有由隨機(jī)投影實(shí)現(xiàn)的降維技術(shù)都是基于JL變換得到的。本文考慮在增強(qiáng)層中使用隨機(jī)高斯矩陣進(jìn)行映射,以保持隱藏層原始的動(dòng)態(tài)關(guān)系。

算法1基于最大信息挖掘廣域?qū)W習(xí)系統(tǒng)的混沌時(shí)間序列預(yù)測(cè)算法

輸入:訓(xùn)練數(shù)據(jù),測(cè)試數(shù)據(jù)。

輸出:預(yù)測(cè)結(jié)果。

1.參數(shù)初始化:給定泄漏速率、隱藏節(jié)點(diǎn)、增強(qiáng)節(jié)點(diǎn)和迭代次數(shù)初始值;

2.首先構(gòu)建最大信息挖掘廣域?qū)W習(xí)系統(tǒng);

3.輸入訓(xùn)練數(shù)據(jù)進(jìn)行系統(tǒng)訓(xùn)練:

4.重建的輸入數(shù)據(jù)矩陣為U=[u1,u2,…,uN]T∈RN×K

5.根據(jù)式(9)狀態(tài)更新;

6.利用隨機(jī)映射式(11)進(jìn)行復(fù)雜映射和快速建模;

7.按照式(12)計(jì)算模型的輸出;

8.采用嶺回歸算法,即式(13)求出輸出矩陣W;

9.并訓(xùn)練得到相應(yīng)的特征映射節(jié)點(diǎn)的權(quán)重Wei和偏差βei以及增強(qiáng)節(jié)點(diǎn)之間的權(quán)重Whj和偏差βhj;

10.訓(xùn)練過(guò)程結(jié)束,得到訓(xùn)練的最大信息挖掘廣域?qū)W習(xí)系統(tǒng)模型;

11.將測(cè)試數(shù)據(jù)作為最大信息挖掘廣域?qū)W習(xí)系統(tǒng)模型的輸入;

12.輸出預(yù)測(cè)結(jié)果。

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集和實(shí)驗(yàn)方法

本文收集了四個(gè)混沌時(shí)間序列數(shù)據(jù)集。通過(guò)計(jì)算最大Lyapunov指數(shù),驗(yàn)證了兩個(gè)真實(shí)數(shù)據(jù)集的混沌特性。

(1) 洛倫茲時(shí)間序列:

(17)

當(dāng)α=10、β=8/3、γ=28時(shí),系統(tǒng)表現(xiàn)出混沌特性。實(shí)驗(yàn)?zāi)M數(shù)據(jù)有50 000個(gè)樣本組。用嵌入維數(shù)[20,20,20]和延遲時(shí)間[1,1,1]分別將Lorenz時(shí)間序列重構(gòu)到相空間中。

(2) Rossler時(shí)間序列:

(18)

當(dāng)b=0.2、c=0.2、d=5.7時(shí),系統(tǒng)表現(xiàn)出混沌特征。本實(shí)驗(yàn)用初始狀態(tài)[1,1,1]生成30 000組數(shù)據(jù),均勻嵌入維數(shù)為40,延遲時(shí)間為1。

(3) 北京空氣質(zhì)量指數(shù):北京每小時(shí)空氣質(zhì)量指數(shù)(AQI)數(shù)據(jù)采集地點(diǎn)是北京首都國(guó)際機(jī)場(chǎng)。2010年1月2日至2014年12月31日共采集43 824個(gè)小時(shí)的樣本,每組數(shù)據(jù)包括5個(gè)參數(shù):PM2.5、壓力、風(fēng)速、露點(diǎn)和溫度。將嵌入維數(shù)設(shè)置為[40,40,40,40,40],在PSR過(guò)程中延遲時(shí)間為[1,1,1,1,1]。

(4) 北京氣象數(shù)據(jù):這組數(shù)據(jù)是從2018年SIGGDD比賽中下載的。記錄了北京順義8782集團(tuán)2017年1月30日16:00至2018年1月31日15:00期間的氣象數(shù)據(jù),有溫度、壓力、濕度、風(fēng)向和風(fēng)速5個(gè)變量。對(duì)于缺失的值,采用三次樣條插值進(jìn)行填充。將嵌入維數(shù)和延遲時(shí)間分別設(shè)置為40和1。

3.2 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)中,所有數(shù)據(jù)集按9∶1的比例分成訓(xùn)練集和測(cè)試集。本文選擇了一些其他方法進(jìn)行比較:長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)[12]、LIESN[13]、BLS[9]、FBLS[14]和SM-BLS[10]。用均方根誤差(RMSE)、歸一化均方根誤差(NRMSE)、平均絕對(duì)誤差(MAE)和對(duì)稱(chēng)平均絕對(duì)百分比誤差(SMAPE)四個(gè)指標(biāo)來(lái)評(píng)價(jià)預(yù)測(cè)性能。

在實(shí)驗(yàn)中,泄漏積分型隱藏層的初始狀態(tài)被設(shè)為0。表1給出了一些重要的參數(shù)設(shè)置,其中隱藏節(jié)點(diǎn)包括LSTM的隱藏節(jié)點(diǎn)、LIESN和MIE-BLS中的隱藏層大小、SM-BLS中流形嵌入后的維數(shù)、FBLS中各模糊子系統(tǒng)中的規(guī)則、BLS中的特征節(jié)點(diǎn)。映射組是指FBLS中的模糊子系統(tǒng)和BLS、SM-BLS和MIE-BLS中的特征映射組。符號(hào)“-”表示對(duì)應(yīng)的參數(shù)無(wú)效。

表1 模擬實(shí)驗(yàn)參數(shù)設(shè)置

表2列出了Lorenz時(shí)間序列每一步預(yù)測(cè)的比較結(jié)果。結(jié)果表明,在Lorenz-x的預(yù)測(cè)中,MIE-BLS的效果優(yōu)于其他方法。在Lorenz-y和Lorenz-z的預(yù)測(cè)中,本文模型性能較好。Lorenz時(shí)間序列的每一步預(yù)測(cè)曲線(xiàn)如圖3所示。為了清楚地了解泄漏型隱藏層規(guī)模及其漏失率對(duì)Lorenz時(shí)間序列一步預(yù)測(cè)結(jié)果的影響,本文將其繪制成NRMSE的三維圖,如圖4所示。從圖4(a)可以清楚地了解到,隨著儲(chǔ)層尺寸的增加,總體NRMSE呈下降趨勢(shì)。此外,當(dāng)隱藏層的大小超過(guò)1 500時(shí),NRMSE下降緩慢,并且總體下降幅度較小,訓(xùn)練時(shí)間迅速增加。因此,在圖4(c)中,當(dāng)隱藏層大小為1 500時(shí),將NRMSE繪制為泄漏率的函數(shù)。通常,隨著泄漏率的降低,NRMSE逐漸減小。圖5的右上方顯示了最低NRMSE所在區(qū)域的曲線(xiàn)。可以看出,最小值是在1-a=0.99(a是泄漏率)下獲得的,它與表1中的參數(shù)相對(duì)應(yīng)。

表2 時(shí)間序列每一步預(yù)測(cè)的比較結(jié)果

(a) Lorenz-x

(a) 儲(chǔ)層尺寸與NRMSE

圖5 MIE-BLS對(duì)Rossler-v的一步預(yù)報(bào)結(jié)果

除了Lorenz時(shí)間序列模擬外,另一個(gè)有關(guān)Rossler時(shí)間序列的基準(zhǔn)問(wèn)題測(cè)試實(shí)驗(yàn)驗(yàn)證了模型的有效性。其y序列的一步預(yù)測(cè)結(jié)果如表3所示。在本實(shí)驗(yàn)中,MIE-BLS的預(yù)測(cè)性能最好。圖5顯示了它的預(yù)測(cè)曲線(xiàn)和誤差,可以看出,誤差值基本不超過(guò)0.2。

表3 ROSSLER-y時(shí)間序列的一步預(yù)測(cè)性能的比較

本文還對(duì)北京市的兩組數(shù)據(jù)集進(jìn)行了MIE-BLS的進(jìn)一步驗(yàn)證。將PM2.5作為預(yù)測(cè)變量,北京市空氣質(zhì)量指數(shù)的一步預(yù)測(cè)對(duì)比結(jié)果見(jiàn)表4,三步預(yù)測(cè)結(jié)果對(duì)比見(jiàn)表5,可以看出,MIE-BLS在實(shí)際數(shù)據(jù)集的訓(xùn)練和測(cè)試過(guò)程中都取得了最好的效果。在表4和表5的大多數(shù)實(shí)驗(yàn)數(shù)據(jù)表明,測(cè)試集的訓(xùn)練結(jié)果優(yōu)于訓(xùn)練集。這對(duì)時(shí)間序列的分析是合理且實(shí)用的。與圖像不同,時(shí)間序列包含著豐富的動(dòng)態(tài)信息。此外,混沌時(shí)間序列的演化不是一成不變的,它表現(xiàn)為線(xiàn)性相關(guān)、非線(xiàn)性確定性和混沌性。該數(shù)據(jù)集的時(shí)間跨度很長(zhǎng),訓(xùn)練集占總數(shù)據(jù)量的90%,包含有較大的波動(dòng)和噪聲。而測(cè)試集的波動(dòng)相對(duì)較小,比訓(xùn)練數(shù)據(jù)包含的噪聲少。相應(yīng)的三步預(yù)測(cè)曲線(xiàn)如圖6所示。雖然預(yù)測(cè)動(dòng)態(tài)波動(dòng)劇烈時(shí)的結(jié)果準(zhǔn)確率不高,但預(yù)測(cè)誤差在可接受范圍內(nèi)。

表4 北京市空氣質(zhì)量指數(shù)的一步預(yù)測(cè)性能的比較

表5 北京市空氣質(zhì)量指數(shù)的三步預(yù)測(cè)性能的比較

圖6 MIE-BI三步預(yù)測(cè)PM2.5的結(jié)果

北京市氣象資料進(jìn)一步證明了該方法的實(shí)用性和有效性。以溫度為預(yù)測(cè)變量,其預(yù)測(cè)誤差曲線(xiàn)如圖7所示。顯然,預(yù)測(cè)曲線(xiàn)基本符合原始數(shù)據(jù)曲線(xiàn),誤差在可接受范圍內(nèi),無(wú)較大偏差。本文方法的一步預(yù)測(cè)結(jié)果與其他方法的比較如表6所示。可以看出,盡管兩種方法的RMSE沒(méi)有太大差別,但SM-BLS的NRMSE是MIE-BLS的兩倍多。原因可能是本文方法可以動(dòng)態(tài)捕捉時(shí)間信息,并成功地捕捉到混沌時(shí)間序列的峰值。

圖7 MIE-BLS一步預(yù)報(bào)溫度結(jié)果

LSTM的性能并不令人滿(mǎn)意。一方面,LSTM的時(shí)間復(fù)雜度高、訓(xùn)練難度大;另一方面,由于遞歸網(wǎng)絡(luò)的結(jié)構(gòu),LSTM雖然具有短期記憶能力,但特征信息的有效利用對(duì)預(yù)測(cè)也起著重要作用。與深層神經(jīng)網(wǎng)絡(luò)相比,MIE-BLS具有快速訓(xùn)練的特點(diǎn)。MIE-BLS的性能優(yōu)于LIESN。這主要是因?yàn)樘卣骱驮鰪?qiáng)層輸出之間的層疊補(bǔ)償了在傳輸過(guò)程中丟失的信息及具有特征重利用功能。雖然LIESN能夠捕捉到輸入的有效特征,但在描述輸入和輸出之間的關(guān)系方面不如MIE-BLS。此外,FBLS還應(yīng)用于圖像分類(lèi)和時(shí)間序列預(yù)測(cè)。為了平衡圖像信息的處理,這種方法可能缺乏一種獨(dú)特的時(shí)間序列處理機(jī)制,因此通常應(yīng)用于多個(gè)實(shí)驗(yàn)中。與本文方法中最大化信息利用的思想不同,SM-BLS主要用于提取時(shí)間序列的多種信息,并選擇一些包含更多動(dòng)態(tài)信息的流形特征,這些特征值通常較小。因此,忽視了信息的完整性。與其他基于BLS的方法相比,本文方法更注重特征信息的利用,特別是混沌時(shí)間序列信息的利用。本文方法既考慮了混沌時(shí)間序列的時(shí)間特性,又最大程度地利用了演化信息。

4 結(jié) 語(yǔ)

為了進(jìn)一步挖掘混沌系統(tǒng)的演化信息,提升預(yù)測(cè)精度,減少訓(xùn)練時(shí)間,提出一種基于最大信息挖掘廣域?qū)W習(xí)系統(tǒng)的大規(guī)模混沌時(shí)間序列預(yù)測(cè)模型。通過(guò)四個(gè)大規(guī)模數(shù)據(jù)集實(shí)驗(yàn)得出如下結(jié)論:

(1) 與深層神經(jīng)網(wǎng)絡(luò)相比,MIE-BLS具有快速訓(xùn)練的特點(diǎn),能夠有效地減少訓(xùn)練時(shí)間,為在大規(guī)模數(shù)據(jù)集上的應(yīng)用提供了可能。

(2) 因?yàn)樘卣骱驮鰪?qiáng)層輸出之間的層疊補(bǔ)償了在傳輸過(guò)程中丟失的信息,本文方法更注重特征信息的利用,特別是混沌時(shí)間序列信息的利用,能夠有效解決混沌時(shí)間序列預(yù)測(cè)問(wèn)題。

(3) 本文方法既考慮了混沌時(shí)間序列的時(shí)間特性,又最大程度地利用了演化信息,有效地實(shí)現(xiàn)了充分的信息挖掘,提升了預(yù)測(cè)的精度。