基于GWO優(yōu)化BiLSTM模型的地區(qū)短期風(fēng)功率的預(yù)測(cè)

王帥黨,程 鵬

(華北水利水電大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院,鄭州 450046)

0 引言

受眾多因素的影響,提高短期風(fēng)功率預(yù)測(cè)的準(zhǔn)確性難度較大,如果選取的輸入特征過多,會(huì)導(dǎo)致預(yù)測(cè)模型出現(xiàn)過擬合現(xiàn)象,從而增加計(jì)算的復(fù)雜程度,降低模型性能。但選取的輸入特征過少,又會(huì)導(dǎo)致預(yù)測(cè)模型因挖掘信息不充分而精度下降。

近年來(lái),利用機(jī)器學(xué)習(xí)算法構(gòu)建風(fēng)電功率預(yù)測(cè)模型屢見不鮮,如:在風(fēng)電功率預(yù)測(cè)中使用時(shí)間序列法,采用自回歸滑動(dòng)平均(ARMA)模型對(duì)其進(jìn)行優(yōu)化[1-2];采用粒子群優(yōu)化算法開展短期風(fēng)電輸出功率預(yù)測(cè)[3];結(jié)合電場(chǎng)的風(fēng)速及功率數(shù)據(jù),運(yùn)用支持向量機(jī)構(gòu)建機(jī)器學(xué)習(xí)模型[4-5];有人提出基于能量差優(yōu)化變分模態(tài)分解及布谷鳥優(yōu)化組合神經(jīng)網(wǎng)絡(luò)的短期風(fēng)功率預(yù)測(cè)模型[6];建立集合經(jīng)驗(yàn)?zāi)B(tài)分解(EEMD)與雙向長(zhǎng)短期記憶(BiLSTM)相結(jié)合的風(fēng)功率并行組合預(yù)測(cè)模型[7]。我國(guó)學(xué)者的研究集中于風(fēng)電功率的超短期預(yù)測(cè)上,大多采用時(shí)間序列法[8-10]、神經(jīng)網(wǎng)絡(luò)法[6]、支持向量機(jī)[4]等構(gòu)建風(fēng)電功率預(yù)測(cè)模型。

基于以上分析,運(yùn)用主成分分析(PCA)算法對(duì)維數(shù)較高、沒有線性可循的數(shù)據(jù)進(jìn)行處理,利用灰狼優(yōu)化算法(GWO)對(duì)雙向長(zhǎng)短期記憶(BiLSTM)模型進(jìn)行參數(shù)尋優(yōu),即提出PCA-GWO-BiLSTM模型(下稱PG-BiLSTM模型),得到一種預(yù)測(cè)地區(qū)短期風(fēng)功率的并行機(jī)器學(xué)習(xí)方法。經(jīng)驗(yàn)證對(duì)比,該模型擁有較好的預(yù)測(cè)能力、魯棒性及有效性。

1 算法原理

1.1 主成分分析(PCA)

主成分分析法(Principal Component Analysis,PCA)是一種使用廣泛的數(shù)據(jù)降維算法。主要思想是將n維特征映射到k維上,這k維是全新的正交特征,也被稱為主成分,是在原有n維特征的基礎(chǔ)上重新構(gòu)造出來(lái)的k維特征。

PCA的基本原理如下:令R1是從原始數(shù)據(jù)中取出的首個(gè)線性組合組成的主成分,可得關(guān)系式:

R1=a11Q1+a12Q2+…+a1pQp

(1)

其中,aij(i,j=1,2…)為R1的系數(shù),Qi(i=1,2…)為原始數(shù)據(jù)中其他線性組合。由上式可知,當(dāng)Var(R1)越大,R1中含有的原始數(shù)據(jù)信息越多。

由R1作為該組原始數(shù)據(jù)下的第一主成分,從后面所有的線性組合Q1,Q1,…,Qp里Qi(i=1,2…)中選出方差最大的作為第二主成分R2。為了保證數(shù)據(jù)分析的可靠性,Cov(R1,R2)=0,在原本線性組合Q1,Q1,…,Qp中除去R1的數(shù)據(jù)信息后,剩下的線性組合中方差極大值的組可以成為其次主成分,由此可得R1,R1,…,Rp為原始數(shù)據(jù)變量集中的第1個(gè)、第2個(gè)、……第p個(gè)主成分,關(guān)系式如下:

(2)

1.2 灰狼優(yōu)化算法(GWO)

灰狼優(yōu)化算法(Grey Wolf Optimizer,GWO)是一種群智能優(yōu)化算法,簡(jiǎn)單易實(shí)現(xiàn),搜索性能較好,近年來(lái)被廣泛研究。

集體狩獵是灰狼的一種社會(huì)行為,社會(huì)等級(jí)在集體狩獵過程中發(fā)揮著重要的作用。灰狼群一般分為4個(gè)等級(jí),即α,β,δ,ω(權(quán)利從大到小)。

捕食過程在α的帶領(lǐng)下完成,主要包括3個(gè)步驟:①跟蹤和接近獵物。②騷擾、追捕及包圍獵物,直到其停止移動(dòng)。③攻擊獵物。

灰狼與獵物間的距離公式與位置更新公式:

(3)

系數(shù)向量:

【子棱生氣地扯下胸前的大紅綢，一屁股坐在椅子上，心煩意亂地拿起茶幾上的書，卻看不下去，索性把腳翹在扶手上，身子后仰，將書蓋在臉上。

A=2a·r1-a

(4)

C=2·r2

(5)

其中,t為迭代次數(shù),D是個(gè)體與獵間的距離向量,‘·’ 不是點(diǎn)積,是乘法,Xp是獵物位置向量,X為灰狼位置向量,a是收斂因子(隨迭代次數(shù)從2線性減小到0),r1和r2是隨機(jī)向量,模取[0,1]之間的隨機(jī)數(shù)。

當(dāng)灰狼識(shí)別出獵物的位置后,在α、β、δ的帶領(lǐng)下指導(dǎo)狼群包圍獵物。灰狼個(gè)體跟蹤獵物位置的數(shù)學(xué)模型描述如下:

(6)

其中,Dα,Dβ、Dδ分別表示α、β及δ與其他個(gè)體間的距離。Xα、Xβ、Xδ分別代表α、β及δ當(dāng)前的位置。C1、C2、C3是隨機(jī)向量,X是當(dāng)前灰狼的位置。

(7)

(8)

式(7)分別定義了狼群中ω個(gè)體朝向α、β及δ前進(jìn)的步長(zhǎng)與方向,式 (8) 定義了ω的最終位置。

在迭代過程中,a的值從2線性下降到0,對(duì)應(yīng)的A值在區(qū)間[-a,a]內(nèi)變化。C是[0,2]之間的隨機(jī)向量,表示狼所在的位置對(duì)獵物影響的隨機(jī)權(quán)重。

1.3 雙向長(zhǎng)短期記憶(BiLSTM)

雙向長(zhǎng)短期記憶是傳統(tǒng)長(zhǎng)短期記憶(LSTM)的擴(kuò)展,在輸入序列的所有時(shí)間步長(zhǎng)可用問題中,BiLSTM在輸入序列上訓(xùn)練兩個(gè)LSTM。雙向循環(huán)神經(jīng)網(wǎng)絡(luò)在隱藏層中的信息傳遞有兩種方式,即正向傳遞與反向傳遞相結(jié)合。在t時(shí)刻,正向傳遞的RNN單元與反向傳遞的RNN單元在BRNN的基礎(chǔ)上修改隱藏層神經(jīng)單元為L(zhǎng)STM單元,即得到BiLSTM,故前向 LSTM與后向LSTM組合得到BiLSTM模型結(jié)構(gòu)。BiLSTM 結(jié)合了BRNN與LSTM的優(yōu)勢(shì),具有長(zhǎng)期記憶能力,能夠同時(shí)存儲(chǔ)過去與未來(lái)的數(shù)據(jù)特征,保持輸入特征之間的依賴關(guān)系。

2 組合預(yù)測(cè)模型的構(gòu)建

2.1 模型步驟

將原始數(shù)據(jù)進(jìn)行預(yù)處理后,利用主成分分析算法對(duì)輸入變量進(jìn)行降維處置,利用灰狼優(yōu)化算法對(duì)雙向長(zhǎng)短期時(shí)間記憶模型進(jìn)行參數(shù)尋優(yōu),將得到處理后的數(shù)據(jù)與最優(yōu)超參數(shù)帶入到預(yù)測(cè)模型中,即得到PG-BiLSTM模型,具體步驟如下:

利用灰狼算法優(yōu)化BiLSTM模型,對(duì)于每個(gè)灰狼個(gè)體,使用適應(yīng)度函數(shù)評(píng)估其在訓(xùn)練數(shù)據(jù)上的性能,灰狼位置更新達(dá)到最大迭代次數(shù)或適應(yīng)度值收斂,選擇具有最佳適應(yīng)度值的灰狼個(gè)體作為最優(yōu)解。

測(cè)試和應(yīng)用。使用得到的最優(yōu)解(最佳超參數(shù)配置的雙向LSTM模型)在測(cè)試數(shù)據(jù)上進(jìn)行驗(yàn)證,并應(yīng)用于實(shí)際場(chǎng)景中的序列數(shù)據(jù)分析任務(wù),算法流程如圖1。

圖1 算法流程

圖2 各模型收斂曲線對(duì)比圖

2.2 評(píng)估指標(biāo)

使用絕百分比誤差MAE(預(yù)測(cè)值與觀測(cè)值之間絕對(duì)誤差的平均值)、均方誤差MSE(真實(shí)值與預(yù)測(cè)值的誤差的平方和的均值)及均方根誤差RMSE(預(yù)測(cè)值與觀測(cè)值之間殘差的樣本標(biāo)準(zhǔn)差)作為預(yù)測(cè)評(píng)估指標(biāo)[式(9～11)],誤差指標(biāo)值越小預(yù)測(cè)越準(zhǔn)確,模型性能越高。R2[式(12)]表示回歸直線對(duì)觀測(cè)數(shù)據(jù)的擬合程度,在[0,1]范圍內(nèi)越接近1,說(shuō)明擬合程度越好,反之就說(shuō)明越差。

(9)

(10)

(11)

(12)

3 算例結(jié)果與分析

選取某地區(qū)風(fēng)電場(chǎng)的風(fēng)功率數(shù)據(jù)作為數(shù)據(jù)組,數(shù)據(jù)選取時(shí)段為2015年2月1日00:00時(shí)至2 月28日23:50時(shí)及3月1日00:00時(shí)至3月31日23:50時(shí),風(fēng)功率采集間隔為10 min。以二月份為例,共4031行樣本數(shù)據(jù),其中前3225行為訓(xùn)練數(shù)據(jù)集,后806行為測(cè)試數(shù)據(jù)集,時(shí)間步為10,即用前22 d的風(fēng)功率訓(xùn)練模型對(duì)后6 d的風(fēng)功率數(shù)據(jù)進(jìn)行超短期預(yù)測(cè)擬合。

在實(shí)驗(yàn)仿真過程中分別建立LSTM、BiLSTM及GWO-BiLSTM 3種模型。

通過訓(xùn)練集的損失收斂曲線與測(cè)試集的損失收斂曲線對(duì)比線可以看出,3種模型都有著不錯(cuò)的預(yù)測(cè)能力,在模型損失方面,LSTM模型的損失高于BiLSTM模型、GWO-BiLSTM模型,GWO-BiLSTM模型的損失收斂速度更快。

LSTM、BiLSTM及GWO-BiLSTM仿真結(jié)果與相對(duì)誤差如圖3所示。

圖3 LSTM/BiLSTM/GWO-BiLSTM預(yù)測(cè)對(duì)比

預(yù)測(cè)結(jié)束后,將預(yù)測(cè)相對(duì)誤差分布進(jìn)行提取。提取另外4種誤差系數(shù),繪制表格對(duì)比分析,見表1。

由表1數(shù)據(jù)可知,GWO-BiLSTM構(gòu)建的模型相比傳統(tǒng)時(shí)間記憶網(wǎng)絡(luò)構(gòu)建的模型平均絕對(duì)誤差(MAE)、均方誤差(MSE)及均方根誤差(RMSE)都低于其他模型,決定系數(shù)(R2)高于其他模型。

表2是PG-BiLSTM模型在進(jìn)化代數(shù)、尋值步數(shù)及迭代次數(shù)一致的情況下,灰狼種群規(guī)模在4、10、20、30時(shí)不同評(píng)價(jià)指標(biāo)下預(yù)測(cè)的詳細(xì)誤差數(shù)據(jù)及模型擬合優(yōu)度R2的值,可以看到不同灰狼種群的數(shù)量尋優(yōu)出的不同參數(shù)對(duì)預(yù)測(cè)模型的損失所產(chǎn)生的影響呈現(xiàn)負(fù)相關(guān),即在一定范圍內(nèi)種群數(shù)量越大,模型損失越低,預(yù)測(cè)越準(zhǔn)確。

進(jìn)化代數(shù):灰狼優(yōu)化算法尋找最優(yōu)值的代數(shù)。尋值次數(shù):狼群縮小包圍圈所需要的步數(shù)。迭代次數(shù):預(yù)測(cè)模型進(jìn)行預(yù)測(cè)的代數(shù)。

灰狼優(yōu)化算法的進(jìn)化代數(shù)即尋優(yōu)代數(shù)在本實(shí)驗(yàn)中控制為10次。圖4是表2的對(duì)照實(shí)驗(yàn)中灰狼算法尋優(yōu)的收斂曲線,可見種群數(shù)量對(duì)收斂的速度并無(wú)太大影響,但其收斂精度有所提升。

圖4 各種群GWO尋優(yōu)收斂曲線

在本組實(shí)驗(yàn)仿真過程中未結(jié)合PCA的GWO-BiLSTM模型與結(jié)合PCA的GWO-BiLSTM模型進(jìn)行對(duì)比。

通過圖2訓(xùn)練集的損失收斂曲線與測(cè)試集的損失收斂曲線的對(duì)比線可以看出,兩種模型都有著不錯(cuò)的預(yù)測(cè)能力。在模型損失方面,GWO-BiLSTM模型的損失高于PG-BiLSTM模型,PG-BiLSTM模型的損失收斂速度也更快。仿真結(jié)果與相對(duì)誤差分布如圖5所示。

圖5 GWO-BiLSTM/PG-BiLSTM預(yù)測(cè)對(duì)比

預(yù)測(cè)結(jié)束后,將預(yù)測(cè)相對(duì)誤差分布圖進(jìn)行提取。提取另外4種誤差系數(shù),繪制表格對(duì)比分析,見表3。

表3 GWO-BiLSTM/PG-BiLSTM各迭代次數(shù)結(jié)果

由表3數(shù)據(jù)可知兩種優(yōu)化模型在不同迭代次數(shù)下的評(píng)價(jià)指標(biāo)對(duì)照,兩種模型在誤差指標(biāo)上均呈現(xiàn)良好的收斂趨勢(shì),迭代在30次或更少的迭代次數(shù)時(shí),GWO-BiLSTM模型的擬合優(yōu)度更高;迭代50次及以上時(shí),PG-BiLSTM模型預(yù)測(cè)的平均絕對(duì)誤差(MAE)、均方誤差(MSE)及均方根誤差(RMSE)都低于未使用PCA模型的模型,擬合優(yōu)度更高;迭代在70次時(shí),擬合優(yōu)度指標(biāo)R2已經(jīng)達(dá)到了0.99以上。

4 結(jié)論

為提高超短期風(fēng)功率預(yù)測(cè)的準(zhǔn)確性,提出一種基于灰狼優(yōu)化算法及主成分分析改進(jìn)雙向長(zhǎng)短期記憶的地區(qū)短期風(fēng)功率預(yù)測(cè)模型,對(duì)模型的性能及準(zhǔn)確率進(jìn)行了驗(yàn)證,得出結(jié)論如下:

GWO-BiLSTM模型預(yù)測(cè)精度要顯著高于LSTM模型與BiLSTM模型,經(jīng)灰狼優(yōu)化算法優(yōu)化的雙向長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)模型具有更好的預(yù)測(cè)精度及模型擬合優(yōu)度,可為風(fēng)電功率預(yù)測(cè)提供新的研究途徑。

PG-BiLSTM模型的預(yù)測(cè)精度在GWO-BiLSTM模型的基礎(chǔ)上再度提升,在面對(duì)風(fēng)力這種完全沒有線性可循的數(shù)據(jù)及數(shù)據(jù)維數(shù)較高的情況下,此模型具有最好的預(yù)測(cè)精度,能夠有效解決維度災(zāi)難問題,為其他領(lǐng)域數(shù)據(jù)使用時(shí)遇到維度災(zāi)難問題提供了有效的解決思路。

在研究預(yù)測(cè)問題的基礎(chǔ)上對(duì)灰狼算法進(jìn)行了初步的研究及應(yīng)用,可以看到,灰狼算法及早進(jìn)行了收斂,但模型的相關(guān)系數(shù)R2的數(shù)值也并非次次理想,故改進(jìn)灰狼算法使其貼合預(yù)測(cè)模型以達(dá)到更好的精度將是一個(gè)很好的研究方向。