結(jié)合注意力機(jī)制的BiLSTM電力負(fù)荷預(yù)測(cè)

秦昊禹，董 陽(yáng)，丁浩申

（1.中國(guó)民航機(jī)場(chǎng)建設(shè)集團(tuán)，北京 101300；2.中國(guó)民航信息網(wǎng)絡(luò)股份有限公司，北京 101318）

隨著我國(guó)能源發(fā)展進(jìn)入新時(shí)代，促進(jìn)能源合理配置成為重要任務(wù)之一[1]。電力負(fù)荷的預(yù)測(cè)可以歸結(jié)為時(shí)間序列問題，近些年，國(guó)內(nèi)外學(xué)者針對(duì)時(shí)間序列模型的研究和應(yīng)用非常廣泛，相關(guān)內(nèi)容大致可分為三類。第一類是基于統(tǒng)計(jì)學(xué)模型的預(yù)測(cè)方法，其中比較常見的是積分整合移動(dòng)平均自回歸（Autoregressive Integrated Moving Average，ARIMA）模型及其變體[2-3]。該類方法的優(yōu)勢(shì)在于其可解釋性較強(qiáng)，且在建模時(shí)不需要大量數(shù)據(jù)，但很難應(yīng)對(duì)隨機(jī)性較強(qiáng)且具有非線性變化特點(diǎn)的短期電力負(fù)荷數(shù)據(jù)。第二類是淺層機(jī)器學(xué)習(xí)類算法。淺層機(jī)器學(xué)習(xí)方法中的代表是支持向量回歸（Support Vector Regression，SVR）算法[4-5]，該類方法使用淺層的神經(jīng)網(wǎng)絡(luò)，盡管可以在一定程度上應(yīng)對(duì)數(shù)據(jù)的非線性變化，但依然難以準(zhǔn)確學(xué)習(xí)復(fù)雜的數(shù)據(jù)特征。第三類是近年來快速發(fā)展的深度學(xué)習(xí)類的方法[6-7]，相比而言，選擇深度學(xué)習(xí)類方法進(jìn)行預(yù)測(cè)時(shí)，能夠通過深層的神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)更復(fù)雜的非線性變化，實(shí)現(xiàn)更精準(zhǔn)的預(yù)測(cè)。因此，本文提出一種融合注意力機(jī)制（Attention Mechanism）的BiLSTM-Attention模型，以提高模型對(duì)非線性數(shù)據(jù)的特征提取能力。

1 模型基本原理

模型的結(jié)構(gòu)如圖1所示。

圖1 模型結(jié)構(gòu)圖

2 數(shù)據(jù)處理及評(píng)價(jià)標(biāo)準(zhǔn)

2.1 數(shù)據(jù)處理

本文所用數(shù)據(jù)選自某地區(qū)2009年1月1日—2015年1月8日的電力負(fù)荷數(shù)值。在數(shù)據(jù)處理方面，首先將數(shù)據(jù)按照7個(gè)步長(zhǎng)（每個(gè)步長(zhǎng)為1天）進(jìn)行切片，得到維度的張量作為輸入數(shù)據(jù)。將輸入數(shù)據(jù)分為訓(xùn)練集和測(cè)試集，其中，訓(xùn)練集共2 000條，測(cè)試集193條。

為了提升模型的訓(xùn)練效果，減少數(shù)據(jù)波動(dòng)較大產(chǎn)生的影響，本文采用z-score標(biāo)準(zhǔn)化的數(shù)據(jù)處理方法，具體公式如下：

2.2 評(píng)價(jià)標(biāo)準(zhǔn)

本文的評(píng)價(jià)標(biāo)準(zhǔn)采用平均絕對(duì)誤差（Mean Absolute Error，MAE）、均方根差（Root Mean Square Error，RMSE）和平均絕對(duì)百分比誤差（Mean Absolute Percentage Error，MAPE）。三種誤差指標(biāo)的計(jì)算方法如式（5）所示：

RMSE誤差計(jì)算方法如式（6）所示：

MAPE誤差計(jì)算方法如式（7）所示：

3 實(shí)驗(yàn)分析

本文選取了3種基準(zhǔn)方法進(jìn)行對(duì)比，對(duì)比的評(píng)價(jià)標(biāo)準(zhǔn)包括MAE、RMSE和MAPE，得到結(jié)果如表1所示。

表1 實(shí)驗(yàn)結(jié)果對(duì)比

由表1可以看出，本文提出的模型MAE、RMSE和MAPE誤差均優(yōu)于對(duì)比的模型。

最終的電力負(fù)荷預(yù)測(cè)結(jié)果如圖2所示，可以看出，本文提出的模型與真實(shí)值更為接近，尤其在數(shù)據(jù)波動(dòng)較大的情況下，本文提出的模型能夠更好地預(yù)測(cè)變化趨勢(shì)。

圖2 電力負(fù)荷預(yù)測(cè)結(jié)果對(duì)比圖

4 結(jié)束語(yǔ)

本文針對(duì)電力負(fù)荷預(yù)測(cè)中，以往方法存在關(guān)鍵特征提取能力不強(qiáng)導(dǎo)致的精度不足問題進(jìn)行研究，在BiLSTM模型的基礎(chǔ)上，增加了注意力機(jī)制，構(gòu)建了BiLSTM-Attention模型，增強(qiáng)了模型的特征提取能力。實(shí)驗(yàn)結(jié)果表明，在面對(duì)電力負(fù)荷出現(xiàn)多次波動(dòng)的情況下，本文所設(shè)計(jì)的預(yù)測(cè)模型依然能夠達(dá)到更精確的預(yù)測(cè)效果。與幾種常規(guī)的時(shí)間序列預(yù)測(cè)模型進(jìn)行對(duì)比，本文提出的模型誤差更小，更加接近真實(shí)值。