引入BL-Seq2seq模型進行負荷預測

徐先峰，王世鑫，龔 美，曹仰昱

(長安大學電子與控制工程學院，陜西 西安 710064)

1 引言

隨著電力系統的建立和發展，電能已經成為人類不可或缺的能源形式，負荷預測作為電力系統調度中的關鍵一環，是電網用電、規劃等管理部門的重要工作[1-2]。其中短期負荷預測可作為水電調度、發電機組控制、電廠、協調控制等電力計劃調度的重要理論依據。負荷預測精度越高，越能保證電力企業正確地對供電項目進行實時、及時的供電調度。短期電力負荷預測的模型主要分為兩類，經典統計模型[3]和數據驅動模型[4]。經典的統計模型由簡單的回歸函數構建，主要包括自回歸移動平均(ARMA)、廣義自回歸條件異方差(GARCH)等。除此之外，由積分函數改進的自回歸積滑動平均(ARIMA)[5]、自回歸條件異方差(GARCH)[6]以及基于核方法的分位數回歸[7-8]都用于電力負荷的預測。與經典統計模型相比，由人工智能算法建立的數據驅動模型更適合研究非線性關系。這些算法大大提高了電力負荷預測的準確性。例如，將雙向長短期記憶神經網絡(Bi-LSTM)[9]用于負荷預測時，可同時掌握歷史和未來的時間序列的負荷信息，能更精確的刻畫負荷預測曲線；序列到序列(Seq2seq)[10]網絡結構的編碼端能夠接收長度變化的數據信息，使模型在接收數據信息時愈加靈活，進行負荷預測時精度更高。

綜合上述優點，本文提出了一種基于多層Bi-LSTM的Seq2seq深度學習模型短期用電負荷預測算法，該算法結合了Bi-LSTM和Seq2seq的優點：對輸入數據進行編碼時，可在網絡末端輸出編碼后的最終狀態，其中Seq2seq的編碼端由多層Bi-LSTM組成；解碼時可將編碼端的最終狀態作為解碼端初始輸入狀態，其中Seq2seq解碼端為單層LSTM，同時將上一解碼端的輸出值作為下一解碼端的輸入值。基于實測數據的仿真結果表明，與深度信念網絡(DBN)、長短期記憶神經網絡(LSTM)以及門控遞歸單元(GRU)短期用電負荷預測模型相比，由雙向長短期記憶神經網絡構成的序列到序列模型(BL-Seq2seq)可以更好提升短期負荷預測精度。

2 BL-Seq2seq模型

基于多層Bi-LSTM的Seq2seq網絡模型結構如圖1。

圖1 多層Bi-LSTM的Seq2seq網絡模型圖

根據圖1可知，編碼端由多層Bi-LSTM組成，可使輸入數據進行編碼，使模型在接受輸入數據時更加靈活；BL-Seq2seq模型的解碼端由單層LSTM組成，目的是將編碼端的最終狀態作為初始輸入狀態，同時每一步的輸出值作為下一步的輸入值，使模型具有較強的魯棒性；最后在輸出端選用線性整流函數(ReLU)函數，可減少梯度消失和梯度爆炸現象的發生。本文接下來將重點分析BL-Sq2seq模型。

2.1 BL-Seq2seq模型編碼端

編碼端和解碼端結構由Cho等人在2014年提出名為Seq2seq的輸入與輸出不定長序列[11]。編碼過程是將輸入序列壓縮成指定長度的特征向量通過編碼器進行輸入，并將特征向量作為序列的語義。本文所提出的BL-Seq2seq算法選用Bi-LSTM作為編碼端。

Bi-LSTM是將一個前向的LSTM和一個后向的LSTM疊加在一起后連接到同一個輸出層，可分別處理同一序列的兩個方向[12]。利用Bi-LSTM作為短期用電負荷預測模型的編碼端能夠使輸入的歷史數據同時在一個正向的LSTM和一個反向的LSTM中進行，增加了LSTM模型對未來序列的學習能力，克服了LSTM只能處理歷史信息的缺點，確保模型能夠獲得完整時間序列前后文信息。Bi-LSTM結構如圖2。

圖2 Bi-LSTM結構圖

編碼使用如下方法

ht=f(xt，ht-1);c=?({h1，…hr})

(1)

式中：ht前時刻隱藏層狀態，ht-1一時刻隱藏層狀態，f活函數，xt前時刻輸入，c為特征向量。編碼過程如圖3。

圖3 編碼過程圖

2.2 BL-Seq2seq模型解碼端

BL-Seq2seq算法的解碼端將接收端最后狀態定義為初始狀態，并將解碼后的輸出值作為下一步的輸入值。解碼端由單層LSTM構成。

LSTM(Long Short Term Mermory Network)是由循環神經網絡(RNN)改進而成，改進后的LSTM解決了RNN模型無法應用于長序列的缺點，避免了梯度消失問題的發生，LSTM在RNN的基礎上給神經元增加了三個門，分別是遺忘門、輸入門和輸出門[13]。結構如圖4。

圖4 LSTM模型結構圖

每個LSTM單元包含一個在時間t內的存儲單元，該存儲單元通過輸入門、遺忘門和輸出門對數據進行存儲和修改。同時LSTM在每個時間步長內通過四個端子(即三個門和輸入端)接收兩個外部源(當前輸入和同一層中所有LSTM單元的先前隱藏狀態)的輸入。

LSTM的更新可以使用如下方法[14]

it=σ(WxiXt+Whiht-1+WciCt-1+bi)

(2)

式中，Wxi、Whi和Wci分別為輸入門當前輸入、同一隱藏層輸入和存儲單元權重矩陣，bi為入門偏置。

ft=σ(wxfXt+Whfht-1+WcfCt-1+bf)

(3)

式中：Wxf、Whf和Wcf分別為遺忘門當前輸入、同一隱藏層輸入和存儲單元權重矩陣，bf為遺忘門偏置。

ct=ftct-1+ittanh(WxcXt+Whcht-1+bc)

(4)

式中：Wxc、Whc為儲單元當前輸入、同一隱藏層輸入權重矩陣，bc儲單元偏置。

Ot=σ(WxoXt+Whoht-1+WcoCt+bo)

(5)

式中：Wxo、Who和Wco分別為輸出門當前輸入、同一隱藏層輸入和存儲單元權重矩陣，bo為輸出門偏置。

ht=ottanh(ct)

(6)

解碼過程如圖5。

然而由于指定長度的特征向量C對信息的數量有限制要求，當源序列長度增加時會導致Seq2seq模型的性能降低。為了解決此問題，本文選用Bahdanau等人提出的關注機制[15]。在關注機制中，解碼器可以嘗試在編碼器序列里尋找重要信息所處位置，并利用該信息同之前解碼的數據來預測該序列中的下一個標記，過程如圖6。

2.3 激活函數

根據文獻[16]可知，ReLU函數具有如下特點：

1)可有效解決梯度飽和問題；

2)使模型具有更好的魯棒性；

3)能夠訓練多層深度神經網絡。

為了避免模型產生梯度消失和梯度爆炸現象，本文在模型的輸出層選用ReLU函數，ReLU函數表達式使用如下方法

f(x)=max(0，x)

(7)

3 實例驗證

3.1 實驗運行環境及數據處理

本實驗基于美國洛杉磯的歷史用電負荷實測數據，利用深度學習算法對未來負荷進行預測。負荷數據為每1小時采樣一次，即一天24個數據采樣點[17]。輸入的數據因素包括日期和用電負荷量，采樣數據長度為自2016年1月1日0:00至2016年12月31日23:00，共8784個數據采樣點，并將最后5天，共計120個數據取出作為測試集，其余8664個數據作為訓練集[18]。本次實驗在Keras2.2.4，python3.6環境下運行。

由于通信故障或數據缺失等因素會導致用電負荷實測數據異常，進而影響預測精度。因此本文采用均值補缺失值的方法，來修正不良數據，補足缺失數據。

將數據修正后，采用min-max標準化方法將原始用電負荷實測數據進行線性變化，使數據范圍在[0，1]之間以保證數據的有效性，消除數據間量綱差異，提升負荷預測精度，具體使用如下方法

(8)

式中，x表示還未被處理的輸入值，y表示歸一化后的輸入值，max是輸入數據的最大值，min是輸入數據的最小值。

3.2 實驗性能評價指標

為了評估算法的性能，本實驗選取了三個性能評價指標，分別是平均絕對百分比誤差(MAPE)、標準均方根誤差(NRMSE)和平均絕對誤差(MAE)[19]。各評價指標表達式使用如下方法

(9)

式中：y～為負荷預測值，y為實測負荷值，N為測試數據集大小。

(10)

(11)

3.3 BL-Seq2seq參數設置和結構選取

對于BL-Seq2seq負荷預測模型來說，準確設置隱藏層層數和每個隱藏層單元數可提升預測精度，減少運算耗時，因此本文重點分析這兩個參數。

為了確定BL-Seq2seq最佳網絡結構模型，本文選用枚舉法逐層對隱藏單元數進行選取，首先確定第1層隱藏層單元數的最優值并保持不變；然后增加1層隱藏層，確定2層隱藏單元數的最優值并保持不變；依次類推，直到預測精度不再提升為止。不同網絡結構下BL-Seq2seq網絡結構的預測性能見表1。

表1 BL-Seq2seq模型編碼端不同結構時預測性能

在確定編碼端每層隱藏單元數時，分別設置為20、40、60、80四個級別。隱藏層的層數依次設置為1，2，3層，選用MAPE作為性能評價指標，由表1可知，當第1層隱藏單元設置為40個時，MAPE取得最小值為0.0193，當第2層隱藏單元設置為60個時，MAPE取得最小值為0.0188，當第3層隱藏單元設置為60個時，MAPE取得最小值0.0190。由此可知，對于該數據集，BL-Seq2seq模型編碼端采用2層Bi-LSTM結構，解碼端由經過選取由單層LSTM組成。

針對上述不同模型結構所得到的負荷預測結果對比圖如圖8、圖9和圖10。

圖8 第一層結構對比局部放大圖

圖9 第二層結構對比局部放大圖

圖10 第三層結構對比局部放大圖

同時，為了防止模型訓練中出現過擬合現象，本文引入Dropout機制，以增強模型的泛化律，在某種程度上達到正則化效果，阻止了過擬合現象的發生[20]。為了使模型呈現最優效果，選用Adam優化器自動尋找學習率的值，找出最優解。相應的參數設置見表2。

表2 參數設置

3.4 結果對比

為了突出BL-Seq2seq算法的優勢，本文選用3.1節所有數據集，并將后5天，共計120個點的數據用作測試集，依次選取DBN網絡[21]、LSTM網絡[22]、GRU網絡[23](DBN、LSTM、GRU模型參數選取參照文獻[21-23])展開對比實驗(其中Observed為用電負荷實測數據，Predicted-DBN為DBN網絡預測結果，Predicted-LSTM為LSTM網絡預測結果，Predicted-GRU為GRU網絡預測結果，PredictedBL-Seq2seq為BL-Seq2seq網絡預測結果)，預測結果如圖11，預測數據見表3。

圖11 四種網絡模型預測結果對比圖

表3 模型預測結果對比表格

根據表3可以直觀的看出，與DBN、GRU和LSTM模型相比，BL-Seq2seq模型的MAPE分別降低了0.049、0.01和0.007，NRMSE分別降低了0.038、0.011和0.009，MAE分別降低了24.88、0.96和0.95，預測精度最高。此外，結合圖11可以發現，DBN、LSTM、GRU等模型在峰谷值預測點、時間序列突變點處擬合程度較低，而BL-Seq2seq模型能夠在很大程度上改善這一缺陷，展示出較好的預測效果。

4 結論

本文利用深度學習方法實現了短期電力負荷預測，將歷史用電負荷實測數據通過Bi-LSTM神經網絡輸入，并與Seq2seq模型相結合，最終得到了高精度負荷預測模型。結果顯示，當針對MAPE、NRMSE及MAE等性能指標進行評估時，性能明顯提升，證實所提算法可更好的提升負荷預測精度。