基于CNN-BIGRU-ATTENTION的短期電力負荷預測

方 娜，余俊杰，李俊曉，萬 暢

(1.湖北工業大學太陽能高效利用及儲能運行控制湖北省重點實驗室，湖北 武漢 430068；2.湖北工業大學湖北省電網智能控制與裝備工程技術研究中心，湖北 武漢 430068)

1 引言

短期負荷預測是維持電力系統經濟運行以及實現安全穩定控制不可或缺的基礎[1]，作為電力調度的重要環節之一，其結果直接影響決策部門的行為，預測偏差過大將導致能源浪費和供需失衡，提高短期電力負荷預測的準確性和預測模型的穩定性尤為重要[2]。

電力負荷預測的模型大致可以分為四類：統計模型、基于知識的專家系統、混合模型和基于人工智能的模型[3]，其中統計模型和人工智能模型逐漸成為負荷預測的主流。傳統統計模型包括指數平滑法(Exponential Smoothing)[4]、自回歸移動平均值(Auto Regressive Moving Average，ARMA)[5]和隱馬爾可夫模型(Hidden Markov Model，HMM)[6]等，通過分析數據之間的相關性進行負荷預測，這些統計方法簡單速度快，但存在局限性；另一類是基于人工智能的模型，包括人工神經網絡(Artificial Neural Network，ANN)[7]、循環神經網絡(Recurrent Neural Network，RNN)[8]、長短期記憶網絡(Long Short-term Memory，LSTM)[9-10]和門控循環單元(Gated Recurrent Unit，GRU)[11]等，其中ANN具有自學習能力，可逼近任何非線性函數，但其無法學習序列數據相關性，需人為選擇時間特征，可能會導致預測結果不理想。LSTM網絡是一種特殊的RNN，相比ANN和傳統RNN能更準確地學習時間序列中長期依賴性關系，解決了需要人工提取時序特征的問題，現階段已有一些基于LSTM網絡的短期負荷預測研究，但其存在收斂速度較慢的問題。GRU在LSTM的基礎上進行改進，優化神經網絡，具有更快的收斂速度，并保持與LSTM接近的準確率，十分適合處理時間序列數據。BIGRU[12]由雙向的GRU層構成，將前后輸入同時兼顧，能夠充分提取數據的所有信息，在GRU的基礎上提升特征提取的準確率。

因此為提高負荷預測精度，本文構建了一種基于注意力(ATTENTION)機制[13-14]的卷積神經網絡(CNN)[15-16]和BIGRU網絡的混合預測模型，簡稱CNN-BIGRU-ATTENTION網絡混合模型。該模型整合了CNN、BIGRU和ATTENTION模塊的各自特點，通過負荷預測的先驗知識，輸入負荷數據和電價數據，構造連續特征圖；然后利用CNN提取特征圖中時序數據之間的潛在關系，將處理后的特征向量作為BIGRU網絡的輸入；最后結合ATTENTION機制，進行動態時序建模，完成短期電力負荷預測。與僅使用BIGRU網絡模型相比，CNN-BIGRU-ATTENTION混合模型中使用CNN模型提取出較為重要的特征，且在BIGRU模型后加上ATTENTION模塊，突出經BIGRU分析后的重要時序特征，從而將模型中非重要特征的影響力削弱，解決了BIGRU模型未能較好區分時序特征重要程度的問題，進而提高了預測精度。

2 影響負荷預測的相關因素

傳統方法將短期負荷預測影響因素主要歸納為三類：最近負荷或相似日負荷、氣象信息、日期類型。但除了這些，也不可忽視實時波動的電價，用戶的用電行為會被電價的波動影響。同時，歷史負荷因其具有一定的周期性和規律性，在預測當前負荷值時，具有很好的參考價值。因此，本文選取電價及歷史負荷作為負荷預測的影響因素。

圖1是2016年丹麥西部兩日的負荷和電價曲線，其中負荷與電價數值差異過大，為此將負荷數據通過標準化轉為與電價數據的同樣數量等級，具體方式如下：

1)用成倍縮小法即將該特征的所有取值都同時除以某個數η

(1)

本文負荷數據均為千位，因此將η取100。

2)計算特征的均值(mean)與標準差(std)。

3)特征的標準化

(2)

從圖1可以看出，電價和負荷走勢大致相似，隨著負荷增加，電價也隨之增長；隨著負荷減少，電價也有減少的趨勢。由此可知，用戶在電價達到峰值時，會減少用電量，從而致使負荷減少；當負荷達到低谷時，也會通過降低電價的方式鼓勵用戶增加用電量。因此，在電力市場中電價和負荷存在著相互影響的關系。

圖1 電價與負荷曲線

同時，預測效果的提高和處理效率的提升與采用合理的階數有關。由于輸入序列的長短不能隨機選取，本文通過計算歷史負荷數據集的自相關系數來確定，歷史負荷數據為1小時取1負荷點。各階自相關系數(Autocorrelation Coefficient，AC)的大小可反映各滯后階狀態間的相關關系。AC越大，相關性越好；AC越小，相關性越差，其計算公式為

(3)

圖2是歷史負荷數據集自相關系數曲線圖，分別計算負荷序列滯后數為0階到500階的自相關系數。可看出數據集的自相關系數處于一種不斷震蕩的狀態，具有一定周期性，同時也可看出每段波形的波峰與波谷之間的相差滯后階數都十分接近，可知在這個滯后階數內，序列之間的自相關系數較高。因此，為保證模型輸入序列的整體的相關性較高，提升預測效果和處理效率，將輸入序列設定在此間隔階數以內。

圖2 歷史負荷數據集自相關系數曲線圖

3 CNN-BIGRU-ATTENTION混合模型

3.1 CNN模型

CNN模型主要由卷積層、池化層組成，文中根據序列長短和序列中特征位置，采用了一維卷積(1D-CNN)，簡稱Convd1。這種結構網絡模型簡單，可以減少權值數量。同時，可以直接將時間序列數據作為模型的輸入，因此特征提取和數據重構的復雜程度會有效降低。本文通過此模型來學習時序序列的特征，挖掘輸入數據之間的關系并從中消除噪聲及不穩定因素，最終將特征處理后傳入BIGRU網絡。

3.2 BIGRU模型

本文選擇的負荷影響因素為歷史數據和電價，這兩者之間互為關聯，且在同一時刻，歷史數據與電價對預測效果都有影響，同時BIGRU模型是由兩個GRU隱藏層共同組成的神經網絡結構，但這兩個隱藏層方向相反，在每一時刻都能接收到同一個輸入，因此為將特征向量提取的準確率提高，充分分析歷史數據和電價，本文選擇BIGRU網絡模型，其示意圖如圖3所示。

圖3 BIGRU示意圖

BIGRU網絡由以下公式定義得出

(4)

(5)

(6)

3.3 ATTENTION機制

ATTENTION機制是通過對特征向量分配不同的權重，對重要特征給予足夠的關注，忽略無關信息，從而來突出關鍵特征。在CNN和BIGRU對輸入數據分別進行特征提取和時序分析后，與之進行結合，其示意圖如圖4所示。

圖4 ATTENTION機制示意圖

計算公式如下：

C=Tanh(ht)

(7)

?=Softmax(wT·C)

(8)

α=ht·?T

(9)

式中，ht為BIGRU層輸出，wT為權重矩陣，α為ATTENTION層的輸出，最后結果由全連接層映射，得到預測結果。

3.4 CNN-BIGRU-ATTENTION模型

CNN-BIGRU-ATTENTION模型如圖5所示，模型分三部分，第一部分為CNN用于挖掘數據特征和消除噪聲及不穩定因素；第二部分為BIGRU，此網絡在GRU能捕獲時間序列長短期之間的依賴關系且收斂快、預測精度高的基礎上，通過正反兩個方向對特征向量進行提取，充分分析電價和負荷數據，進一步提高特征提取的準確率；第三部分為Attention機制，通過計算對BIGRU處理后的特征向量分配不同的權重，突出關鍵特征；最后由全連接層輸出最終預測結果。

圖5 CNN-BIGRU-ATTENTION模型結構圖

設計2層的CNN，內核大小均為4，第一層卷積核數目取64，補零策略為same，激活函數為指數線性單元(elu)，第二層卷積核數目取128，其余參數同上。選用最大值池化(MaxPooling，MP)，池化大小為2，步長為1，把變長的輸入整理成固定長度的輸入，保證特征的位置與旋轉的不變性，同時也減少模型參數數量和過擬合問題。

設置1層BIGRU能用較少的時間得到很好的效果，單元數設置為128，返回所有的隱藏狀態，再將其輸入Python語言編寫完成的Attention機制，進行計算，通過分配不同權重，將其中重要特征突顯出來，最后通過全連接層(Dense)，單元數為64，激活函數為Tanh，輸出指定時間預測值。

通過上述數據組合方式，即在訓練集中每n×2的輸入數據結構對應一個點，通過調用上述構建的模型預測對應點負荷值大小，采用損失函數為均方誤差函數，用Adam優化算法對模型參數進行優化，批次大小取512，訓練輪數為200，進而對模型整體進行訓練確定，最后在測試集中以同樣的數據組合方式通過訓練后的模型得到預測值，通過誤差指標評估模型。基于TensorFlow-GPU框架下設計網絡結構，調用Keras中的函數式模型，根據上述具體參數編寫代碼，進行仿真。

4 算例仿真及分析

數據集為2016年丹麥西部的電價與用電負荷，從2016年1月1日至2016年12月31日，一小時取1負荷點和電價，各8784條數據，取前90%作訓練，后10%做測試，在訓練集中取前n個點對應第n+1的點，即[x1，x2，…，xn]對應xn+1,[x2，x3，x4，…，xn+1]對應xn+2，依次對訓練集進行分割，測試集也做同樣處理。數據部分特征如圖1所示，構建的模型如圖5示。通過與BP模型，GRU模型，CNN-GRU模型，CNN-BIGRU模型和CNN-GRU-ATTENTION模型的仿真結果對比，驗證本文提出的CNN-BIGRU-ATTENTION模型的預測效果。

4.1 數據與處理

CNN-BIGRU-ATTENTION模型的輸入數據采用歷史負荷與電價構成的多維向量，歷史負荷與電價都是相互獨立的時間序列，為了表示這些影響負荷的特征信息，歷史負荷和電價在時間t1，t2，…，tn時兩兩串聯成向量，根據所取序列長度n，將其組合成n×2的向量矩陣，形成一組全新的數據結構，具體組合方式如圖6所示。

圖6 輸入數據結構

由于負荷與電價數據大小差異過大，為便于模型的訓練，均對其歸一化處理，方式如下

(10)

式中，x為原始值，xmax為極大值，xmin為極小值。

4.2 誤差指標

平均絕對百分誤差和均方根誤差分別表示為MAPE和RMSE，來評估預測結果，公式如下

(11)

(12)

式中，yl為預測值，yi為實際值，n為樣本數量。

4.3 仿真結果分析及對比

4.3.1 CNN和BIGRU模型參數選取

根據本文提出的CNN-BIGRU-ATTENTION混合模型，利用2016年丹麥西部的電價與用電負荷數據進行仿真。分別固定CNN和BIGRU參數，對CNN和BIGRU網絡層數的選取做出調整，通過MAPE的大小來判斷預測精度，仿真結果如表1、表2所示。從表中可以看出，適當增加CNN和BIGRU層數可提高預測精度，發現CNN層數在超過2層和BIGRU層數超過1層時，出現了過擬合的情況。因此，本文將CNN層數定為2層，BIGRU層數定為1層。

表1 CNN層數調整結果

表2 BIGRU層數調整結果

4.3.2 仿真結果對比

本文使用同樣的數據集，運用各種模型進行仿真，計算一天及一個月的平均百分誤差和均方差，結果如表3所示。表3中C代表CNN，B代表BIGRU，G代表GRU，A代表ATTENTION。在所有模型中，CNN-BIGRU-ATTENTION模型在12月27日這一天中平均百分誤差和均方差最低，分別為1.62%和55.3MWh；在一個月里CNN-BIGRU-ATTENTION模型取得最好的預測效果，其平均百分誤差比CNN-GRU-ATTENTION模型降低了0.31個百分點，均方差也最低，為50.9MWh。可知本文提出的方法，在精度指標相較于其它方法均有明顯的提升，預測精度更高，也更穩定。

表3 不同網絡模型的平均百分誤差和均方差

圖7為不同模型由同一測試集滾動預測所得到兩天(2016年11月27日、2016年11月28日)的負荷預測結果，從表3可明顯看出BP模型、GRU模型在某些時間段與真實值數值偏離過大，CNN-GRU、CNN-BIGRU、CNN-GRU-ATTENTION與CNN-BIGRU-ATTENTION模型的預測效果較好，與真實值的重合度較高。

圖7 不同網絡模型預測結果對比

由圖8可明顯看出，在部分時段，CNN-BIGRU模型在結合ATTENTION機制后預測效果得到提升。由圖9可看出，將CNN-GRU-ATTENTION模型中GRU網絡替換為BIGRU后，波峰和波谷位置均能更好地擬合真實曲線。

圖8 結合ATTENTION前后CNN-BIGRU模型預測結果對比

圖9 基于CNN-GRU-ATTENTION和CNN-BIGRU-ATTENTION模型預測結果對比

5 結束語

本文提出了一種基于CNN-BIGRU-ATTENTION混合模型的短期電力負荷預測方法。先利用CNN處理多維數據進行特征提取，再通過BIGRU網絡分析時序數據，最后結合ATTENTION機制賦予不同權值，通過建模完成短期電力負荷預測。該模型特點如下：

1)按時間滑動窗口構造連續特征圖作為輸入，充分發揮CNN模型對潛在特征向量的提取優勢，有效的挖掘數據中蘊含的更多信息。

2)將CNN處理后的特征向量，作為BIGRU網絡模型的輸入，通過BIGRU，負荷數據的時序性和復雜非線性關系可被較好地分析。

3)結合ATTENTION機制，計算BIGRU處理后的特征向量，給予不同權值，突出關鍵特征，進一步提高負荷預測精度。

4)CNN-BIGRU-ATTENTION網絡混合模型兼顧CNN模型和BIGRU網絡模型的特點，同時發揮了ATTENTION機制的作用。同傳統負荷預測方法相比，本文提出的CNN-BIGRU-ATTENTION網絡混合模型提高了短期負荷預測精度。