基于CNN＿BiLSTM的長短期電力負荷預測方法

王 歡，李 鵬*，曹 敏，孫煜皓

(1. 云南大學信息學院，云南 昆明 650500；2. 云南電網有限責任公司電力科學研究院，云南 昆明 650217；3. 中科智能(深圳)科技有限公司，廣東 深圳 518000)

1 引言

隨著配電網的不斷發展，電力用戶負荷數據量劇增，數據具有較強的隨機性。此外，在配電網穩定運行的過程中，用戶負荷數據受到多種因素的影響。因此，用戶負荷數據具有隨機性和非平穩態特性。配電網的調度優化，能夠提高用戶負荷預測的準確率，用戶側與發電側的有效互動，能夠使柔性配電網更加安全穩定的運行。電力系統安全有效的運行，則必須制定合理的運行計劃和適當的調度方案，首要條件就是能夠做出準確的電力負荷預測[1-6]。由于電力負荷受到多種外部因素的影響，增加了電力負荷預測的難度[7-8]。

自20世紀40年代以來，各種時間序列預測方法逐漸被人們提出來。文獻[9]提出了一種組合預測模型，組合模型中應用了灰色理論模型，BP神經網絡模型。對預測日的特征量是否突變進行判定，最后判定應用的預測模型，結合兩種模型的預測優勢進行預測。文獻[10]介紹了一種實用的電力負荷預測模型構建方法，這種方法主要是基于負載時間序列的分解和分割，通過對負荷特征的統計分析，研究負荷噪聲的移動平均和概率圖等預測精度。文獻[11]提出一種基于時間序列編碼的相似日選擇和極限學習機(ELM)相結合的電力負荷預測方法。采用ELM進行預測，在算法執行過程中不需要調整網絡的輸入權值以及隱元的偏置，并且產生唯一的最優解。文獻[12]設計了一種基于氣象因素和日期類型的短期負荷預測方法，建立基于反向傳播神經網絡(BP ANN)的負荷預測模型。文獻[13]提出了一種基于模糊時間序列和卷積神經網絡的短時負荷預測方法，利用深度學習CNN模型提取相關的重要參數，利用模糊邏輯將時間序列的一維用模糊空間、頻譜和陰影表示。

本文基于電網負荷數據集，未來電力負荷受歷史負荷的影響和其它不同類型因素的影響。首先，針對不同類型的影響因素，本文將幾項影響因素時間序列耦合成一個新的時間序列作為網絡輸入[7]。其次，考慮到卷積神經網絡(CNN)挖掘信息的能力較強，雙向長短期記憶(BiLSTM)網絡可以提高模型在處理序列問題上的性能，本文建立了CNN＿BiLSTM負荷預測模型。最后，基于數據驅動的思想，建立了模型進行預測。由于在實際應用中對實時性要求較高，離線模型不能滿足工業現場的要求。因此，本文對離線模型進行改進，實現了在線多長預測。為了驗證模型的有效性，本文以歐洲互聯電網公開數據集提供的2014年12月31日至2017年5月16日的電力負荷數據為應用背景，并將其與支持向量回歸、K均值等方法進行比較。所得實驗結果表明，本文所提方法能有效地應用于實際的電力系統負荷預測。

2 基本理論

2.1 卷積神經網絡(CNN)

上世紀60年代，Hubel等人通過對貓視覺皮層細胞的研究，提出了感受野這個概念[14]。到80年代，Fukushima在感受野概念的基礎之上提出了神經認知機的概念，可以看作是卷積神經網絡的第一個實現網絡，神經認知機將一個視覺模式分解成許多子模式(特征)，然后進入分層遞階式相連的特征平面進行處理[15-17]。

2.2 單-雙向長短期記憶網絡模型(LSTM-BiLSTM)

循環神經網絡(RNN)存在梯度消失或者梯度爆炸問題，長短期記憶(LSTM)網絡把循環神經網絡中隱含層的模塊替換成長短期記憶的模塊，解決了上述問題。LSTM基本單元如圖1所示[18]。

圖1 長短期記憶模塊

LSTM網絡結構的基本單元中包含遺忘門、輸入門和輸出門。遺忘門確定前一個步長中哪些信息要保存；輸入門確定當前輸入中哪些信息需要被添加；輸出門確定下一個隱藏狀態是什么。計算公式如式(1)-(6)所示

Γf=σ(Wf[a，x]+bf)

(1)

Γu=σ(Wu[a，x]+bu)

(2)

(3)

Γo=σ(Wo[a，x]+bo)

(4)

(5)

a=Γo*tanh c

(6)

雙向長短期記憶網絡(BiLSTM)是長短期記憶網絡(LSTM)的一種擴展，可以提高模型處理序列問題的性能[18]。BiLSTM網絡優化過程如圖2所示。

圖2 BiLSTM優化過程

圖中，Wf為前向計算的權重，Wb為反向計算的權重。

3 基于CNN＿BiLSTM網絡的預測模型

3.1 CNN＿BiLSTM混合深度學習網絡

本文提出的CNN＿BiLSTM混合深度學習網絡基于電網負荷數據集建模。將CNN的挖掘能力和BiLSTM的時間序列預測能力相結合。通過對負荷數據進行分析可知，電力總負荷受到除歷史電力負荷外還受其它不同類型因素的影響[19]。因此，本文以歷史負荷、天氣因素、日期因素幾項時間序列作為網絡的輸入。電力負荷可以表達為式(7)所示的函數[20]。

Qt=[Wt，Tt，Qt-1]

(7)

式中：Qt為t時刻電力負荷；Wt為t時刻氣象因素引起的波動，在這里主要是溫度引起的波動；Tt為t時刻一些特殊事件帶來的波動，如節假日；Qt-1為t-1時刻的電力負荷。

圖3 CNN＿BiLSTM混合深度學習網絡結構圖

CNN＿BiLSTM混合深度學習網絡的網絡結構如圖3所示。氣象因素、日期因素為外部因素，用S表示；t時刻實際電力負荷用Y表示；t-1時刻的實際電力負荷用X表示，式(7)可以簡化為

Y=[S，X]

(8)

以下為對模型中對每一層的定義。

層1：BiLSTM網絡的輸入。假設輸入數據為N個歷史電力負荷數據X=[x1，x2，…，xN]，每個樣本Xtrain∈RN×1，即輸入為N×1階的矩陣。

層2和層3：BiLSTM層。設層2的輸入矩陣為Xtrain，t時刻層2和層3的輸出為H1和H2

H1=BiLSTM(ht-1，Xtrain，t)

(9)

H2=BiLSTM(ht-1，H1，t)

(10)

層3輸出可記為H，H∈RN×1。

層4：組合層。這一層包括BiLSTM的輸出矩陣H，還包括氣象因素，日期因素等特征。各項影響因素組成的特征用矩陣Strain表示，Strain∈RN×D，D為各項影響因素特征的維度。Strain與H共同作為第4層的輸入，通過concat函數將二者組合成一個新的矩陣X′，X′可表示為

X′=concat(ht，Strain)=[htStrain]

(11)

層5～層8：CNN層。層5的輸入矩陣為X′，層5～層8的輸出分別為H′3～H′6，H′3～H′6分別為N×H3、N×H4、N×H5、N×H6的矩陣，其中H3～H6分別為四個隱藏層的神經元數。層5～層8的輸出可表示為

H′3=CNN(X′)

(12)

H′4=CNN(H′3)

(13)

H′5=CNN(H′4)

(14)

H′6=CNN(H′5)

(15)

歷史負荷矩陣X為BiLSTM網絡的輸入矩陣；矩陣H為BiLSTM網絡的輸出矩陣；各項影響因素組成的矩陣S與輸出矩陣H連接為新的矩陣，作為CNN的輸入，通過全連接層得到預測輸出Y，矩陣Y代表未來幾個節點的負荷數據。

本文為CNN選取的激活函數為線性激活函數。

層6：全連接層。最后的預測輸出Y為M×1階矩陣，M為預測步長，預測輸出矩陣Y只有一列，即為電力負荷預測值，預測公式表示為

Y=DNN(H′6)

(16)

在訓練階段，每一輪訓練都根據評價指標來更新權重，通過反向傳播和權重更新不斷對模型進行優化。

以下給出了CNN＿BiLSTM預測的偽代碼。

算法：CNN＿BiLSTM預測算法

輸入：測試樣本集：X={(Xq，Xs)}

Xq=[q1，q2，…，qN]T

Xs=[[s11，…，s1D]，[s21，…，s2D]，…[sN1，…，sND]]

輸出：Y=[q1，q2，…，qM]T

Y為電力負荷預測值

Xq為電力負荷數據，Xs為影響因素數據

參數說明：

N-輸入數據長度，及矩陣函數

D-輸入影響因素維度，及矩陣列數

batch-批處理數據的大小

itr-迭代次數

M-預測輸出數據長度，及矩陣列數

01： 讀取樣本數據集data＿x=X，datay＿y=Y，初始化列表xq={}，xs={}，y={}；

02： 劃分訓練集和測試集，根據batch填充xq={}，xs={}，y={}

03：Fori=1，2，…，itrdo：

04： 數據經過兩層BiLSTM處理

h1=BiLSTM(batch，xq)

h2=BiLSTM(batch，h1)；

05：h2與xs組合為x′

x′=concat(h，xs)；

06： 經過4層CNN處理

h′3=CNN(x′)

h′4=CNN(h′3)

h′5=CNN(h′4)

h′6=CNN(h′5)；

07： 全連接層處理

y=DNN(h′6)；

08： 反向傳播；

09： End For

10： 結束程序

3.2 基于CNN＿BiLSTM網絡的在線多步預測模型

隨著國家經濟的不斷發展，對電力系統的可靠性要求越來越高。單步長預測并不能滿足工業現場的需要，對多步長預測的需求更為迫切。

本文對單步長預測進行改進，實現了多步長預測，最后基于數據驅動思想，本文建立了離線模型和在線模型進行預測。基于CNN＿BiLSTM網絡的在線多步預測模型如圖4所示，設預測步長為K。多步長預測是在單步長預測的基礎上，利用預測出來的數據預測未來的負荷值，考慮到預測精度，本文在單步長預測的基礎上預測未來五步負荷數據。

圖4 基于CNN＿BiLSTM網絡的在線多步預測模型

在本文中，首先通過歷史數據訓練模型，然后加入實時數據，利用訓練好的模型進行預測，每次預測后通過加入實時數據微調更新模型，實現了在線預測。

圖5 在線多步長預測模型

4 實例分析

歐洲互聯電網公開數據集提供了2014年12月31日至2017年5月16日的電力負荷數據與對應的溫度數據，一天采集24點，時間間隔為1小時。本文使用該數據集對模型進行實驗，并選擇SVR、、K-MEANS等方法進行實驗對比。本文從以下4個實驗對本文所提模型進行評價：

(a) 單因素單步長；

(b) 單因素多步長&多因素多步長；

(c) 離線學習與在線學習對比實驗；

(d) CNN＿BiLSTM與CNN＿LSTM對比實驗；

4.1 輸入特征選取與數據預處理

1)輸入特征選取

通過分析數據集的負荷特性，確定負荷預測輸入特征包括歷史負荷、預測時刻溫度、節假日、星期、時刻、月份。將負荷數據和溫度數據歸一化到[0，1]，并對節假日、星期、時刻、月份進行Onehot編碼處理。

2)數據標準化

本文采用Min-max進行標準化，Min-max也稱離差標準化(Min-Max Normalization)的方法對樣本集歸一化

(17)

式中：yg為歸一化后的數據，y為樣本集中的原始數據，ymin和ymax分別為y的最小值和最大值。

4.2 評價指標

為評估預測性能，設置平均絕對百分比誤差MAPE，均方根誤差(Root Mean Squared Error，RMSE)兩項為指標。如式(18)-(19)所示

(18)

(19)

4.3 單因素單步長

單因素實驗中，輸入特征僅包含歷史負荷數據。以下繪制了圖6，展示了不同方法在單因素單步長預測下的負荷對比曲線。由于實驗過程中數據較多，把全部預測結果繪制出來圖片有些雜亂，因此本文截取了片段進行說明分析。不同方法的精度對比如表1所示。

圖6 單因素單步長預測對比曲線片段截取

表1 單因素單步長預測精度對比(%)

4.4 單因素多步長&多因素多步長

多因素實驗中輸入特征包括歷史負荷和影響因素信息。本次實驗CNN＿BiLSTM 模型的輸入節點為前24個歷史負荷的信息以及未來5個時刻的影響因子信息，輸出節點為5個。每五步通過原始數據進行一次數據更新，以保證模型的穩定性。使用不同模型進行預測，當預測步長由1步到5步時的RMSE和MAPE如表2及表3所示。

表2 多因素變步長預測精度MAPE對比 (%)

表3 多因素變步長預測精度RMSE對比 (%)

不同模型在不同預測步長時的MAPE和RMSE變化如圖7所示。從表2及表3的精度對比可以看出，基于LSTM的Seq2Seq模型在單步長預測時效果較好，僅次于本文所提方法。通過與其它方法對比分析可知，本文所提方法預測精度較高。通過以上分析可以發現，本文所提方法將CNN的數據挖掘能力和BiLSTM的時間序列預測能力相結合是可行的。

圖7 多因素變步長預測MAPE與RMSE值

4.5 在線學習與離線學習

本文通過每一步預測結束后，對模型進行微調，實現了在線預測，提高了預測精度。在線學習與離線學習實驗時，本文選取的是多因素多步長的情況。對比曲線如圖8所示，精度對比如表4所示。

圖8 離線學習與在校學習對比曲線片段截取

表4 在線學習與離線學習精度對比(%)

4.6 CNN＿BiLSTM與CNN＿LSTM對比(在線學習)

本次實驗為CNN＿BiLSTM與CNN＿LSTM的對比實驗。CNN＿BiLSTM與CNN＿LSTM的預測精度對比如表5所示，對比曲線如圖9所示。

圖9 CNN＿BiLSTM與CNN＿LSTM的對比曲線片段截取

LSTM由于其設計的特點，非常適合用于對時序數據的建模。利用LSTM進行建模存在一個問題，無法編碼從后到前的信息，在預測過程中，預測結果需要由前面若干輸入和后面若干輸入共同決定，這樣會更加準確。因此，本文選擇了雙向長短期記憶網絡，即BiLSTM，BiLSTM在輸入序列上訓練兩個而不是一個LSTM，可以為網絡提供更多的信息，從而產生更快甚至更全面的學習。

表5 CNN＿BiLSTM與CNN＿LSTM對比精度對比(%)

5 結論

針對電力系統負荷預測日益提高的準確性要求，本文提出了一種基于CNN＿BiLSTM混合模型的長短期電力負荷在線預測方法。首先根據卷積神經網絡和雙向長短期記憶網絡的特點，建立了CNN＿BiLSTM負荷預測模型；其次，由于機器學習模型依賴于樣本的完備性，多種影響因素的存在會使原有模型與現有數據失配，本文建立了在線模型，使負荷預測中存在的非平穩態問題得到解決；最后，在實際電力負荷預測中，單步長并不能滿足工業現場的需要，對多步長預測的需求更為迫切。同時，在電力負荷預測過程中考慮到多種外部因素的影響，可以提高預測精度。通過與其它方法的比較實驗結果表明，本文所提方法在電力負荷預測方便具有可行性和預測準確性。