基于ESMD-PE和ADBN的短期電力負荷預(yù)測

王國娟，冷建偉

(天津理工大學(xué) 電氣電子工程學(xué)院， 天津 300384)

0 引 言

電力負荷預(yù)測在電力系統(tǒng)安全經(jīng)濟運行方面發(fā)揮了不可替代的作用，為了保障供給用戶的電能質(zhì)量的可靠性和達到降低供電成本的目的，短期電力負荷研究十分關(guān)鍵。目前，短期電力負荷預(yù)測的常見方法主要有人工神經(jīng)網(wǎng)絡(luò)法(ANN)、支持向量機法(SVM)、模糊理論法等。盡管對電力負荷進行預(yù)測的方法很多，但伴隨著研究的深入，各種方法的局限性也逐漸被發(fā)現(xiàn)。因此很多學(xué)者提出采用組合預(yù)測模型將單一算法取長補短，進行融合，預(yù)測效果更佳。如在一定時期內(nèi)，負荷序列會隨影響因素而發(fā)生波動，文獻[1]提出了一種基于BP神經(jīng)網(wǎng)絡(luò)和灰色理論模型的短期電力負荷預(yù)測模型，灰色理論預(yù)測模型預(yù)測平穩(wěn)序列，BP神經(jīng)網(wǎng)絡(luò)預(yù)測非平穩(wěn)序列，充分發(fā)揮兩個模型的優(yōu)勢，提高了預(yù)測精度；文獻[2]提出將特征選擇與優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的組合模型，提升了預(yù)測效果。組合預(yù)測模型中還有一種串聯(lián)模型，一般從原始序列入手，先對原始負荷序列進行信號處理，得到多個子序列，對其分別建模，疊加預(yù)測結(jié)果。

常用的信號處理方法有小波變換、傅里葉變換、經(jīng)驗?zāi)B(tài)分解(EMD)等。文獻[3]提出了一種基于氣象成分分解的短期負荷預(yù)測模型，優(yōu)化了模型輸入。文獻[4]提出了一種基于VMD和PSO優(yōu)化深度信念網(wǎng)絡(luò)的模型，改善了分解效果。由于EMD分解后易出現(xiàn)模態(tài)混疊現(xiàn)象且高頻分量包含大量噪聲，文獻[5]提出了CEEMDAN算法,通過在分解的每一階段添加自適應(yīng)的白噪聲來改善這一問題，但是若不能同預(yù)測模型有效匹配，不僅會增加計算量，也不能完全消除模態(tài)混疊現(xiàn)象，具有一定的局限性。文獻[6-7]提出了ESMD分解法將EMD算法中外部包絡(luò)線插值法替換為直接插值法，并從信號特征入手，將最優(yōu)自適應(yīng)全局曲線概念引入到模型中，自適應(yīng)地進行時頻分解，以此來獲得各模態(tài)函數(shù)的最優(yōu)分解次數(shù)，時間序列的趨勢變化和波動特征更加明顯。針對在信號分解過程中會產(chǎn)生一系列特征相似的IMF分量的問題，文獻[8]提出了基于樣本熵的IMF分量重構(gòu)方法。但是，樣本熵具有處理短時間序列會產(chǎn)生不準確估計的局限性，因此，文章提出運用排列熵(PE)解決這一問題。

文章以深度學(xué)習(xí)思想為基礎(chǔ)的深度置信網(wǎng)絡(luò)(DBN)作為預(yù)測模型，在傳統(tǒng)模型預(yù)訓(xùn)練階段通常使用一個全局統(tǒng)一的學(xué)習(xí)率，但這個參數(shù)并不一定適用于所有參數(shù)的調(diào)整速率，考慮主要由對比散度(CD)算法來進行預(yù)訓(xùn)練，因此文獻[9-10]提出將CD算法改進為以連續(xù)兩次狀態(tài)采樣的變化趨勢為依據(jù)的可以自適應(yīng)地調(diào)整學(xué)習(xí)率大小的算法，來提升DBN的訓(xùn)練效率。

文章綜合了ESMD-PE方法和自適應(yīng)學(xué)習(xí)率優(yōu)化的DBN模型的優(yōu)點，建立的ESMD-PE-ADBN 模型可以提升預(yù)測結(jié)果的可靠性。

1 ESMD-PE方法基本原理

1.1 ESMD算法

ESMD 方法通常由兩部分組成:第一部分是將負荷序列分解為一系列IMF分量，得到一條最優(yōu)全局自適應(yīng)均線；第二部分是時-頻分析，對固有模態(tài)的瞬時頻率運用直接插值法進行計算，分析各時間尺度上的頻率改變，確定發(fā)生突變的時間。ESMD方法分解過程如下:

(1)標出序列的全部極值點，記作Ei(1≤i≤n)；

(2)將所有相鄰的極點用線段相連并依次將線段中點記為Fi(1≤i≤n-1)，并在左右兩端增補邊界中點Fn和F0；

(3)利用n+1個中點構(gòu)建p條內(nèi)插曲線L1，L2，……，Lp(p=1，2，……，),并計算它們的均值：

L*=(L1+L2+……+LP)/p

(1)

(4)令X-L*，反復(fù)進行上述3個步驟或當(dāng)篩選次數(shù)能夠取到最大值K，直到|L*|≤ε(ε為允許誤差)，可得首個模態(tài)分量IMF1；

(5)對余下序列X-IMF1重復(fù)上述4個步驟，當(dāng)剩余序列R僅剩一定數(shù)量的極點，可得經(jīng)驗?zāi)MF2，IMF3，…;

(6)修改限定區(qū)間[Kmax，Kmin]內(nèi)的最大篩選次數(shù)K值，反復(fù)進行上述 5個步驟。然后計算方差比率σ/σ0，并繪制其隨K的變化圖，找出σ/σ0最小值對應(yīng)的K0，以K0為限制條件再重復(fù)上述5個步驟，最后將剩余項R作為序列X的自適應(yīng)全局均線。

經(jīng)過上述分解，可用X=∑IMFi+R表示原始的時間序列X，即運用ESMD算法將時間序列X分解成了一個剩余變量和一系列經(jīng)驗?zāi)B(tài)分量。

在分時-頻分析中，由于原本的希爾伯特變換將本來離散的信號轉(zhuǎn)換成解析函數(shù)處理，這種方式難免要受數(shù)學(xué)概念的制約。對離散數(shù)據(jù)，其分析過程中要保留其離散特性，所以針對數(shù)據(jù)提出了“直接插值法”，既能體現(xiàn)頻率時變特性觀察到模態(tài)函數(shù)的振幅，也能夠獲得總體能量的波動。直接插值法基本思路如下:

(1)找到極值點中的每兩個相鄰極值點，計算兩個點間的時間差；

(2)這些時間段可被看作局部周期并賦值于中點，繪制時間-周期對應(yīng)點圖；

(3)局部頻率可通過這些局部周期值取倒數(shù)得到，光滑的時間-頻率變化曲線可通過再做三次樣條插值得到。

1.2 排列熵(PE)

針對ESMD分解產(chǎn)生的IMF分量中部分存在復(fù)雜度相近的情況，文章采用排列熵(Permutation Entropy，PE)對各IMF分量的復(fù)雜程度進行熵值計算，將熵值相似序列進行重構(gòu)，可提高模型預(yù)測速度，提升整體模型魯棒性。將時間序列{Xi，i=1，2，…，N}重構(gòu)可得得矩陣：

(2)

式中j=1，2，…，K；嵌入維數(shù)由m表示；重構(gòu)向量數(shù)目由K表示；時間延遲由τ表示。

重構(gòu)向量由矩陣中的行代表，比較數(shù)值大小，將重構(gòu)分量按照升序重新排列，列可用j1，j2，…，jm表示。

如果重構(gòu)分量中兩元素的值相同，則根據(jù)元素所在的列j1，j2的大小確定順序。因此重構(gòu)后X(i)得到矩陣S(l)=(j1，j2，…，jm)。

式中l(wèi)=1，2，…，K，且K≤m!，m個不同的符號[j1,j2,…,jm]共有m!種不同的排列，S(l)為m!種符號序列之一。如果每個符號序列出現(xiàn)的概率分別為P1，P2，…，Pk，則時間序列X(i)的PE定義為：

(3)

PE值的計算可以將序列X(i)的復(fù)雜程度量化，通過對比各模態(tài)熵值的大小來對比各自的復(fù)雜程度。PE對各IMF分量復(fù)雜程度的體現(xiàn)，為之后 IMF分量的重構(gòu)以及建模的簡化提供了理論依據(jù)。

2 自適應(yīng)深度信念網(wǎng)絡(luò)

深度信念網(wǎng)絡(luò)(Deep Belief Network，DBN)由Geoffrey Hinton 在2006年提出，學(xué)習(xí)過程主要分為兩個階段：第一階段為預(yù)訓(xùn)練階段，通常采用CD算法對全部RBM進行無監(jiān)督訓(xùn)練；第二階段為微調(diào)階段，將網(wǎng)絡(luò)展開為一個前向型網(wǎng)絡(luò)，然后對整個網(wǎng)絡(luò)權(quán)值進行有監(jiān)督的微調(diào)，運用的是誤差反傳方法[11]。

2.1 無監(jiān)督訓(xùn)練

RBM是 DBN 網(wǎng)絡(luò)的基本組成，多個 RBM 堆疊起來可以構(gòu)成一個DBN模型。RBM由顯層和隱層2層神經(jīng)元構(gòu)成，層間的連接彼此對稱，且相同層內(nèi)無連接。RBM的基本結(jié)構(gòu)如圖1所示。

圖1 RBM結(jié)構(gòu)模型

RBM 的訓(xùn)練方法通常采用 CD 算法。一個 RBM中，隱含層狀態(tài)由h表示，顯層狀態(tài)由v表示。模型參數(shù)θ={ωR，a，b}給定，可用E(v，h；θ)表示聯(lián)合概率分布P(v，h；θ)：

(4)

式中Z=∑v，he-E(v，h；θ)為歸一化因子。

RBM能量函數(shù)可定義為：

(5)

其中顯隱層間的連接權(quán)值由w表示，可見層偏置由a表示；隱藏層偏置由b表示。顯隱層間的條件激活概率概率為:

(6)

(7)

若訓(xùn)練樣本個數(shù)為T，式(8)表示參數(shù)θ的最優(yōu)值：

(8)

在 RBM訓(xùn)練的過程中，倘若樣本數(shù)據(jù)量很大，為了使采集到的樣本符合目標分布，在訓(xùn)練RBM的時候采用傳統(tǒng)方法，則訓(xùn)練速度將會十分緩慢。因此Hinton 教授提出了CD 算法用于 RBM 的訓(xùn)練抽樣。此后，CD 算法成了訓(xùn)練 RBM的標準抽樣方法。該算法利用利用式(6)、式(7)計算顯元和隱元被激活的概率并帶入 RBM 模型進行參數(shù)更新。

2.2 自適應(yīng)學(xué)習(xí)率

在RBM 的快速學(xué)習(xí)過程中，通常采用對比散度算法(Contrastive Divergence，CD)。CD算法會對所有構(gòu)成DBN結(jié)構(gòu)的RBM逐個進行無監(jiān)督訓(xùn)練。各參數(shù)的更新準則如下：

Wij=Wij+η(data-recon)

(9)

ai=ai+η(data-recon)

(10)

bj=bj+η(data-recon)

(11)

式中η為DBN的學(xué)習(xí)率; <*>data為數(shù)據(jù)分布期望;<*>recon為重構(gòu)后的模型分布期望; <*>data-<*>recon為二者的散度差; data為狀態(tài)hj和狀態(tài)vi同時被激活的期望; recon為在狀態(tài)hj和狀態(tài)vi時把重建的數(shù)據(jù)呈現(xiàn)給可見單元時對應(yīng)的期望。

為了提高DBN模型的收斂速度，在RBM訓(xùn)練的過程中，可以根據(jù)CD算法中參數(shù)每次迭代方向的異同得到一個第i個顯單元狀態(tài)和第j個隱單元狀態(tài)時的自適應(yīng)學(xué)習(xí)率ηij，將傳統(tǒng)DBN中的全局學(xué)習(xí)率η替換為一個能夠動態(tài)變化的學(xué)習(xí)率。

(12)

(13)

2.3 深度信念網(wǎng)絡(luò)結(jié)構(gòu)

DBN預(yù)測模型的結(jié)構(gòu)如圖2所示，可見層是用來接受輸入信號，隱藏層用來提取特征，RBM通過無監(jiān)督學(xué)習(xí)自動找到研究問題的最佳特征；DBN的最后一層一般采用BP網(wǎng)絡(luò)，接收RBM的輸出特征向量作為該層的輸入，反向傳播網(wǎng)絡(luò)對整個模型進行參數(shù)調(diào)整。

3 ESMD-PE-ADBN組合預(yù)測模型

由于經(jīng)濟、氣象、日期等因素的不同對電力負荷值造成的影響也不盡相同，但是人類生產(chǎn)生活的周期性使得用電負荷也具備一定的規(guī)律性。為了準確分析負荷的變化規(guī)律，文章提出了一種基于ESMD-PE方法和自適應(yīng)深度信念網(wǎng)絡(luò)的組合模型,如圖3所示。首先對短期負荷數(shù)據(jù)進行預(yù)處理，其次通過ESMD方法將短期負荷序列分解為若干模態(tài)分量并進行統(tǒng)計分析，采用排列熵重構(gòu)得到新分量；針對DBN模型存在著自適應(yīng)能力差的問題，在短期電力負荷預(yù)測過程中提出了一種能夠自適應(yīng)調(diào)整學(xué)習(xí)速率的DBN網(wǎng)絡(luò)預(yù)測模型-ADBN網(wǎng)絡(luò)(Adaptive Deep Belief Networks)，該模型采用一種自適應(yīng)學(xué)習(xí)率尋優(yōu)策略來求得最優(yōu)學(xué)習(xí)率，避免了固定經(jīng)驗式的學(xué)習(xí)率，能夠從收斂速度和預(yù)測精度兩方面提高DBN模型的預(yù)測效果。

4 算例分析

4.1 數(shù)據(jù)來源及預(yù)處理

選用第九屆電工數(shù)學(xué)建模競賽數(shù)據(jù)2014年6月18日～2014年8月16日每天的整點時刻的電力負荷數(shù)據(jù)為數(shù)據(jù)集，建立BP、DBN、ESMD-PE-DBN及ESMD-PE-ADBN用戶負荷預(yù)測模型，對2014年8月17日整點負荷進行預(yù)測，并對比不同模型的預(yù)測精度，以驗證文章模型有效性。仿真軟件為MATLAB R2014a。

在選擇輸入變量時，需考慮影響因素與輸出變量間的相關(guān)性，可通過歸一化處理消除物理量綱的不同，公式如下：

(14)

4.2 原始負荷序列的分解重構(gòu)

經(jīng)ESMD算法分解用戶時間負荷序列得到的結(jié)果，由圖4可見，原始負荷序列被分解為IMF1、IMF2、IMF3、IMF4、IMF5共5個模態(tài)函數(shù)和一個余量序列R。

圖4 ESMD分解結(jié)果

為了減少建模重復(fù)工作，文章采用排列熵計算各模態(tài)函數(shù)排列熵值并根據(jù)熵值大小對各模態(tài)函數(shù)進行重構(gòu)處理。經(jīng)試驗，延遲時間τ=1，嵌入維數(shù)m=4 時各IMF分量熵值變化明顯，圖5為各序列熵值分布。

圖5 各IMF分量排列熵值

隨著各子序列頻率的降低，排列熵值呈現(xiàn)逐漸減小的趨勢，且部分相鄰子序列的熵值相差不大，由圖5可知IMF3與IMF4，IMF5與R熵值近似，因此為了減少計算規(guī)模，對相鄰排列熵值相差較小的IMF進行疊加，結(jié)果如表1所示，重構(gòu)后的子序列如圖6所示。

表1 各分量重組結(jié)果

圖6 IMF分量重構(gòu)結(jié)果

序列 1計算后平均周期為8.34 h，反映出一天當(dāng)中人們工作時間和非工作時間用電規(guī)律的不同，該序列具有一定的波動性和隨機性；序列2平均周期為24.7 h，該序列反映了以天為單位的用電量的變化；序列3體現(xiàn)出了比較明顯的規(guī)律性，且大致的波動周期為一周;序列4波動較平緩，體現(xiàn)了整體序列的變化趨勢走向，可以將其看作趨勢分量。

4.3 確定輸入

分別對各模態(tài)函數(shù)建立DBN預(yù)測模型。除了日期類型之外，為了確定其余對文章負荷序列產(chǎn)生主要影響的因素作為輸入，對濕度、溫度、降雨量同重構(gòu)后的四個IMF分量進行了Pearson相關(guān)性分析，其中日平均溫度對序列影響最大。因此，預(yù)測模型輸入也包含了日平均溫度和日期類型信息，具體如表2所示，其中字母t和字母d表示d天t時的負荷值，日期類型由Dtype表示，1～7代表周一～周日，日平均溫度由T(d)表示。

表2 各重構(gòu)分量輸入選擇

4.4 評價指標

文章的預(yù)測結(jié)果評價指標選用RMSE(均方根誤差)和MAPE(平均絕對百分比誤差)，定義如下:

(15)

(16)

4.5 實驗結(jié)果分析

文章使用BP、DBN模型直接對原始負荷序列進行預(yù)測，BP網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)為15-28-1；DBN網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)為15-28-15-1，其中RBM 學(xué)習(xí)率設(shè)置為0.1，迭代850次；之后采用 ESMD-PE方法對電力負荷數(shù)據(jù)進行分解重構(gòu)，形成了四個特征互異的子序列，之后再加上溫度、日期類型影響因素，對各子序列分別構(gòu)造ESMD-PE-DBN、ESMD-PE-ADBN模型并進行相應(yīng)模型訓(xùn)練，模型結(jié)構(gòu)參數(shù)依次為9-21-15-1、9-15-8-1、8-13-5-1、12-25-20-1，最終疊加預(yù)測結(jié)果同原始負荷曲線進行比較。

為了體現(xiàn)自適應(yīng)學(xué)習(xí)率對模型預(yù)測性能的影響，將固定學(xué)習(xí)率的DBN模型和ADBN模型的預(yù)測效果進行對比，其中ADBN模型的增量系數(shù)a和減量系數(shù)b分別為1.4和0.7，各模型的節(jié)點數(shù)和隱藏層相同，對比結(jié)果如表3所示，結(jié)果表明ADBN模型的收斂速度更快，預(yù)測準確率也更高。

由圖7、表4可以看出，DBN模型的各項評價指標均優(yōu)于BP預(yù)測模型，MAPE值和RMSE值分別降低29.63%和18.84%，主要是因為DBN模型克服了BP 神經(jīng)網(wǎng)絡(luò)隱含層只有一層，對訓(xùn)練樣本的特征學(xué)習(xí)不準確、泛化性不高以及出現(xiàn)局部最優(yōu)解的問題。ESMD-PE-DBN模型預(yù)測效果相較于DBN模型其MAPE值和RMSE值比單一DBN模型分別降低了17.11%和21.80%，相對于單一BP、DBN模型，其降低了原始序列的復(fù)雜程度，優(yōu)化了模型輸入。ESMD-PE-ADBN模型相對于ESMD-PE-DBN模型其MAPE值和RMSE值分別降低了18.25%和16.02%，主要是因為自適應(yīng)學(xué)習(xí)率對DBN模型預(yù)測精度及收斂速度的改善。

圖7 各模型預(yù)測結(jié)果

表4 各預(yù)測模型誤差對比

5 結(jié)束語

通過對短期負荷預(yù)測領(lǐng)域的學(xué)習(xí)研究，文章提出了一種ESMD-PE-ADBN組合預(yù)測模型并進行了算例分析，結(jié)論如下：

(1)提出了一種ESMD-PE-ADBN新型組合預(yù)測模型，融合了各算法的優(yōu)點，預(yù)測效果更優(yōu)；

(2)ESMD方法以EMD方法為基礎(chǔ)，可以自適應(yīng)地完成時頻分解，得到的模態(tài)分量能夠更準確地呈現(xiàn)時間序列的趨勢變化和波動特征，使計算方法變得簡單，分解效果更好。排列熵(PE)方法能夠重構(gòu)特征相似的子序列，優(yōu)化預(yù)測模型輸入；

(3)將短期電力負荷預(yù)測同深度學(xué)習(xí)結(jié)合，并將自適應(yīng)率引入到深度置信念網(wǎng)絡(luò)中，改善了DBN模型中學(xué)習(xí)率參數(shù)存在難以確定的問題，既增強了收斂速度又提高了模型預(yù)測精度。