基于人工神經(jīng)網(wǎng)絡(luò)的負(fù)荷算法的優(yōu)化

張嘉嘉

（中國石化工程建設(shè)公司，北京 100101）

電力系統(tǒng)負(fù)荷預(yù)測是根據(jù)電力負(fù)荷、經(jīng)濟(jì)、社會、氣象等的歷史數(shù)據(jù)，探索電力負(fù)荷歷史數(shù)據(jù)變化規(guī)律對未來負(fù)荷的影響，尋求電力負(fù)荷與相關(guān)因素之間的內(nèi)在聯(lián)系，從而對未來的電力負(fù)荷進(jìn)行科學(xué)的預(yù)測[1]，為電力系統(tǒng)規(guī)劃和運(yùn)行提供可靠的依據(jù)[2]。

論文介紹了人工神經(jīng)網(wǎng)絡(luò)預(yù)測方法，并對日負(fù)荷數(shù)據(jù)進(jìn)行程序仿真。在此基礎(chǔ)上，論文對人工神經(jīng)網(wǎng)絡(luò)中BP 算法進(jìn)行了改進(jìn)，建立了組合預(yù)測神經(jīng)網(wǎng)絡(luò)模型，使用了Matlab 中的cftool 工具箱對日負(fù)荷數(shù)據(jù)進(jìn)行仿真，結(jié)果表明改進(jìn)的組合預(yù)測神經(jīng)網(wǎng)絡(luò)模型具有更好的精度和應(yīng)用價(jià)值。

1 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

人工神經(jīng)網(wǎng)絡(luò)中一個(gè)重要部分就是單元聯(lián)接形式，也就是網(wǎng)絡(luò)的結(jié)構(gòu)形式。神經(jīng)網(wǎng)絡(luò)的命名往往根據(jù)他的結(jié)構(gòu)特點(diǎn)，或者根據(jù)采用的學(xué)習(xí)方法（簡稱算法）。目前常用的網(wǎng)絡(luò)結(jié)構(gòu)形式如下。

1）分層網(wǎng)絡(luò)（又稱前向多層網(wǎng)絡(luò)，前饋網(wǎng)絡(luò)等）

分層網(wǎng)絡(luò)是指網(wǎng)絡(luò)中具有相同拓?fù)浣Y(jié)構(gòu)地位的神經(jīng)元構(gòu)成的一個(gè)子集；它是作為有向圖的人工神經(jīng)網(wǎng)絡(luò)圖中處于同一列或同一行上的節(jié)點(diǎn)；它們是運(yùn)算處理程序進(jìn)行過程中的同一個(gè)段面；它所屬的每一神經(jīng)元的權(quán)向量參與構(gòu)成一個(gè)獨(dú)立的權(quán)矩陣。如果網(wǎng)絡(luò)中有多個(gè)這樣的人工神經(jīng)元子集，就構(gòu)成了一種多層網(wǎng)絡(luò)。多層網(wǎng)絡(luò)信息的前向傳遞處理過程是一個(gè)輸入特征向量從高維空間逐次映射的過程，是一個(gè)輸入向量按特征聚類的過程；是與生物系統(tǒng)的由感覺器官對外部世界事務(wù)特征的攝取知道認(rèn)知完成這樣一個(gè)高度抽象的過程的過程完全類似的，是一件具有深邃含義事物的模型和數(shù)學(xué)的表征。

前饋網(wǎng)絡(luò)的基本要素是能用一個(gè)前向無環(huán)路有向圖表示，如圖1所示。

圖1 前向多層網(wǎng)絡(luò)示意

就是說，必須不存在前層神經(jīng)元輸出y 向后層傳遞的支路；更不允許一個(gè)神經(jīng)元的輸出向其自身輸入端傳送的支路，否則嚴(yán)重違反生物神經(jīng)元單向傳遞特性；嚴(yán)格的講存在同一層神經(jīng)元輸出向本層其他神經(jīng)元的輸入端傳遞支路的網(wǎng)絡(luò)，也不應(yīng)屬于前向多層網(wǎng)絡(luò)。

2）互聯(lián)網(wǎng)絡(luò)（或稱反饋網(wǎng)絡(luò)）

典型的反饋型網(wǎng)絡(luò)如圖2所示。

圖2 互聯(lián)網(wǎng)絡(luò)模型

圖3 BP 神經(jīng)網(wǎng)絡(luò)

圖2中每個(gè)節(jié)點(diǎn)都表示一個(gè)計(jì)算單元，同時(shí)接受外加輸入和其他各節(jié)點(diǎn)的反饋輸入，每個(gè)節(jié)點(diǎn)也都直接向外部輸出。Hopfield 網(wǎng)絡(luò)即屬于此種類型。在某些反饋網(wǎng)絡(luò)中，各神經(jīng)元除接受外加輸入與其他各節(jié)點(diǎn)反饋輸入之外，還包括自環(huán)反饋。

3）BP 網(wǎng)絡(luò)結(jié)構(gòu)

圖3是具有一個(gè)隱含層的BP（Back-Propagation）神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)圖（圖中輸入節(jié)點(diǎn)j=1，2，…，r；隱含節(jié)點(diǎn)i=1，2，…，s1；輸出節(jié)點(diǎn)k=1，2，…，s2），其輸入層神經(jīng)元數(shù)為r，隱含層神經(jīng)元數(shù)為s1，輸出層神經(jīng)元數(shù)為s2，隱含層神經(jīng)元的激活函數(shù)為，輸出層神經(jīng)元的激活函數(shù)為F2，輸入為P，輸出為A。如果不計(jì)輸入層，就可稱其為兩層神經(jīng)網(wǎng)絡(luò)。

2 改進(jìn)的神經(jīng)網(wǎng)絡(luò)負(fù)荷預(yù)測方法

盡管BP 算法在實(shí)際工程中得到了廣泛應(yīng)用，但也存在著自身的局限和不足，主要表現(xiàn)在收斂速度慢、局部極小值、訓(xùn)練癱瘓等問題。針對BP 算法的缺點(diǎn)，提出以下幾種改進(jìn)方法。

1）動量法

該方法是在反向傳播法的基礎(chǔ)上，對每一個(gè)全職的變化再加上一項(xiàng)正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法產(chǎn)生新的權(quán)值變化。帶有動量因子的權(quán)值調(diào)節(jié)公式為

式中，k為訓(xùn)練次數(shù)；mc 為動量因子，一般取0.95左右。

2）自適應(yīng)調(diào)整學(xué)習(xí)速率算法

對于一個(gè)特定的問題要選擇適當(dāng)?shù)膶W(xué)習(xí)速率不是一件容易的事。學(xué)習(xí)速率選的太小，收斂太慢；選的太大，特有可能修正過頭，導(dǎo)致振蕩甚至發(fā)散。為了解決這一問題，可以再訓(xùn)練過程中自動調(diào)整學(xué)習(xí)速率。學(xué)習(xí)速率η的自適應(yīng)調(diào)整公式為

式中，SSE 為誤差平方和。

3）動量-自適應(yīng)調(diào)整學(xué)習(xí)速率算法

當(dāng)采用動量法時(shí)，BP 算法可以找到更優(yōu)的解；而采用自適應(yīng)調(diào)整學(xué)習(xí)速率法時(shí)，BP 算法可以縮短訓(xùn)練時(shí)間。綜合采用以上兩種算法，不僅可以避免網(wǎng)絡(luò)陷入局部極小值，而且還能加速網(wǎng)絡(luò)收斂。

4）利用Levenberg-Marquardt 學(xué)習(xí)規(guī)則

更新權(quán)值參數(shù)的L-M（Levenberg -Marquardt）學(xué)習(xí)規(guī)則為

式中，e為誤差矢量；J為網(wǎng)絡(luò)誤差對權(quán)值導(dǎo)數(shù)的雅可比（Jacobian）矩陣；I為單位矩陣；μ為一個(gè)標(biāo)量，其大小決定了算法是根據(jù)牛頓法還是梯度法完成。

Levenberg-Marquardt 優(yōu)化算法比前述幾種使用梯度下降法的BP 算法快很多，但它需要更多的內(nèi)存。

5）電力負(fù)荷組合預(yù)測[3]

組合預(yù)測方法是對同一個(gè)預(yù)測問題，將多個(gè)不同的預(yù)測模型有機(jī)地組合在一起，綜合各模型的優(yōu)點(diǎn)，以期有效地改善模型的擬合能力，提高預(yù)測精度。加權(quán)處理是一種常見的處理手段，基本思想是：在某一預(yù)測問題中，在某一時(shí)段的實(shí)際值為yt(t= 1,2,···,n)。對該問題有m種預(yù)測方法，其中利用第i種方法對t時(shí)段的預(yù)測值為f it(i= 1,2,···,m)。如果各種預(yù)測方法 的權(quán)重為W= [w1,w2,···,wm]T，滿足組合預(yù) 測模型可表示為

式中，w因子可用拉格朗日乘數(shù)法或其他數(shù)學(xué)規(guī)劃方法確定。

上述組合預(yù)測方法，只對權(quán)重進(jìn)行線性組合，要求參加組合預(yù)測方法的誤差能保持穩(wěn)定，但電力系統(tǒng)負(fù)荷預(yù)測結(jié)果的誤差往往是非均勻性的，因而這種組合校正可就存在不足。考慮到人工神經(jīng)網(wǎng)絡(luò)對復(fù)雜線性的擬合能力，構(gòu)造了基于人工神經(jīng)網(wǎng)絡(luò)的組合預(yù)測模型。

采用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行組合預(yù)測的模型如圖4所示。

圖4 組合預(yù)測神經(jīng)網(wǎng)絡(luò)模型

其中模型1、模型2，…，模型m為不同的單個(gè)預(yù)測模型。輸入層神經(jīng)元個(gè)數(shù)m為不同的單個(gè)預(yù)測模型數(shù)，輸入層為一個(gè)神經(jīng)元，即得到一個(gè)組合輸出，隱層個(gè)數(shù)可經(jīng)試驗(yàn)確定。

選擇與預(yù)測量最近的n個(gè)已知值作為樣本，即把最近的n個(gè)已知值作為輸出，采用不同的單個(gè)預(yù)測模型對這n個(gè)已知值分別進(jìn)行預(yù)測，其預(yù)測值即為神經(jīng)網(wǎng)絡(luò)的輸入，由此對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。對于訓(xùn)練好的神經(jīng)那個(gè)網(wǎng)絡(luò)，當(dāng)輸入端為不同的單個(gè)模型預(yù)測值時(shí)，其輸出即為用神經(jīng)網(wǎng)絡(luò)組合后的預(yù)測值。

3 Matlab 算例仿真

對文獻(xiàn)[4]某城市的2004年7月10-7月20日的整點(diǎn)有功負(fù)荷值進(jìn)行仿真計(jì)算。數(shù)據(jù)見表1和表2。

表1 某城市7月10-20日的整點(diǎn)有功負(fù)荷值

表2 某城市7月10-20日的氣象因子數(shù)值

1）梯度下降BP 算法函數(shù)算例結(jié)果

采用梯度下降BP 算法對表1和表2的數(shù)據(jù)進(jìn)行仿真，結(jié)果如圖5和表3所示。

預(yù)測結(jié)果輸出見表3。

圖5 梯度下降BP 算法訓(xùn)練結(jié)果

圖6 梯度下降動量BP 算法訓(xùn)練結(jié)果

2）基于梯度下降動量BP 算法

改進(jìn)算法1 是基于動量-自適應(yīng)調(diào)整學(xué)習(xí)速率算法進(jìn)行訓(xùn)練的人工神經(jīng)網(wǎng)絡(luò)模型。其中網(wǎng)絡(luò)結(jié)構(gòu)為3 層BP 網(wǎng)絡(luò)，輸入層神經(jīng)元的個(gè)數(shù)為15，輸出層神經(jīng)元的個(gè)數(shù)為12，隱含層神經(jīng)元個(gè)數(shù)取為31，隱含層神經(jīng)元的傳遞函數(shù)采用tansig，輸出層神經(jīng)元的傳遞函數(shù)采用 purelin。網(wǎng)絡(luò)訓(xùn)練函數(shù)采用traingdm，相應(yīng)的學(xué)習(xí)函數(shù)為learngdm 具體訓(xùn)練參數(shù)是：動量因子為0.98，學(xué)習(xí)速率為0.2，訓(xùn)練指標(biāo)誤差為0.0001，最大訓(xùn)練步數(shù)為5000，每25 步顯示一次。計(jì)算結(jié)果如圖6和表4所示。

3）基于L-M 學(xué)習(xí)規(guī)則進(jìn)行訓(xùn)練的人工神經(jīng)網(wǎng)絡(luò)模型的仿真

基于L-M 學(xué)習(xí)規(guī)則進(jìn)行網(wǎng)絡(luò)訓(xùn)練，其中訓(xùn)練函數(shù)函數(shù)選用TRAΙNLM。具體的訓(xùn)練參數(shù)為：網(wǎng)絡(luò)訓(xùn)練函數(shù)采用trainlm，相應(yīng)的學(xué)習(xí)函數(shù)為learndm，學(xué)習(xí)速率為0.1，訓(xùn)練指標(biāo)誤差為0，最大訓(xùn)練步數(shù)為1000，每25 步顯示一次。其結(jié)果與實(shí)際值比較如圖7所示。經(jīng)計(jì)算，利用此方法預(yù)測數(shù)據(jù)的均方差達(dá)到6.2814e-004。

4）3 種算法預(yù)測結(jié)果比較

以下對上述3 種人工神經(jīng)網(wǎng)絡(luò)預(yù)測方法進(jìn)行對比。3 種方法的預(yù)測結(jié)果如圖8所示，誤差見表5。

圖7 利用L-M 方法輸出的結(jié)果與實(shí)際值比較 (X 為實(shí)際值，Out 為預(yù)測值)

圖8 神經(jīng)網(wǎng)絡(luò)3 種方法預(yù)測值曲線圖比較

表3 梯度下降BP 法輸出值與實(shí)際值誤差比較

表4 梯度下降動量BP 法輸出值與實(shí)際值誤差比較

表5 梯度下降BP 算法與兩種改進(jìn)方法應(yīng)用于日負(fù)荷預(yù)測的誤差值比較

由圖8可以表明，改進(jìn)的算法進(jìn)行預(yù)測的結(jié)果優(yōu)于沒有改進(jìn)的方法，且在日負(fù)荷預(yù)測中，人工神經(jīng)網(wǎng)絡(luò)具有很明顯的優(yōu)勢。

4 結(jié)論

對于變化快時(shí)間短的日負(fù)荷預(yù)測，人工神經(jīng)網(wǎng)絡(luò)方法能夠依靠其人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練得到更加適合的算法。在神經(jīng)網(wǎng)絡(luò)的方法中，通過選取不同的訓(xùn)練函數(shù)，可以實(shí)現(xiàn)不同模型組合的非線性擬合，同時(shí)也提高了電力負(fù)荷預(yù)測的精度。利用Matlab 神經(jīng)網(wǎng)絡(luò)工具箱編程，使網(wǎng)絡(luò)訓(xùn)練程序比用其他語言編制的效率更高，訓(xùn)練時(shí)間更短。算例結(jié)果表明基于Matlab 神經(jīng)網(wǎng)絡(luò)工具箱的電力負(fù)荷組合預(yù)測模型簡潔、實(shí)用，并且具有較高精度。

[1] 康重慶,夏清,劉梅.電力系統(tǒng)負(fù)荷預(yù)測[M].北京:中國電力出版社,2007:4-22.

[2] 程浩忠.電力系統(tǒng)規(guī)劃[M].北京:中國電力出版社,2008:13-16.

[3] 劉雙,楊麗徙,王志剛,等.基于Matlab 神經(jīng)網(wǎng)絡(luò)工具箱的電力負(fù)荷組合預(yù)測模型[J].電力自動化設(shè)備,2003,23(3):59-61.

[4] 張德豐.Matlab 神經(jīng)網(wǎng)絡(luò)應(yīng)用設(shè)計(jì)[M].北京:機(jī)械工業(yè)出版社.2009:215-217.