基于LSTM神經(jīng)網(wǎng)絡(luò)算法的高壓用戶日負(fù)荷預(yù)測

俞沛宙 孔旭鋒 燕俞波 朱斌 趙婉芳

摘要：在迎峰度夏高峰期，電力供應(yīng)處于緊平衡狀態(tài)，需要進(jìn)行用戶需求側(cè)響應(yīng)和有序用電工作。如何高效且精確地編制錯(cuò)避峰方案，快速開展需求側(cè)管理工作是需要解決的重要問題。不同用戶的用電特性不同，在用電高峰時(shí)段可響應(yīng)的負(fù)荷也不同。本文基于LSTM神經(jīng)網(wǎng)絡(luò)算法對(duì)高壓用戶進(jìn)行日負(fù)荷預(yù)測，以寧波市鄞州區(qū)專變用戶為試點(diǎn)對(duì)象，預(yù)測未來某日內(nèi)用戶負(fù)荷情況，對(duì)日后的需求側(cè)響應(yīng)工作給與數(shù)據(jù)支撐。該方法通過LSTM神經(jīng)網(wǎng)絡(luò)算法對(duì)歷史負(fù)荷曲線進(jìn)行擬合，預(yù)測單用戶未來短期負(fù)荷，并通過與傳統(tǒng)ARMA自回歸算法預(yù)測結(jié)果進(jìn)行對(duì)比，分析優(yōu)缺點(diǎn)。

關(guān)鍵詞：需求側(cè)響應(yīng) 可控負(fù)荷 負(fù)荷特性 負(fù)荷預(yù)測 神經(jīng)網(wǎng)絡(luò)

0引言

隨著電網(wǎng)建設(shè)的不斷強(qiáng)化，大規(guī)模的有序用電已經(jīng)成為歷史，但隨著經(jīng)濟(jì)和人民生活水平的不斷提高，近幾年電力供應(yīng)能力仍處于緊平衡狀態(tài)。根據(jù)寧波市能源局統(tǒng)計(jì)，2018年寧波市全社會(huì)最高用電負(fù)荷約1278萬千瓦，同比增長約10.3%，逼近寧波市最高電力供電能力;預(yù)計(jì)2019年，全社會(huì)用電負(fù)荷1350萬千瓦，電力供應(yīng)緊平衡趨勢(shì)仍將持續(xù)。

需求側(cè)響應(yīng)是解決緊平衡的最好方法，它是在電力市場改革的背景下，用戶針對(duì)市場價(jià)格信號(hào)或者政府激勵(lì)機(jī)制做出的改變正常電力消費(fèi)模式的市場化行為。

目前電力公司、用戶、政府在需求側(cè)響應(yīng)中的現(xiàn)狀為：一是電力公司找用戶難，計(jì)算響應(yīng)負(fù)荷更難，因此方案編制費(fèi)時(shí)、費(fèi)心、費(fèi)力;二是電力用戶雖然了解需求側(cè)響應(yīng)政策，但不知道自己能響應(yīng)多少;三是政府不知道多少用戶能響應(yīng)，無法進(jìn)行統(tǒng)籌規(guī)劃和激勵(lì)機(jī)制的優(yōu)化。

1LSTM網(wǎng)絡(luò)

LSTM網(wǎng)絡(luò)是一種能夠?qū)W習(xí)并記憶序列長期信息的遞歸模型，由圖1所示的存儲(chǔ)模塊構(gòu)成^[1]。

LSTM的核心由input、forget、output三個(gè)記憶胞組成，其能在每個(gè)時(shí)刻編碼輸入的信息。每個(gè)記憶胞的行為由門（gate）控制，控制信息保存與否，若保存則為1，否則為0。詳細(xì)來說，forget?gate?f控制是否保存當(dāng)前狀態(tài)的胞信息，input?gate?i控制是否讀取輸入信息，output?gate?o控制是否輸出新的胞信息。其運(yùn)算公式如下所示^[2]

其中，x表示輸入向量，h表示輸出向量，?表示點(diǎn)乘運(yùn)算符，矩陣W表示待訓(xùn)練參數(shù)。表示sigmoid非線性函數(shù)，表示雙曲正切函數(shù)。

LSTM通過多門協(xié)作的方式使得LSTM訓(xùn)練具有魯棒性，且避免了梯度彌散消失。本文采用LSTM網(wǎng)絡(luò)對(duì)時(shí)間序列描述的負(fù)荷數(shù)據(jù)進(jìn)行線性擬合，進(jìn)而進(jìn)行短期預(yù)測。

2負(fù)荷預(yù)測算法設(shè)計(jì)

2.1算法框架

考慮到單變量負(fù)荷時(shí)間序列有限樣本點(diǎn)的數(shù)據(jù)特征，以及循環(huán)神經(jīng)網(wǎng)絡(luò)從簡的設(shè)計(jì)原則，本文構(gòu)建LSTM預(yù)測模型的整體框架如圖2所示，包括輸入層、隱藏層、輸出層、網(wǎng)絡(luò)訓(xùn)練以及網(wǎng)絡(luò)預(yù)測5個(gè)功能模塊。輸入層負(fù)責(zé)對(duì)原始負(fù)荷時(shí)間序列進(jìn)行初步處理以滿足網(wǎng)絡(luò)輸入要求，隱藏層采用圖2表示的LSTM細(xì)胞搭建單層循環(huán)神經(jīng)網(wǎng)絡(luò)，輸出層提供預(yù)測結(jié)果，網(wǎng)絡(luò)訓(xùn)練采用Adam優(yōu)化算法，網(wǎng)絡(luò)預(yù)測采用迭代的方法逐點(diǎn)預(yù)測。

2.2神經(jīng)網(wǎng)絡(luò)訓(xùn)練

網(wǎng)絡(luò)訓(xùn)練主要以隱藏層為研究對(duì)象。首先在輸入層中，定義原始負(fù)荷時(shí)間序列為，則劃分的訓(xùn)練集和測試集可以表示為和，滿足約束條件和。然后對(duì)訓(xùn)練集中的元素進(jìn)行標(biāo)準(zhǔn)化，采用經(jīng)典的歸一化公式（最小值為0，最大值為1），歸一化后的訓(xùn)練集可以表示為^[3]

為了適應(yīng)隱藏層輸入的特點(diǎn)，應(yīng)用數(shù)據(jù)分割的方法對(duì)進(jìn)行處理，設(shè)定分割窗口長度取值為L，則分割后的模型輸入為

對(duì)應(yīng)的理論輸出為

接下來，將X輸入隱藏層。從圖2可以看出，隱藏層包含L個(gè)按前后時(shí)刻連接的同構(gòu)LSTM細(xì)胞，X經(jīng)過隱藏層后的輸出可以表示為

式中：和分別為前一個(gè)LSTM細(xì)胞的狀態(tài)和輸出;LSTMforward表示LSTM細(xì)胞前向計(jì)算過程。設(shè)定細(xì)胞狀態(tài)向量大小為，則和2個(gè)向量的大小均為。可以看出，隱藏層輸出P、模型輸入X和理論輸出Y都是維度為（m-L，L）的二維數(shù)組。選用均方誤差作為誤差計(jì)算公式，訓(xùn)練過程的損失函數(shù)可以定義為

設(shè)定損失函數(shù)最小為優(yōu)化目標(biāo)，給定網(wǎng)絡(luò)初始化的隨機(jī)種子數(shù)seed、學(xué)習(xí)率η以及訓(xùn)練步數(shù)steps，應(yīng)用Adam優(yōu)化算法不斷更新網(wǎng)絡(luò)權(quán)重，進(jìn)而得到最終的隱藏層網(wǎng)絡(luò)。

2.3神經(jīng)網(wǎng)絡(luò)預(yù)測

本小節(jié)應(yīng)用訓(xùn)練好的LSTM網(wǎng)絡(luò)（表示為）進(jìn)行預(yù)測。預(yù)測過程采用迭代的方法。首先，理論輸出Y的最后一行數(shù)據(jù)為

將Yf輸入，輸出結(jié)果可以表示為

則m+1時(shí)刻的預(yù)測值為pm+1。然后，將Yf的最后L-1個(gè)數(shù)據(jù)點(diǎn)和pm+1合并為新的一行數(shù)據(jù)

將Yf+1輸入，則m+2時(shí)刻的預(yù)測值為pm+2，依次類推，得到的預(yù)測序列為

接下來，通過對(duì)Po進(jìn)行反歸一化（表示為de_normalize），得到最終的與測試集Fte對(duì)應(yīng)的預(yù)測序列為

類似地，將X的每一行作為模型輸入可以得到與訓(xùn)練集Ftr對(duì)應(yīng)的擬合序列Ptr。最后，通過計(jì)算Ftr和Ptr，以及Fte和Pte的偏差定量地給出模型的擬合和預(yù)測精度。

總的來說，基于LSTM的負(fù)荷時(shí)間序列模型訓(xùn)練和預(yù)測算法概括如下：

算法1訓(xùn)練并預(yù)測LSTM負(fù)荷時(shí)間序列模型

輸入：。

輸出：與測試集對(duì)應(yīng)的預(yù)測序列以及模型

精度。

1 ?getfromby

2

3 ?getfromby

4 ?createby

5 ?connectbyand

6 ?initializeby seed

7 ?for each step in

8

9

10 updateby Adam with loss and η

11 ?get

12 ?for each j in

13

14 ?appendwith

15

16 error measure

其中：訓(xùn)練過程涉及輸入層、隱藏層、輸出層、網(wǎng)絡(luò)訓(xùn)練4個(gè)模塊，預(yù)測過程主要涉及輸出層模塊;LSTMcell表示LSTM隱藏層細(xì)胞;LSTMnet表示LSTM隱藏層網(wǎng)絡(luò);εe為誤差度量函數(shù)。

2.4評(píng)價(jià)指標(biāo)

模型訓(xùn)練階段誤差度量函數(shù)采用RMSE，但在最終結(jié)果的評(píng)價(jià)階段，準(zhǔn)確度指標(biāo)采用平均絕對(duì)百分比誤差（MAPE）進(jìn)行評(píng)價(jià)，主要考慮MAPE在誤差評(píng)價(jià)中更能被直觀理解。

表示預(yù)測負(fù)荷的時(shí)刻點(diǎn)數(shù)，根據(jù)數(shù)據(jù)選取維度確定24或96;

表示某時(shí)刻點(diǎn)，[0，23]或[0，95];

表示測試集中某時(shí)刻的預(yù)測負(fù)荷（）;

表示測試集中某時(shí)刻的真實(shí)負(fù)荷（）。

3數(shù)據(jù)驗(yàn)證

3.1數(shù)據(jù)準(zhǔn)備

首先介紹實(shí)驗(yàn)中所選用的負(fù)荷數(shù)據(jù)集，與本文提出的LSTM模型相對(duì)比的其他時(shí)間序列預(yù)測模型，評(píng)價(jià)不同預(yù)測模型優(yōu)劣的精度度量指標(biāo)，以及實(shí)驗(yàn)運(yùn)行平臺(tái)和軟硬件環(huán)境配置。

3.1.1數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)采用浙江省寧波市負(fù)荷時(shí)間序列數(shù)據(jù)集。該數(shù)據(jù)集包含鄞州地區(qū)2017年-2018年的高壓專變用戶負(fù)荷記錄，通過整理后得到1200戶包含96個(gè)數(shù)據(jù)點(diǎn)的日負(fù)荷時(shí)間序列數(shù)據(jù)。

3.1.2對(duì)比模型

ARMA是時(shí)間序列分析的經(jīng)典理論和方法，其模型可以表示為ARMA（p，d，q），其中p、d、q分別為自回歸項(xiàng)數(shù)、差分次數(shù)、移動(dòng)平均項(xiàng)數(shù)^[4]。在實(shí)際使用中，這3個(gè)參數(shù)可以通過觀測自相關(guān)函數(shù)（AutoCorrela-tionFunction，ACF）和偏自相關(guān)函數(shù)（PartialAu

-toCorrelationFunction，PACF）確定。

3.2實(shí)驗(yàn)結(jié)果

本項(xiàng)目負(fù)荷預(yù)測部分的算法評(píng)估依據(jù)用戶群體負(fù)荷預(yù)測評(píng)價(jià)矩陣，通過不同負(fù)荷特征的用戶群在不同算法上的評(píng)估指標(biāo)進(jìn)行羅列對(duì)比。

在訓(xùn)練集樣本中，共選取了1200個(gè)目標(biāo)樣本，構(gòu)建用戶群體負(fù)荷預(yù)測評(píng)價(jià)矩陣，反應(yīng)模型在測試集數(shù)據(jù)上的預(yù)測效果以及運(yùn)行時(shí)間。

基于單戶用戶96點(diǎn)負(fù)荷數(shù)據(jù)，選取樣本數(shù)據(jù)某一天的負(fù)荷情況為預(yù)測對(duì)象。在不同的曲線類型下，分別匹配最優(yōu)算法，進(jìn)行負(fù)荷預(yù)測，形成預(yù)測曲線與真實(shí)曲線的直觀對(duì)比。

4小結(jié)

總的來說，本文驗(yàn)證了LSTM模型在可靠性預(yù)測領(lǐng)域中的適用性，擴(kuò)展了神經(jīng)網(wǎng)絡(luò)技術(shù)的應(yīng)用范疇。基于目前的工作，后續(xù)可以展開進(jìn)一步研究：比如擴(kuò)展隱藏層層數(shù)，檢驗(yàn)多隱藏層LSTM網(wǎng)絡(luò)結(jié)構(gòu)的應(yīng)用效果;或者從眾多LSTM模型參數(shù)入手，尋求更有效的參數(shù)優(yōu)化方法。此外，本文是從歷史數(shù)據(jù)出發(fā)，應(yīng)用數(shù)據(jù)驅(qū)動(dòng)的技術(shù)逆向建立預(yù)測模型。下一步，可以從可靠性相關(guān)的領(lǐng)域知識(shí)出發(fā)，應(yīng)用提取出來的關(guān)鍵特征和要素正向研究可靠性預(yù)測方法。

參考文獻(xiàn)：

[1]?竇珊， 張廣宇.?熊智華?基于 LSTM 時(shí)間序列重建的生產(chǎn)裝置異常檢測[J]. 化工學(xué)報(bào)， 2019，70（2）：481-486.

[2]?Hochreiter S， Schmidhuber J. Long short-term memory[J]. Neural?Computation， 1997， 9（8）： 1735-1780

[3]?王鑫，吳際，劉超等.?基于 LSTM 循環(huán)神經(jīng)網(wǎng)絡(luò)的故障時(shí)間序列預(yù)測[J].?北京航空航天大學(xué)學(xué)報(bào)， 2018.04，44（4）：1001-5965

[4]?BARTHOLOMEW D J. Time series analysis forecasting andcontrol[J]. Journal of the Operational Research Society，1971，22（ 2） ： 199-201.