一種基于深度學習的居民家庭短期用電預測方法

雷鳴 唐李洋 葉振宇 黎川 潘李偉

摘要：單個居民家庭的用電量與多種復雜因素相關，可能包括其歷史用電量、節(jié)假日因素、天氣以及居民用電習慣等。通過研究和實驗，我們提出了一種端到端的結(jié)構(gòu)來預測單個家庭的短期用電量，稱為殘差卷積融合網(wǎng)絡。具體來說，我們的網(wǎng)絡結(jié)構(gòu)使用了：1）利用殘差卷積單元的三個分支分別來模擬用電量的時間鄰近性、周期性和趨勢特性;2）利用一個全連接的神經(jīng)網(wǎng)絡來模擬工作日或周末特性;3）通過殘差卷積網(wǎng)絡來融合上述輸出以產(chǎn)生短期用電量的預測。通過對澳大利亞居民用電數(shù)據(jù)集的實驗研究，驗證了我們所提出的網(wǎng)絡優(yōu)于幾種眾所周知的方法。

關鍵詞：短期居民用電預測;卷積神經(jīng)網(wǎng)絡;殘差網(wǎng)絡

中圖分類號：TP391? ? ? ?文獻標識碼：A

文章編號：1009-3044（2019）21-0240-03

開放科學（資源服務）標識碼（OSID）：

Abstract： Electricity consumption is related to multiple complex factors， including historical amount of consumption， calendar dates and holidays， as well as residential power consumption habits. To this end， we propose an end-to-end structure to collectively forecast short-term power consumption of private households， called RCFNet （Residual Conventional Fusion Network）. Specifically， our RCFNet uses：1） three branches of residual convolutional units to model the temporal proximity， periodicity and tendency properties of electricity consumption， 2） one fully connected neural network to model the weekday or weekend property， and 3） a residual convolution network to fuse the above output to produce short-term prediction. All the convolutions used here are one-dimensional. Through experimental studies on residential electricity consumption dataset in Australia， it is validated that the proposed RCFNet outperforms several well-known methods. Besides， we demonstrate that residential power consumption is closely related to the living characteristics of residents.

Key words： short-term load forecasting; Convolutional Neural Network; Residual Network

1引言

文獻中報道了多種關于短期負荷預測的方法，大多數(shù)現(xiàn)有的工作都是針對電力消耗的群體行為，而不是針對單個居民的，因為針對個別用戶用電負荷的波動性，對于居民群體性的用電預測來說通常被認為是微不足道的。因此，短期家庭負荷預測的問題現(xiàn)在[1]仍然是面臨挑戰(zhàn)并值得研究的。

作為當前許多研究領域中最活躍的技術，深度學習的本質(zhì)是分層表示觀測數(shù)據(jù)，并實現(xiàn)將低級特征進一步抽象為高級特征表示[2]。長短期記憶網(wǎng)絡（LSTM）最初由Hochreiter等人[3]提出，在時序?qū)W習領域中取得了巨大進展，因此也被廣泛應用于用電負荷的預測中。隨著AlexNets[4]的突破性成功，CNNs（Convolutional Neural Network，卷積神經(jīng)網(wǎng)絡）被廣泛應用于圖像識別、語音識別、序列生成等領域。研究人員[5]提出了越來越深的卷積神經(jīng)網(wǎng)絡，揭示了網(wǎng)絡深度的重要性。ResNets （Residual Networks，殘差網(wǎng)絡） [6]通過使用跳躍連接的方式，解決了隨著網(wǎng)絡深度的增加而產(chǎn)生的梯度消失的問題。Zhang等[7]將這兩種方法結(jié)合起來，提出了一種基于深度學習的方法用于預測城市每個區(qū)域的人流量變化。

在上述現(xiàn)有工作的啟發(fā)下，我們考慮使用深度學習中的卷積網(wǎng)絡進行居民用電特征的提取，設計了一個名為RCFNet （Residual Conventional Fusion Network，殘差卷積融合網(wǎng)絡）的深層網(wǎng)絡來預測短期的居民用電量。具體來說，RCFNet使用殘差卷積單元的三個分支來提取用電量的時間鄰近性、周期性和趨勢性特征，同時使用一個全連接神經(jīng)網(wǎng)絡來模擬工作日/周末屬性，最后使用一個殘差卷積網(wǎng)絡來融合上述輸出來產(chǎn)生短期預測。我們使用來自澳大利亞的智能電表數(shù)據(jù)評估模型，實驗結(jié)果表明，與歷史平均模型、季節(jié)自回歸滑動平均模型（SARIMA）、多層感知器和長短期記憶模型相比，我們的方法具有優(yōu)勢。

2算法設計與分析

2.1深度殘差卷積網(wǎng)絡

殘差網(wǎng)絡（ResNets） [6]通過使用跳躍連接，執(zhí)行由堆疊的非線性層定義的殘差映射，這比原始映射更容易優(yōu)化。Identity Mapping ResNet[8]簡化了殘差網(wǎng)絡，解決了隨著網(wǎng)絡深度的增加產(chǎn)生的梯度消失問題，從而大大提高了網(wǎng)絡的訓練效果。具有Identity Mapping的殘差單元[8]被定義為：

其中[X（l）]和[X（l+1）]分別是第[l]層殘差單元的輸入和輸出序列，[F]是殘差函數(shù)[6]。

2.1.1 殘差卷積網(wǎng)絡結(jié)構(gòu)

我們的任務描述如下：對于給定電表讀取的一系列觀測數(shù)據(jù)[{St|t=0，1，...，n-1}]，預測下一個時間段的用電量[Sn]。

通過對居民用電的分析，我們發(fā)現(xiàn)居民用電具有鄰近性、周期性和趨勢性特征，因此我們考慮使用深度網(wǎng)絡來提取這幾個特征，圖1顯示了所使用的模型結(jié)構(gòu)。

如前所述，居民用電量時間序列數(shù)據(jù)是以半小時間隔獲得的。這里我們將數(shù)據(jù)的時間相關性分為三種類型： （a）鄰近數(shù)據(jù)，使用最近24小時的數(shù)據(jù);（b）周期數(shù)據(jù)，這里選取了最近28天的數(shù)據(jù);（c）趨勢數(shù)據(jù)，選擇最近10周的數(shù)據(jù)。這樣，三個特征的時間序列數(shù)據(jù)被構(gòu)建為模型的輸入。我們使用相同的網(wǎng)絡結(jié)構(gòu)來提取上述三種類型的特征，即，所有特征都使用殘差卷積網(wǎng)絡（圖1中的殘差卷積網(wǎng)絡細節(jié)參見圖2（a））。考慮到外部信息獲取的困難（比如氣象因素），這里只是簡單地區(qū)分工作日和周末，被編碼成one-hot向量，作為全連接網(wǎng)絡的輸入。四個模塊（即趨勢性、周期性、鄰近性、外因）輸出長度固定的特征向量拼接成一個向量，被用作特征融合模塊的輸入（詳見圖2（c））。融合網(wǎng)絡的輸出被饋送到激活函數(shù)，將結(jié)果映射到[0，1]。

2.1.2時間序列特征提取網(wǎng)絡

前三個組件（趨勢性、周期性、鄰近性）共享相同的網(wǎng)絡結(jié)構(gòu)，如圖2（a）所示。

（1）卷積。使用一維卷積核來執(zhí)行一維卷積，以便提取時間序列中的鄰近特征。圖1所示的結(jié)構(gòu)中鄰近性特征提取模塊對最近一段時間的用電數(shù)據(jù)進行采樣，以模擬數(shù)據(jù)的鄰近性特性。這里[Xat=Xat0=[St-la，St-（la-1），...，St-1]]表示時刻[t]作為模型輸入的鄰近特征依賴序列，通過卷積操作輸出到下一層：

這里的[*]代表卷積操作，[f]為激活函數(shù)，[Wa1，ba1]表示第一層的可學習參數(shù)，上標表示對應的網(wǎng)絡層。

（2）殘差單元。使用殘差學習方法[8]構(gòu)建深層網(wǎng)絡來提取序列的特征，在殘差卷積網(wǎng)絡中，如圖2（a）和2（b）所示，在卷積輸出上疊加[L]個殘差單元：

這里，[F]代表殘差函數(shù)（參見圖2（b））， [θal]表示第[L]層的全部可學習參數(shù)，這里在ReLU層前執(zhí)行了批量正則化[9]操作。最終的殘差單元頂部，添加一個卷積層來構(gòu)建由兩個卷積層和一個殘差單元組成的網(wǎng)絡結(jié)構(gòu)，用于提取鄰近性的特征。類似的，周期性和趨勢性的特征提取也是通過相同的結(jié)構(gòu)實現(xiàn)的（參見圖1）。

（3）外部因素。這里只考慮工作日和周末對居民用電的影響。將它編碼one-hot向量為連接到一個兩層的全連接網(wǎng)絡，外部特征輸出定義為[Et]，輸出映射到固定大小的矢量長度，以確保和前三個分量的輸出一致。

（4）融合網(wǎng)絡。將四個模塊的輸出（即趨勢性、周期性、鄰近性和外部因素）輸入融合網(wǎng)絡（見圖2（c）），輸出通過激活函數(shù)映射到[0，1]。網(wǎng)絡通過輸入三個數(shù)據(jù)序列和外部特征序列來訓練預測值[St]，最小化預測用電量和實際用電量之間的均方差：

這里的[θ]代表可學習參數(shù)，[St]代表時刻[t]的觀測值。

2.2算法及優(yōu)化步驟

程序1中的偽代碼演示了算法的執(zhí)行過程。首先，訓練實例由原始序列數(shù)據(jù)構(gòu)建（第①-②行）。然后，執(zhí)行反向傳播算法和Adam[10]優(yōu)化器（行③-⑧）來訓練模型網(wǎng)絡。最后，在測試集（⑨-⑩）上驗證模型。

程序1：RCFNet 模型訓練驗證程序

輸入：

鄰近性、周期性和趨勢性輸入數(shù)據(jù)長度： [la，lp，lq];周期數(shù)據(jù)間隔：[p]; 趨勢數(shù)據(jù)間隔：[q] ;歷史數(shù)據(jù)序列：[S={S0，...，Sn-1}];外部因素特征：[E={E0，...，En-1}];

數(shù)據(jù)準備：

3實驗結(jié)果分析

我們對澳大利亞的居民用電數(shù)據(jù)集進行了實驗，以驗證所提出的模型的有效性。該數(shù)據(jù)集（來源： http：//data.gov.au/dataset/electricity-consumption-benchmarks）包含澳大利亞維多利亞州25戶家庭的電力消耗，時間從2012年4月1日至2014年3月31日，采樣間隔為半小時。在數(shù)據(jù)訓練和測試的工作中只選擇了其中8戶完整用戶數(shù)據(jù)。將RCFNet模型與以下4個常見的基準預測算法進行比較： HA （History Average，歷史平均方法）、SARIMA （Seasonal Autoregressive Integrated Moving Average，周期性滑動自回歸模型）、MLP （Multi-Layer Perceptron，多層感知器）、LSTM （Long Short-Term Memory，長短期記憶網(wǎng)絡） [3]。

3.1數(shù)據(jù)預處理

在本模型中，使用最小-最大正則化方法將訓練數(shù)據(jù)歸一化為[ 0，1]之間的值，輸出部分使用了ReLU激活函數(shù)。模型使用3x1大小的卷積核。訓練集前90%用于訓練，后10%用于驗證。為了防止過多的訓練迭代，使用了早期停止技術來找到最佳的訓練迭代次數(shù)。在LSTM和MLP模型中，輸入為長度為48的序列，而本模型中的最終融合模型采用以下參數(shù)：鄰近序列長度為48，周期序列長度為28，趨勢序列長度為10。使用最后60天的數(shù)據(jù)進行模型驗證，其余數(shù)據(jù)作為訓練數(shù)據(jù)集。

3.2實驗結(jié)果及分析

使用均方根誤差（ RMSE ）來驗證預測性能，定義如下：

其中[n]是預測結(jié)果的總數(shù)。

將模型與表1中的其他四個模型進行了對比，其中每個模型的性能按每個用戶家庭ID列出。此外，為驗證不同參數(shù)對RCFNet的影響，設計了六種不同的模型變量，分別是RCF （考慮鄰近性、周期性、趨勢性和外部因素的網(wǎng)絡模型）、RCF-NoE （不考慮外部因素的模型）、RCF-NoP （不考慮周期性的模型）、RCF-NoQ （不考慮周期性和趨勢性的模型）和RCF-NoEPQ （不考慮周期性、趨勢性和外部因素的模型）。表1中的數(shù)值表示各方法的實際值和預測結(jié)果之間的均方根誤差，數(shù)值越小越好，每一列中的最佳結(jié)果由帶下劃線的粗體數(shù)字顯示。

從表1中，可以看到RCFNet優(yōu)于其他四個基準模型，這表明RCFNet很好地捕捉了居民的用電特性。此外，還可以發(fā)現(xiàn)，不同家庭的鄰近性、周期性、趨勢性和外部因素對預測結(jié)果的精確度影響不同，這也反映出不同居民的用電特點具有很大不同，一些居民用電具有更強的周期性特征，而另一些則表現(xiàn)出更明顯的趨勢特征。可以看出，如果不考慮某些特征分支，RCFNet的一些結(jié)果可能比某些基準模型差，這表明這些特征對RCFNet的精度有很大影響。

4總結(jié)

本文主要研究了居民用電的短期預測算法，提出了一種稱為RCFNet的深層網(wǎng)絡架構(gòu)，以實現(xiàn)準確的短期用電量預測。該模型結(jié)構(gòu)綜合考慮了用電量的鄰近性、周期性和趨勢性特征，同時考慮了外部因素的影響。通過對澳大利亞居民用電數(shù)據(jù)集的案例研究，將模型與其他四種典型的預測模型（即歷史平均方法、周期性滑動自回歸模型、多層感知器和長短期記憶網(wǎng)絡）進行了比較，驗證了我們所提出的RCFNet的預測性能。此外，RCFNet具有良好的可擴展性，可廣泛用于其他類型的時間序列預測。

本項目收到國家科技部重點研發(fā)計劃重點專項“重大事故災難次生衍生與多災種耦合致災機理與規(guī)律”項目（資助號 2016YFC0800100）， 安徽省自然科學基金青年基金項目（資助號 1708085QG162）， 社會安全風險感知與防控大數(shù)據(jù)應用國家工程實驗室主任基金項目資助。

參考文獻：

[1] Yu C N， Mirowski P， Ho T K. A Sparse Coding Approach to Household Electricity Demand Forecasting in Smart Grids [J]. IEEE Transactions on Smart Grid， 2017， 8（2）：738-748.

[2] Bengio Y， Courville A， Vincent P. Representation Learning： A Review and New Perspec-tives [J]. IEEE Trans Pattern Anal Mach Intell， 2012， 35（8）：1798-1828.

[3] S.Hochreiter and J. Schmidhuber， Long Short-Term Memory， Neural Computation， Vol. 9， No. 8， 1997， pp. 1735-1780.

[4] A. Krizhenvshky， I. Sutskever， and G. Hinton， Imagenet classi?cation with deep convolu-tional networks， in Proc. Adv. Neural Inf. Process.Syst.， 2012， pp. 1097–1105.

[5] Simonyan K， Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition[J]. Computer Science， 2014.

[6] He K， Zhang X， Ren S， et al. Deep Residual Learning for Image Recognition [J]. 2015：770-778.

[7] Zhang J， Zheng Y， Qi D. Deep Spatio-Temporal Residual Networks for Citywide Crowd Flows Prediction [J]. 2016.

[8] He K， Zhang X， Ren S， et al. Identity Mappings in Deep Residual Networks [C]. European Conference on Computer Vision. Springer， Cham， 2016：630-645.

[9] Ioffe， S.， and Szegedy， C. 2015. Batch normalization： Accelerating deep network training by reducing internal covariate shift. In ICML， 448-456.

[10] Kingma D P， Ba J. Adam： A Method for Stochastic Optimization [J]. Computer Science， 2014.

【通聯(lián)編輯：梁書】