基于多源異構數據與深度神經網絡的電量預測系統*

田啟東林志賢鄭煒楠于兆一楊秀瑜

(深圳供電局有限公司，廣東 深圳 518000)

對特定區域進行電力負荷與電能需求預測可以幫助電網等相關部門實現合理化的電力資源調度與規劃，有利于預防因電力資源調度不平衡所產生的非安全性事故的發生[1]。智能電表可以實時且高頻率地收集每個住戶的電力資源消耗數據，為電力相關部門提供一個便捷的電力數據采集方式。大量相關工作利用歷史智能電表數據，結合基于計量經濟學或深度學習模型，比如(自動)回歸模型、(季節性)ARIMA 模型、AR-GARCH 模型、跳躍擴散模型、因子模型和循環神經網絡等[2-4]，提出一系列電力相關預測方法。但是，廣泛用戶互動已經成為智能電網的重要特征，這使得電力市場隨著復雜的人群社會活動充滿隨機性、時變性、復雜性，并導致基于智能電表數據的電力資源預測值不準確、模型普適性差等問題。在現實用電場景下，天氣變量、實時電費價格調整、人群流動等，都會影響著區域內電力資源消耗與需求。比如，當前局部天氣變化可能會導致某區域內空調設備使用率的大幅度提升，區域電費價格調整可能導致家庭會頻繁使用大功率電器設備，人群移動變化也會導致區域內的用電總量產生變化。在多源異構大數據環境下，探索特定區域內總用電力資源消耗的變化趨勢與“電力-天氣-人群”深度耦合因素之間的具體聯系，探索并建立有效且高魯棒性的電量需求預測系統是當務之急。

文中利用電力資源消耗、氣象和人群移動這三大異構化數據集，結合對應的特征提取技術來對多源異構數據進行特征表征，最后設計分類算法來預估當前區域內下個時間段的電力資源消耗趨勢。智能電表可以用來實現不同時間刻度下的電力用戶實時耗電量。氣象局網站可以提供特定時間、地區內的氣象數據(降水量、氣溫、風、能見度、土壤水分等)。GPS 數據因為個人隱私問題導致電力用戶不會輕易公開自己的軌跡數據，這也使得直接收集人群移動數據變得十分困難。文中采用簽到信息、社交類軟件應用的定位信息與蜂窩網絡中的呼叫詳細記錄等數據來刻畫人群移動和人口分布變化。針對所有采集的多源異構化數據，文中首先將多源數據集在時間維度和空間維度上進行切片，然后利用堆棧式去噪自編碼器(Stack Denoise Autoencoder，SDAE)[5]實現深度耦合式特征提取。長短時記憶(Long Short Term Memory，LSTM)神經網絡模型[6]被用于學習時間序列特征與電力資源消耗之間的關聯模式來建立電力資源需求預測模型。實驗結果證明，依托于某地區的智能電表、氣象和人群移動的多源異構化數據集，所設計的基于深度神經網絡結構的電量預測模型可以高精度地預測出未來時間段內特定區域的總用電量變化趨勢，并比僅使用歷史用電數據的傳統預測模型有著更魯棒的預測準確性。

1 數據介紹

文中收集了三種來源的異構歷史數據作為訓練數據集(見表1)，具體介紹如下:

表1 多源異構數據

(1)電力資源消耗數據:智能電表是智能電網數據采集的基本設備之一，可以實現原始電能數據的高效采集和傳輸，本文以每60 min 采樣一次的采樣頻率對某市所有電力用戶智能電表數據進行采集。

(2)氣象數據:本文從中國氣象數據網[7]收集了某市的歷史氣象數據，包括氣壓、地面溫度、相對濕度、大氣密度、風速、降水量和風向等數據，同時設置采樣頻率為每小時記錄一次。

(3)基站數據:本文收集兩種數據來表征人群的移動。第一是來自社交網絡軟件應用的用戶位置信息數據，第二是蜂窩網絡運營商的用戶呼叫詳細記錄(call detail records，CDR)[8]。其中社交網絡應用都是通過移動設備中自帶的GPS 模塊來精準獲取用戶當前的地理位置信息，CDR 數據是指用戶進行撥打電話、發送短信、流量數據請求的數據，接入到特定蜂窩基站時具有用戶本身和目標地理位置信息。上述數據都將以小時為單位進行時間切片。

(4)標簽數據:本文采用人工標注的方式，對目標區域中下一時間段總用電量變化等級進行標注。變化等級分為5 級，分別是嚴重增加(等級1)、輕微增加(等級2)、保持不變(等級3)、輕微下降(等級4)、嚴重下降(等級5)。

2 設計方案

2.1 特征提取

在分析如何利用多源異構的歷史數據進行特定區域總電量消耗預測之前，定義一個合適的數據結構是十分必要的。處理時空數據時，使用矩陣作為數據表征是第一選擇。文中首先基于時空信息對數據集分別進行時間和空間的離散化。對于時間維度，考慮到所收集的所有數據都是1 h 的采樣頻率，所以本文將每天按小時劃分成24 切片。對于空間維度，本文把某市按照經度和維度(50 km×50 km)分成一個個單元。因此，本文會對每種數據源都有一個時間索引t，地域索引r；然后對每一個地域索引，利用T個歷史時間段去預測下一個時間段內該地域的總用電量變化趨勢。

2.1.1 去噪自編碼器

去噪自編碼器(Denoise Autoenoder，DAE)是基于自編碼器的一種改進模型，因為去噪自編碼器在訓練樣本時會主動加入噪聲，可以強迫模型學習潛在的特征表示并輸出沒有噪聲的樣本。智能電表所收集的數據、基站所收集的數據無法避免地會存在噪音數據和缺失數據等情況。所以，去噪自編碼器所提取的特征具有更好的魯棒性。

具有dropout 的DAE 結構如圖1 所示。DAE 以原始數據x∈Rd作為輸入，然后利用隨機映射的方式把原始數據轉換成具有噪聲的數據λ)。其中D是根據原始數據x的分布加入隨機噪聲的一種分布，λ為噪聲分布參數。在此模型中，采用高斯噪聲作為DAE 輸入的噪聲模型。然后將被映射成一個潛在的特征表示向量:

圖1 去噪自編碼器原理圖

當dropout 技術被用于深度網絡中去優化訓練過程時，自編碼器中的隱藏層神經單元將以概率q進行隨機丟棄，該丟棄概率服從伯努利分布。然后編碼器的特征表示y將轉化成丟棄后的特征表示

式中:m為隱藏向量，·表示數量積。Dropout 技術對于大型深度神經網絡的優化十分有幫助，所以在每次網絡參數迭代更新中，通過隨機丟棄隱藏層中的神經元可以訓練出具有高魯棒性的網絡。隱藏向量m中每一個數值都代表兩種選擇(0 為拋棄，1 為保留)，所以加入dropout 技術的網絡在訓練收斂時將會得到2｜m｜個網絡的一個平均表示，大大提高了后續的分類性能。

自編碼器的目標是讓z與x盡可能的相似，所以本文采用歐氏距離去表示重構誤差Γ(x，z)=‖x-z‖2。通過最小化重構誤差，整個系統的最優化超參數將會由下式計算得到:

為了使得模型所學習到的潛在特征更具備鑒別性，本文將稀疏約束添加到隱藏表示中將是稀疏表示的，其所有元素的平均值將近似為0。所以最終公式(4)目標函數將修訂成:

式中:sparse()是一種稀疏約束，在本文模型中使用KL 距離[9]來表示。

2.1.2 堆棧式去噪自編碼器

去噪自編碼器可以被堆疊起來，形成一個深度網絡，也就是堆棧式去噪自編碼器，將當前去噪自編碼器的潛在特征作為下一層的輸入，進一步去學習更深度的潛在特征。反向傳播被廣泛應用在傳統神經網絡的訓練中，也可以結合梯度優化技術來訓練深度網絡。但是反向傳播在堆棧式去噪自編碼器的訓練過程中表現很差，因為每一層都有信息丟失，導致錯誤無法正確地傳播。本文采用一種貪婪式的分層算法[10]用于訓練堆棧式去噪自編碼器。該算法是一種自下而上的無監督式預訓練方法，每一層都被訓練成一個去噪自編碼器，通過最小化重構誤差公式來學習模型的超參數。一旦第k 層被訓練完成，它可以繼續訓練第k+1 層，因此潛在特征會被下一層進行新一輪的計算。

當堆棧式去噪自編碼器訓練成功之后，本文利用其編碼器部分對多源異構數據集進行特征提取。基于堆棧式自編碼器的特征提取流程如圖2 所示，具體訓練步驟如下:

圖2 堆棧式去噪自編碼器

(1)輸入原始數據，通過最小化重構誤差來訓練第一層的去噪自編碼器，加入dropout 以防止當前訓練過擬合。

(2)將上一層編碼器的輸出作為下一層編碼器的輸入，然后通過最小化重構誤差來進行訓練，加入dropout 以防止當前訓練過擬合。

(3)迭代步驟2，直到遍歷所有隱藏自編碼器層。

(4)將最后一層自編碼器的輸出作為最終學習到的特征向量，提供給后續的監督式分類器進行預測模型的訓練。

2.2 預測模型

2.2.1 長短時記憶神經網絡

本文的目標是利用多源異構數據去預測未來時間段內電量變化的等級，考慮到這些異構數據的時空特性，循環神經網絡(Recurrent Neural Network，RNN)架構的模型適合去捕捉時空數據上的演變過程。但是普通循環神經網絡由于梯度消失和梯度爆炸的缺陷，無法獲取輸入序列數據的長時間依賴性。本文采用長短時記憶網絡來完成對時間序列的預測任務，LSTM 可以具備跨越長/短時間的學習與記憶能力，并能夠自動化地確定最優化的時間跨度進行預測。

LSTM 和RNN 一樣，是一種重復神經網絡模塊的鏈式形式，具體見圖3。LSTM 網絡結構可以用來作為時間序列的預測模型，具體來講就是輸入序列X=(x1，…，xT)，通過下述公式組迭代式地計算網絡單元激活量，最終得到輸出預測值y。

圖3 LSTM 結構示意圖

式中:i、f和o分別代表LSTM 中的輸入門、遺忘門和輸出門。c和m是每一個cell 和memory 模塊的激活向量，權重矩陣W和偏置向量b用來建立輸入層、輸出層和記憶模塊之間的聯系。這里，⊙表示兩個向量的數量積，σ(.)表示標準的logistics sigmoid函數，g(.) 和h(.)表示cell 的輸入和輸出激活函數，本文采用logistic sigmoid 函數。φ(.)是網絡輸出的激活函數，本文采用softmax 函數。

整個預測模型的示意圖如圖4 所示，首先選擇當前區域內的多源異構數據中多個時間切片，然后將每一個切片內的數據輸入到堆棧式去噪自編碼器中，進行特征提取，最后輸入到LSTM 網絡中。本文的LSTM 網絡設計為10 步，也就是利用前10 個時間切片的異構數據去預測下一個時間切片的電力資源消耗趨勢。

圖4 預測模型示意圖

2.2.2 實驗結果分析

實驗收集了某區從2018 年3 月到2018 年9 月的電力資源、氣象、人群移動這三個多源異構數據集，文中將利用這些時空數據對預測模型進行訓練并評估其預測準確率。

本文在訓練深度模型時所使用的機器配置是:Intel Xeon CPU i7-4770，GPU NVIDIA Q4000 和16G RAM。所有實驗對比數據均采用上述相同機器進行計算。

2.3 特征提取模型對比

2.3.1 SDAE 深度結構參數

文中多源異構數據集中每一類數據分別進行歸一化，并將歸一化后的數據集輸入到SDAE 模型進行無監督預訓練，并進行特征提取。SDAE 網絡模型參數主要包括三個部分，分別是隱藏層數量、隱藏層中單元數量和高斯噪聲變量。在訓練堆棧式去噪自編碼器時，文中設置隱藏層參數為1～5，設置單元數量為[10，30，60，100，200]，設置高斯噪聲變量為[0.2，0.4，0.6，0.8]。默認參數設置分別為隱藏層數量為2，單元數量為60，高斯噪聲變量參數為0.4。為了得到SDAE 最佳的深度網絡結構，本文利用LSVM 作為網絡結構性能的判斷依據，對每個網絡結構所提取的特征進行分類準確率對比。

當其中一個參數被測試時，其余參數設置為默認參數。圖5～圖7 展示了參數分析的結果。結果發現，對于隱藏層數量來說，使用SDAE 對多源異構數據進行特征提取，最佳的隱藏層數量是3；對于每個隱藏層的單元數量來說，最佳數量是100；對于高斯噪聲變量，結果發現SDAE 對此參數并不敏感，最佳變量為0.4。所以在接下來的特征提取算法對比實驗中，SDAE 模型參數設置為:3 層隱藏層，100 個單元數量和0.4 的高斯噪聲參數。

圖5 隱藏層數量對SDAE 性能的影響

圖6 隱藏層中神經單元數量對SDAE 性能的影響

圖7 噪聲分布對SDAE 性能的影響

2.3.2 特征提取算法對比

為了對比去噪自編碼器在特征提取中的表現，本文選取了四種主流的特征提取方法進行對比，分別是主成分分析(Principal Component Analysis，PCA)[11]、拉普拉斯特征映射(Laplacian Eigenmap，LE)[12]、局部線性嵌入(Locally Linear Embedding，LLE)[13]和線性判別分析(Linear Discriminant Analysis，LDA)[14]。前三種特征提取方法屬于非監督式方法，LDA 屬于監督式方法。PCA 和LDA 屬于線性方法，LE 和LLE 屬于非線性方法。本文對這四種方法所提取出的特征數量都設置為20。

當通過PCA、LE、LLE、LDA 和SDAE 進行多源異構數據集的特征提取之后，文中采用SVM 分類器(LSVM 和RSVM)對特征數據進行分類。除此之外，本文將不經過特征提取的原始數據集輸入到SVM 分類器中，來分析特征提取方法的有效性。圖8 分別展示了這些特征提取方法結合LSVM 和RSVM 的整體精度，可以觀察出，相對于直接利用SVM 對原始數據進行分類，前面提到的四種特征提取算法(PCA、LE、LLE 和LDA)反而降低了SVM 分類器的分類準確率，這也說明這四種分類器方法無法準確進行有效的特征提取。SDAE 在所有特征提取算法中表現的最好，并相對于使用原始數據直接進行分類的分類結果提升了7.2%的準確率。最終，我們驗證了基于SDAE 的特征提取方法確實能夠有效地提取特征，同時也說明使用單個時間切片進行分類的結果并不滿意(73.6%)。

圖8 特征提取方法對比圖

2.4 預測模型對比

當堆棧式去噪自編碼器訓練完成之后，便得到多源異構數據的特征向量，文中結合傳統且常用的分類器對后續的LSTM 預測分類模型進行對比評估。

在對整個預測系統進行評估之前，本文先定義三種預測誤差指標，即平均絕對誤差(Mean Absolute Error，MAE)、平均相對誤差(Mean Relative Error，MRE)和均方根誤差(Root Mean Square，RMSE)。三個誤差公式分別如公式(6)-(8)所示:

本文選擇了決策樹(Decision Tree，DT)，邏輯回歸(Logistic Regression，LR)，線性支持向量機(Linear Support Vector Machine，LSVM)和循環神經網絡(Recurrent Neural Network，RNN)這四種主流分類器作為基準算法，并與本文所采用的LSTM 算法進行對比。所有分類器的輸入均為10 個歷史時間切片的特征數據，其中RNN 模型也設置為10 步，且每步都輸入一個時間切片的特征向量。表2 列出了它們對應的MAE、MRE 和RMSE 三個結果數值。結果表明所提模型的預測誤差相對于其他基準算法來說最小。

表2 分類算法準確率對比

3 結束語

文章提出一種新型的基于多源異構數據驅動的電量預測系統，通過設計深度學習算法對目標區域內的總用電量變化趨勢等級進行高精度預測。通過多源真實數據集(電力資源數據、氣象數據和人群移動數據)驗證，所設計的堆棧式去噪自編碼器可以很好地提取異構數據集間的深度耦合特征，同時長短時記憶神經網絡可以從歷史時間維度上捕捉特征之間的潛在關聯并實現高精度電力需求預測。最終，證明了利用多源異構數據集可以更加全面地對區域性用電習慣進行建模，為電力相關部門提供高效且低時延的電力需求預測信息。