基于隨機森林與卷積神經(jīng)網(wǎng)絡的電力負荷預測研究

肖玉東

摘? ?要：針對電力負荷預測模型中變量冗余與擬合性能不佳問題，提出了應用隨機森林（RF）篩選最優(yōu)輸入變量并結(jié)合卷積神經(jīng)網(wǎng)絡（CNN）的電力負荷預測模型。實證顯示，經(jīng)RF變量優(yōu)選后模型平均MAE減少2.49%，EMSE減少3.40%;基于CNN神預測模型的平均MAE與RMSE分別降低了1.33%、2.46%。采用RF與CNN集成的方法具有最高的預測精度，其MAE為3.46%，RMSE為4.08%，該模型性能優(yōu)于其他組合方案，是電荷預測精準建模的一種可靠方案。

關(guān)鍵詞：隨機森林;卷積神經(jīng)網(wǎng)絡;變量優(yōu)選;建模預測;電力負荷

中圖分類號：TP319? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A

Research on Power Load Forecasting Based

on Random Forest and Convolution Neural Network

XIAO Yu-dong?

（Turpan Vocational and Technical College，Turpan，Xinjiang 838000，China）

Absrtact：In order to solve the problem of variable redundancy and poor fitting performance in power load forecasting model，a power load forecasting model is proposed，which uses random forest（RF） to select the optimal input variables and convolution neural network （CNN）. The empirical results show that the average Mae and EMSE decrease by 2.49% and 3.40% respectively after RF variable optimization，and the average Mae and RMSE decrease by 1.33% and 2.46% respectively based on CNN prediction model. The integration method of RF and CNN has the highest prediction accuracy，with MAE of 3.46% and RMSE of 4.08%. The performance of the model is better than other combination schemes，and it is a reliable scheme for accurate charge prediction modeling.

Key words：random forest;convolution neural network;variable optimization;modeling and forecasting;power load

電力負荷時序變化是經(jīng)濟水平、人口、氣象環(huán)境等因素非線性綜合影響的結(jié)果，其既保留了歷史電荷信息反饋特征，還受外部動態(tài)因素影響而表現(xiàn)出隨機性，因此常規(guī)數(shù)學模型難以擬合其精確演變規(guī)律[1]。隨著數(shù)據(jù)挖掘技術(shù)的深入推廣，智能化算法取代傳統(tǒng)統(tǒng)計學方法成為電力大數(shù)據(jù)信息提取的關(guān)鍵技術(shù)之一[2]。卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）是一種基于前向傳播的深層神經(jīng)網(wǎng)絡，相較于傳統(tǒng)的神經(jīng)網(wǎng)絡，它引入了卷積和池化運算，其能夠協(xié)調(diào)歷史單元信息將其反饋于前向預測，并被廣泛應用于目標檢測、文本分類、圖像處理、場景分析等領(lǐng)域[3]，然而在電荷預測研究中尚不多見。

輸入變量對電荷預測模型的泛化能力具有顯著影響。對此，相關(guān)學者提出了人工與客觀篩選法，前者受主觀臆斷限制難以取得普遍應用效果。目前較為常見的客觀選擇法有主成分分析[4]、灰色關(guān)聯(lián)分析[5]、聚類分析[6]、投影尋蹤法[7]等，其能夠避免主觀影響，卻仍未能規(guī)避變量的高度相關(guān)、共線性、信息冗余等問題，導致數(shù)據(jù)噪聲影響了模型精度。鑒于此，相關(guān)工作者提出了模擬退火[8]、粒子群[9]、貝葉斯[10]等智能搜索法，通過尋找預測誤差最小的變量方法確定輸入變量集，而該類封裝算法結(jié)構(gòu)復雜，容易陷入局部極小問題。隨機森林通過自主學習、高維映射、容錯等手段大量挖掘隱含信息，能夠排除噪聲、共線性影響，對高維非線性、非結(jié)構(gòu)化問題具有良好的自適應能力，從而更加客觀地識別單一變量對預測模型的影響[11]。本研究擬采用RF原理在對輸入變量進行無偏優(yōu)選的基礎(chǔ)上，結(jié)合CNN算法構(gòu)建電力負荷預測模型，并證明該方案的有效性。

1? ?隨機森林變量選擇

隨機森林（Random Forest，RF）基于隨機子空間理論和bootstrap方法對向量（X，Y）{Θn，k = 1，2，…，N}隨機選抽取并進行樹形生長成為決策樹，每棵樹給出最優(yōu)分類結(jié)果，最后結(jié)果為K棵樹中投票最多的選項[11]。設電荷數(shù)據(jù)訓練數(shù)據(jù)（X，Y）含n個樣本，隨機放回抽取b個子集構(gòu)建回歸樹，當抽取第i（i∈b）個子集時未被抽取的樣本為袋外（out of bag，oob）數(shù)據(jù)，另從M維矢量中選取固定維數(shù)為m（m

式中，I為最優(yōu)分裂變量，s為嵌入樣本維數(shù);Xs、Xs′分別表示變量的值與平均值。完成樹形生長后構(gòu)成隨機森林，進而計算袋外數(shù)據(jù)對模型的影響：

式中，MSE為均方殘差;n表示袋外數(shù)據(jù)樣本量;yi和yi′分別表示第i組樣本的真實電荷值與預測值。RF模型通過均方殘差減小量表征輸入變量的重要性，利用袋外數(shù)據(jù)生成K棵回歸樹得到均方殘差序列為[MSE1，MSE2，……，MSEK]，多次抽樣后生成新的K棵回歸樹，構(gòu)成袋外數(shù)據(jù)殘差矩陣。對于第m個輸入變量，其重要性度量如下：

式中，Vim為變量重要性分值，k為決策樹個數(shù)，j∈k，SE為k棵決策樹標準誤差[11]。

2? ?卷積神經(jīng)網(wǎng)絡

CNN由輸入層、卷積層、池化層、全連接層、輸出層組成的多層次網(wǎng)絡結(jié)構(gòu)[12]。其采用局部連接與權(quán)重共享方式對原始數(shù)據(jù)矩陣進行高維變換與抽象處理，可基于數(shù)據(jù)集特征構(gòu)建不同維度結(jié)構(gòu)模型，其使用的卷積和池化層運算有效自動提取數(shù)據(jù)特征向量，降低了數(shù)據(jù)重構(gòu)復雜度并增強特征量。研究表明，2D-CNN網(wǎng)絡較適用于變量維度與長度并不繁雜的數(shù)據(jù)集[12]，因此選擇2D-CNN網(wǎng)絡作為建模技術(shù)，其結(jié)構(gòu)如圖1。

輸入層用于接收多維原始變量X[x1，x2，…，xt-1，xt··· xn]T以便在網(wǎng)絡中處理。

卷積層通過對輸入向量、權(quán)重和偏置進行點積乘法運算來提取輸入特征，然后應用激活函數(shù)進行非線性映射，池化層基于空間維度的采樣算子來降低要素維數(shù)，并提取輸入特征，其運算如下：

式中C1、C2分別為卷積層1、卷積層2的輸出向量;p1、p2依次為池化層1、池化層2的輸出;w1、w2、w3為權(quán)重矩陣，b1、b2、b3、b4、b5為偏置向量;卷積與池化運算后的輸出為Hc = [hc1，hc2，…，hct-1，hct，…h(huán)ci]T，i為輸出序列長度，Relu、Sigmoid、指數(shù)函數(shù)為激活函數(shù)[2]。

全連接層由神經(jīng)元組構(gòu)成，其利用激活函數(shù)對特征向量進行權(quán)重分配，并迭代更新出較優(yōu)的權(quán)重參數(shù)矩陣。

激活函數(shù)從所提取的特征中學習負荷變化規(guī)律以實現(xiàn)預測功能，并通過輸出層得到仿真結(jié)果。輸出層計算公式為：

式中yt為第t次網(wǎng)絡訓練輸出結(jié)果，wo、bo分別為權(quán)重矩陣、偏置向量，Relu為輸出層的激活函數(shù)[11]。

3? ?算例分析

3.1? ?數(shù)據(jù)來源與誤差評價

采用中國南方某地區(qū)的2019年3月5日至27日的實際電力負荷數(shù)據(jù)集進行實驗。數(shù)據(jù)采集頻率為15 min/次，時間間隔為1 h，此外基于標準氣象臺站同步記錄了氣象數(shù)據(jù)，包含氣溫、氣壓、空氣濕度、風速等指標。基于文獻[2，13]，選擇部分歷史負荷序列與氣象數(shù)據(jù)為協(xié)變量（表1）。

備選的協(xié)變量眾多，為消除量綱差異減少數(shù)據(jù)噪聲，采用極差標準化方法將變量進行歸一化處理，公式如下：

式中，yij為第i個變量第j個樣本的標準化值;xij為其原始值;xmax i、xmin i分別表示第i個變量所有樣本中的最大、最小值。

為衡量電力負荷模擬精度，采用平均絕對誤差 （mean absolute error，MAE）百分數(shù)和均方根誤差（root mean square error，RMSE）作為評價指標，計算公式如下：

式中，n為測試樣本個數(shù);yi、yi′分別表示第i時刻負荷實際值與預測值。通常，MAE和RMSE的值越小，表明預測值越接近實際值，模型精度越高。

3.2? ?隨機森林變量選擇

依圖2可知，預選的24個變量中有u、v、w、q、a、e、j、c、b、r、x、s、d、g等14個變量的重要性分值介于2.42～15.20，而變量i、m、y、t、f、h、n、l、p、o、d的分值在-2.12～0.07之間，后者未通過5%信度檢驗的變量，對模型影響微弱。綜合而言，預測誤差隨著變量增加逐漸減少，說明嵌入維數(shù)較多利于模型平穩(wěn)性，對預測精度有所提升;但變量增加至14個以上時，預測誤差略有回升，說明輸入矢量過多，使模型結(jié)構(gòu)更為復雜，冗余信息影響了泛化效率。因此，選擇u等14個變量作為輸入變量，其他變量予以剔除。

3.3? ?基于CNN電力負荷預測模型構(gòu)建

利用RstudioVension 1.102開源軟件和RandmForest、Keras、Tensorflow程序包設計變量選擇與電力負荷預測模型。優(yōu)選的最佳變量子集經(jīng)歸一化后轉(zhuǎn)置為4-D矩陣，大小n×c×w×h，其中n表示訓練集或測試集數(shù)量，c為協(xié)變量數(shù)，w、h為輸入變量像素，且w = h。將數(shù)據(jù)集劃分為2部分，3月2日至25日的數(shù)據(jù)為訓練樣本，26-27日數(shù)據(jù)為測試樣本，運用CNN網(wǎng)絡模型進行學習訓練。利用格網(wǎng)搜索法調(diào)整CNN模型的激活函數(shù)、卷積核、每層節(jié)點數(shù)、迭代次數(shù)等參數(shù)[12]，參數(shù)設置如表2。

表2? ?基于CNN的電力負荷預測模型的網(wǎng)絡結(jié)構(gòu)參數(shù)

[網(wǎng)絡層次 卷積核 神經(jīng)元個數(shù) 激活函數(shù) 卷積層1 （2，2） 64 Relu 池化層1 （2，2） — Max 卷積層2 （2，2） 128 Relu 池化層2 （2，2） — Max 全連接層1 — 500 Relu 全連接層2 — 1 Relu ]

注：該CNN網(wǎng)絡結(jié)構(gòu)參數(shù)為經(jīng)協(xié)變量篩選之后的電力負荷預測模型。

3.4? ?結(jié)果分析及比較

圖3為基于CNN模型得到的電力負荷預測結(jié)果，為驗證算法有效性，另外運用經(jīng)典的RF回歸對測試樣本進行預測，比較其與CNN模型性能（圖3和表3）。

從表3中可直觀地看出，CNN與RF模型預測結(jié)果基本符合實際電力負荷變化，預測值與實際值擬合良好，異常值較少。從算法角度來看，CNN模型的精度更高，平均MAE比RF模型的降低了1.33%，RMSE則減少了2.46%。文獻[12]等也證明了在解決某些回歸問題中，CNN模型性能優(yōu)于RF模型。

基于變量角度，經(jīng)變量選擇后的模型其平均MAE比未篩選變量的模型減少了2.49%，EMSE則減少了3.40%，這證明了變量選擇有助于提升模型性能。變量優(yōu)化剔除了冗余特征，避免噪聲對重要變量的遮蔽，進而促進模型泛化[14]。

綜合不同算法與變量設置情況，基于RF變量選擇的CNN模型具有最高的預測精度，其MAE為3.46%，RMSE為4.08%，均小于其他預測方案，表明該方案在電力負荷預測過程中的有效性。

4? ?結(jié)? ?論

電力負荷預測對協(xié)變量具有一定依賴性，從海量數(shù)據(jù)中選取合適變量集是優(yōu)化電力負荷預測的有效方法之一。RF算法洞察協(xié)變量與電力負荷之間的關(guān)系，通過隨機抽樣的方法計算袋外數(shù)據(jù)對模型性能的影響進而對變量的重要性進行打分，這一變量選擇過程是無偏最優(yōu)的，通過對輸入變量篩選后能夠簡化電力負荷預測模型結(jié)構(gòu)、提升訓練速率和泛化能力。CNN回歸模型能自動獲取電力負荷與協(xié)變量之間的復雜關(guān)系，并實現(xiàn)特征提取與智能模擬。與RF算法相比，該深度學習技術(shù)的預測精度有一定改進，能更有效反映電力負荷時間變化。RF與CNN組合算法從變量輸入與數(shù)值擬合兩個階段優(yōu)化電力負荷預測，為進一步改進預測性能提供技術(shù)參考。

參考文獻

[1]? ? 徐堯強，方樂恒，趙冬華，等. 基于LSTM神經(jīng)網(wǎng)絡的用電量預測[J]. 貴州電力技術(shù)，2017，20（8）：25-29.

[2]? ? 趙兵，王增平，紀維佳，等. 基于注意力機制的CNN-GRU短期電力負荷預測方法[J]. 電網(wǎng)技術(shù)，2019，43（12）：4370-4376.

[3]? ? 楊維全，朱元振，劉玉田. 基于卷積神經(jīng)網(wǎng)絡的暫態(tài)電壓穩(wěn)定快速評估[J]. 電力系統(tǒng)自動化，2019，43（22）：46-52.

[4]? ? 劉寶英，楊仁剛. 基于PCA-LSSVM的電力系統(tǒng)負荷預測方法[C]// 輸配電技術(shù)國際會議，2007.

[5]? ? 張冰，周步祥，石敏，等. 基于灰色關(guān)聯(lián)分析與隨機森林回歸模型的短期負荷預測[J]. 水電能源科學，2017（4）：203-207.

[6]? ? 黃青平，李玉嬌，劉松，等. 基于模糊聚類與隨機森林的短期負荷預測[J]. 電測與儀表，2017，54（23）：41-46.

[7]? ? 吳瀟雨，和敬涵，張沛，等. 基于灰色投影改進隨機森林算法的電力系統(tǒng)短期負荷預測[J]. 電力系統(tǒng)自動化，2015，39（12）：50-55.

[8]? ? 李泓澤，郭森，李緩，等. 考慮經(jīng)濟發(fā)展趨勢的中長期電力負荷SALSSVM預測[J]. 陜西電力，2013，41（4）：57-60.

[9]? ? 陸寧，武本令，劉穎. 基于自適應粒子群優(yōu)化的SVM模型在負荷預測中的應用[J]. 電力系統(tǒng)保護與控制，2011，39（15）：43-46.

[10]? 馮迎春，莊燕飛，任慶帥，等. 基于貝葉斯神經(jīng)網(wǎng)絡的電網(wǎng)超載負荷預測模型優(yōu)化[J]. 電氣應用，2016（4）：38-41.

[11]? BREIMAN L. Random forest[J]. Machine Learning，2001，45：5-32.

[12]? PYO J C，DUAN H，BAEK S，et al. A convolutional neural network regression for quantifying cyanobacteria using hyperspectral imagery[J]. Remote Sensing of Environment，2019，233：111350.

[13]? 鄒品晶，姚建剛，孔維輝，等. 基于多變量時間序列反演自記憶模型的中長期電力負荷預測[J].電力系統(tǒng)及其自動化學報，2017，29（10）：98-105.

[14]? 梁智，孫國強，衛(wèi)志農(nóng)，等. 基于變量選擇與高斯過程回歸的短期負荷預測[J]. 電力建設，2017，38（2）：122-128.