基于貝葉斯深度學習的用戶凈負荷預測方法

馮桂玲 鄭曉暉 李思韜 莊大海

1(國網福建省電力有限公司福州供電公司 福建 福州 350009) 2(國網信通億力科技有限責任公司 福建 福州 350003)

0 引 言

電力負荷的可預測性受到氣候變化、分布式可再生能源發電、電動汽車、能源效率和需求響應的不確定性的影響[1]。因此，提高概率凈負荷(即微電網和公用電網之間的交易負荷)預測的準確度對于捕捉這些巨大的不確定性非常重要，有助于未來智能低碳能源系統的運行和規劃。

傳統的點預測方法[2]能夠有效實現系統峰值負荷預測和節點負荷預測。然而，由于電動汽車充電、可再生能源發電、氣候變化等都具有不確定性，點預測只能為嚴重依賴期望值的決策過程提供單時間步長輸出，適用性很弱。理想的預測模型應該能夠通過分位數、區間或概率密度函數來表示不確定性，并能應用于電力市場概率潮流分析、可靠性規劃和最優報價等。概率負荷預測主要方法有直接建立概率預測模型[3]或對多個場景進行確定性模型，得到概率預測結果[4-5]。文獻[6]提出了一種混合型概率負荷預測模型，基于改進的小波神經網絡，經過廣義極值學習機的訓練，在捕獲預測模型和數據噪聲不確定性的同時，為負荷預測提供一個概率區間。

凈負荷預測對智能電網的管理、運營、資源分配和電力市場等非常重要[7]。考慮分布式可再生能源(如本地光伏發電)的凈負荷，需要考慮更多的不確定性，特別是當光伏發電部分可見或完全不可見時。通過統計預測類方法或人工神經網絡(Artificial Neural Network,ANN)能夠進行凈負荷預測。文獻[8]為解決不可見的高PV滲透問題，將凈負荷分布分解為PV輸出、實際負荷和剩余負荷，并依次進行預測。文獻[9]采用一個帶有Levenberg-Marquardt訓練算法的神經網絡來進行饋線凈負荷預測。

近年來，深度學習在多個領域受到了廣泛關注[10]。在能量相關的時間序列預測方面，文獻[11]使用深度學習方法進行負荷預測，并比較了兩種受限玻爾茲曼機的性能。文獻[12]提出了一種基于深度學習、分位數回歸和核密度估計的短期電力負荷概率預測模型。長短時記憶(The Long Short-Term Memory,LSTM)網絡解決了原始循環神經網絡(Recurrent Neural Networks,RNN)的缺陷，它具有一個可以長時間保存信息并處理長期依賴問題的記憶單元。文獻[13]采用深度LSTM網絡來處理家庭負載中的高波動性和不確定性，并驗證了它的優越性。文獻[14]通過在訓練過程中引入高斯噪聲，提出了一種改進的分位數回歸神經網絡。雖然上述研究已說明了深度學習在負荷預測上的優越性，但從本質上來說，大多數研究實際上是基于統計確定性模型的，缺乏捕捉認知不確定性的能力。貝葉斯深度學習(Bayesian Deep Learning,BDL)作為一種新的概率型深度學習模型，在計算機視覺、自然語言處理、醫學診斷和自動駕駛等領域得到了越來越廣泛的應用。BDL通過概率論的視角構建了更可解釋的深度神經網絡。

本文同時考慮了認知不確定性和隨機不確定性，將貝葉斯理論和深度LSTM網絡相結合，提出一種基于BDL的概率凈負荷預測方法。本文方法采用聚類對居民用戶進行分組，并將PV輸出作為網絡訓練輸入的一部分。本文充分利用了智能電表數據和部分可見PV輸出數據，算例研究基于真實的光伏發電和來自澳大利亞電網的負荷數據，通過聚類、預測和聚合進行日前凈負荷概率預測。本文方法在確定性預測和概率性預測兩方面均有較好的效果，通過與其他方法比較，證明了聚類和高滲透PV可見性的重要性。

1 研究面臨的主要挑戰

分布式光伏發電的廣泛應用及其間歇性的特性大大降低了居民凈負荷的可預測性。本文主要面臨以下挑戰：

(1) PV可見度：安裝在儀表后的分布式光伏對配電網一般是不可見的，這增加了凈負荷的不確定性和負荷預測的困難程度，特別是在高PV滲透率的情況。隨著計量技術的發展，一些居民用戶安裝了可以單獨測量用電量和屋頂光伏發電量的電表，使分布式光伏發電部分地呈現在電網監控中，并提供了細粒度數據。因此，可以充分利用部分可見PV數據的方法來提高凈負荷預測性能。

(2) 大規模隨機不確定性：聚集型凈負荷的不確定性由負荷不確定性和分布式PV不確定性兩部分組成。凈負荷中包括不同來源(如氣候變化、間歇性發電和非周期性人為活動)注入的隨機不確定性。近年來，凈負荷預測方面的研究大多只能提供含上下界的預測區間，沒有給出關于每個時間步長的預測詳細信息。此外，大多數概率預測模型通常基于固有的確定性模型，要么利用殘差的概率密度函數進行點密度預測，要么對多個點預測結果進行后處理以生成分位數，在精確捕獲隨機不確定性方面能力有限。因此，構建一個概率型深度學習模型來處理凈負荷中大量的隨機不確定性，并為電網運行決策提供可靠邊界是非常重要的。

(3) 認知不確定性：即模型的不確定性，主要體現在模型參數和模型結構中的設計認知方面。在概率凈負荷預測中，認知不確定性直接影響到模型輸出的準確性。在大量潛在的模型結構和參數中，了解所選參數在多大程度上能夠準確預測不同條件下(例如，季節、周末/工作日和社會因素)的凈負荷是很重要的。

為了有效地應對上述挑戰，本文提出一種基于貝葉斯深度學習的概率凈負荷預測方法。

2 貝葉斯深度學習

2.1 BDL在凈負荷預測方面的優勢

為了解決不可讀神經計算模型黑匣子、不確定性表征較弱和數據需求大的問題，本節分析使用BDL進行凈負荷預測的原因：

(1) 具有構建考慮不確定性的概率模型的能力：傳統神經網絡有固定的參數，貝葉斯網絡參數(權值和偏差)為條件概率。貝葉斯模型從其參數中采樣來生成結果，本質上是概率性的，而非確定性的。

(2) 能夠同時捕獲模型不確定性和隨機不確定性：現有的貝葉斯深度學習方法大多只能單獨捕獲認知不確定性或隨機不確定性[15]，而本文所提貝葉斯深度LSTM網絡(Bayesian deep LSTM network,BDLSTM)可以同時捕獲兩種不確定性。通過在模型的權值上給定一個先驗分布來捕獲認知不確定性；然后，通過推理算法對后驗進行近似，由權值分布的形狀來表示認知不確定性；通過在輸出上給出一個小方差分布(通常是高斯隨機噪聲)來捕獲隨機不確定性。

(3) 可用概率論解釋：傳統的深度神經網絡利用神經元記憶訓練數據中的信息，其參數沒有物理意義，可以是任意值。貝葉斯網絡通過貝葉斯理論來計算參數值，使參數可解釋，令網絡能感知結果的可確定性。此外，BDL可以校準預測的不確定性。例如，在凈負荷預測中，當預測過程中遇到與歷史值極不相同或極不合理的輸入特征時，會給出無法處理的信息，而不是像目前的深度學習模型那樣給出偏差較大的預測，不能具體地判斷和驗證結果的可信性。另外，可以幫助預測人員確定當前模型是否需要使用最新數據進行更新或重新訓練。

(4) 小數據集的可靠性：許多實際任務的數據量有限，傳統的深度學習系統無法處理這些數據。傳統的深度學習通常需要數百萬個訓練樣本，通過智能測量系統采集的測量數據不足，預測性能受到限制。然而，采用BDL進行預測所需的數據較少。通過將先驗知識集成到學習系統中，BDL可以通過對隱藏單元或神經網絡參數施加先驗，使網絡能夠利用內置的隱式正則化的優點實現模型復雜性自動控制。

2.2 貝葉斯深度LSTM網絡(BDLSTM)

長短時記憶網絡[16]是一種特殊的遞歸神經網絡結構，文獻[13]將其用于短期住宅負荷預測。LSTM的深層結構可以通過一系列線性或非線性函數幫助學習輸入特征和輸出居民負荷數據之間的高度非線性關系。為描述所提貝葉斯深度神經網絡的基本結構，首先給出一個LSTM單元的結構如圖1所示。LSTM單元在一個特定的時間步長t上的輸入是過去狀態ht-1和當前輸入xt。通過四個完全連接的神經元ft、gt、it和ot，使用輸入門、遺忘門和輸出門來實現記憶或遺忘信息的功能。輸入門控制新輸入信息，遺忘門決定將傳輸多少以前的信息，輸出門決定在這個時間步長的輸出。前一時間的輸出ht作為下一個時間步的輸入，采用ct決定長期的依賴關系。整體計算如下：

(1)

(2)

(3)

(4)

共同獲取認知不確定性和隨機不確定性的BDLSTM對LSTM網絡權重和偏置參數進行了先驗分布，然后對給定的數據進行了后驗分布的推導。

Xtrain=[x1,x2,…,xTtrain]T∈RTtrain×dx、Ytrain=[y1,y2,…,yTtrain]T∈RTtrain×dy分別表示需要訓練的BDLSTM模型的輸入數據和輸出標簽，其中：Ttrain為訓練數據點的總數；dx和dy表示輸入、輸出的維數。深度LSTM網絡的主要目標可以形式化為確定函數y=fW(x)的最佳參數W，該參數有可能生成輸出(即實際凈負荷)。本文y=fW(·)表示具有NL層的深度LSTM網絡，模型參數為W=[W1,W2,…,WNL]是一組隨機變量。圖2給出了所提BDLSTM網絡的貝葉斯LSTM單元的示例，并在第一層放大了第t步的遺忘門。詳細的數學說明如下。

2.2.1認知不確定性

認知不確定性包括結構不確定性和模型參數不確定性。結構不確定性是指在選擇模型結構進行數據外推或內插時的不確定性。在眾多可能的模型參數中，應選擇哪一組參數來最好地解釋觀測結果的不確定性，用模型參數不確定性表示[15]。

為了處理認知不確定性，將先驗分布(如N(0,I))置于W上。先驗分布可分為無信息先驗分布、高信息先驗分布、中等信息層次先驗分布[17]。對于貝葉斯深度神經網絡，先驗分布應該代表對神經網絡參數(權值和偏差)分布的先驗信念，由于這些參數的物理意義尚不明確，因此難以識別。根據文獻[15]，當先驗信念難以確定時，可采用標準參數分布。因此，將標準正態分布作為本文的先驗，其零均值有利于正則化。在訓練貝葉斯深度神經網絡后，將使用后驗分布來生成預測樣本。

在確定適當的先驗之后，模型似然p(Ytrain|fW(Xtrain))被定義為具有恒定噪聲水平σ的正態分布N(fW(Xtrain)，σ2)。根據貝葉斯規則，計算后驗p(W|Xtrain，Ytrain)：

(5)

式中：p(W|Xtrain，Ytrain)為無法解析估計的邊際概率。為此，提出了變分推理和馬爾可夫鏈蒙特卡羅(Markov Chain Monte Carlo,MCMC)[18]等不同的推理方法來逼近。對于訓練數據{Xtrain,Ytrain}，p(W|Xtrain,Ytrain)表示權值上的后驗分布。給定新輸入點x，新輸出y，定義為一個隨機變量，可以通過積分來預測：

(6)

KL(qθ(W)‖p(W|Xtrain，Ytrain))=

(7)

p(y|x,Xtrain，Ytrain)=

(8)

(9)

M(y;fW(x),σ2)，得到了估計量：

(10)

MU(x,y,W)+σ2

(11)

式中：

(12)

式(12)表示認知不確定性，用于度量模型對其輸出的不確定性的程度。

2.2.2隨機不確定性

根據不確定性與輸入之間的依賴關系，將隨機不確定性進一步分為齊次不確定性和異方差不確定性[19]。對于齊次不確定性，觀測噪聲參數σ是固定的。在處理凈負荷時，不確定性隨時間變化，需要捕捉異方差的不確定性。為此，需要將式(11)中的σ調整為輸入x的函數。令Ttrain表示訓練觀測的個數，數據相關異方差模型的損失函數可以表示為：

(13)

在這種情況下，進行最大后驗(Maximum A Posteriori,MAP)推理來定位參數θ。

2.2.3組合不確定度

(14)

(15)

所提BDLSTM模型的預測不確定度Var[y]，由隨機不確定度和認知不確定度組成：

(16)

貝葉斯深度學習的詳細解釋可見參考文獻[20]。

3 基于BDLSTM的短期凈負荷預測方法

在上述BDLSTM模型的基礎上，本文提出一種新的概率型短期凈負荷預測方法，充分利用居民用戶數據和部分可見的PV數據，提高預測性能。本文方法包括四個部分：聚類階段、特征構建階段、預測階段和聚合階段，如圖3所示。

3.1 聚類階段

聚類階段是根據平均日凈負荷將用戶分到不同的集群中，并從每個集群中提取有代表性的凈負荷曲線。這可以揭示關于聚合負荷的更多信息，進一步幫助提高預測精度。然而，為每個用戶構建BDLSTM模型并將其聚合起來是不切實際的。聚類能夠平衡模型數量和預測精度，可以有效地降低計算復雜度。

設L=[L1,L2，…,LN]∈RT×N為N個居民用戶的歷史負荷數據，其中T為觀測總數。首先，將所有用戶分成不可見光伏發電和可見光伏發電兩種：分別以Linv∈RT×Ninv和Lvis∈RT×Nvis表示，其聚類數量分別由Kinv和Kvis表示。基于平均日凈負荷模式Linv和Lvis，采用凝聚法分層聚類——Ward離差平方和法[21]，分別定義為RLPinv∈RNinv×48和RLPvis∈RNvis×48，得到每個用戶的聚類標簽。層次聚類具有確定性，并可根據需要，在任意數量的聚類處終止聚集過程。為不可見組和可見組聚合每個集群中的子空間，以獲得更高級別的凈負載：

(17)

3.2 特征構建階段

特征構建階段識別有助于預測相關變量，并為BDLSTM模型構建訓練和測試集。在短期負荷預測中，特征選擇是去除無效候選特征從而獲得可靠預測結果的關鍵步驟。為了自動選擇有效特征，將輸入特征與目標變量的相關性以及候選特征之間的冗余度作為兩個關鍵的信息判據[22]。在此基礎上，基于互信息(Mutual Information,MI)和交互增益(Interaction Gain,IG)，文獻[23]提出了交互作用的概念，以度量預測過程中候選特征之間的交互作用。

深度學習技術不需要大量的專業數據和細致的特征設計。因此，本文的研究重點不是實現或提出新的特征選擇方法，而是研究新的貝葉斯深度學習技術，其優點是在考慮不確定性的情況下，基于原始特征自動識別具有代表性的特征。后續可以將特征選擇方法整合到所提框架中，以進一步提高預測性能。特征選擇應該反映季節效應、溫度關系和其他相互作用的影響[2]，為此，手動為可見組和不可見組選擇兩組特性。

(18)

(19)

3.3 預測階段

3.4 聚合階段

(20)

如果A和B服從各自的高斯分布：

(21)

那么，兩個高斯分布的卷積也是一個高斯分布：

(22)

在這種情況下，因為聚類是根據用戶的凈負荷模式來區分用戶，可假設每個集群的概率預測是相互獨立的。此外，通過所提貝葉斯深度學習方法得到的個體概率預測(不確定性分量)都服從高斯分布。因此，通過上述卷積過程可以直接估計最終聚合凈負荷的分布，其表達式為：

(23)

4 算例分析

4.1 算例描述

本研究算例分析基于從澳大利亞電網收集的真實智能電表數據，包括悉尼的負荷中心和新南威爾士州的區域[24]，數據集包括從2010年7月1日到2013年6月30日每半小時獨立的屋頂光伏發電和負荷的測量數據。算例包含300個用戶的負荷和PV數據，訓練集有21 024個觀察值，測試數據集有480個觀察值。總凈負荷直接由每個家庭的用戶用電量和PV輸出之間的差值相加得到。

4.2 實驗設置

為驗證本文方法的優越性，將其與其他負荷預測方法進行比較。方法M1(多元線性回歸)[2]和M2(長短時記憶)[13]是點預測技術，M3(分位數回歸)[2]、M4(支持向量分位數回歸)[25]、M5(梯度增強分位數回歸)[4]和M6(分位數隨機森林)[4]是概率模型。本文方法M7(BDLSTM)是唯一能在單一模型中同時捕獲認知不確定性和隨機不確定性的方法。由網格搜索和交叉驗證確定的BDLSTM模型的超參數如表1所示。所有測試的算法都是用Python語言實現的，主要軟件包采用了Scikit-learn[26]、Keras[27](M1-M6)和Edward[28](M7)，并在Intel Xeon PC上運行。

表1 BDLSTM的超參數

4.3 評價指標

(1) 確定性預測的度量：RMSE度量實際值與預測值之間誤差平方和平均值的平方根，表達式如下：

(24)

NRMSD可計算為：

(25)

MAE和MAPE分別以單位kW和%表示實際凈負荷與預測凈負荷的絕對差值，其表達式如下：

(26)

(27)

(2) 概率預測的度量：為了評估概率預測方法的性能，校準、可靠性和銳度是表示估計分布的一致性、變化和緊密性的三個主要因素。Pinball損失函數是衡量上述因素最全面的指標之一，其計算式表示為：

(28)

計算所有Pinball損失函數值的平均值是為了評估q=0.01,0.02,…,0.99的概率預測的總體性能，較低的值表示更好的性能。Winkler評分是概率預測的另一種綜合指標，它可以同時衡量無條件覆蓋和區間寬度，其計算式可以表示為：

(29)

式中：maxt和mint分別表示α=0.1時，時間t的概率預測的上界和下界；α為比例增益系數；δ為偏置系數。較低的分數說明概率估計結果較好。

4.4 確定性和概率性預測結果

本節將BDLSTM方法與其他方法在點預測和概率預測結果方面的預測性能進行比較。M3-M7使用第50個百分位值來評估其確定性預測結果。首先，對于所有方法，假設所有用戶都屬于一個集群(即K=1)，PV數據對于每個用戶都100%可用。

表2給出了RMSE、MAE、MAPE和NRMSD的點預測結果。結果表明，與多元線性回歸(M1)方法相比，BDLSTM模型(M7)的RMSE、MAE、MAPE和NRMSD分別降低了約60.60%、62.15%、62.28%和65.98%。與分位數隨機森林(M6)方法相比，BDLSTM模型四個評價指標的改進幅度分別約為14.63%、10.29%、4.80%和15.21%。

表2 不同方法的各種指標預測對比結果

為了說明BDLSTM方法的有效性及其捕獲不確定性的能力，得到不同概率方法的總體概率評估度量值，如表3所示。結果表明，貝葉斯深度LSTM網絡的預測精度最高，其次是分位數隨機森林法(M6)。M7具有最佳的預測能力這一事實說明了同時捕獲認知不確定性和隨機不確定性的重要性。如表3所示，M3和M4在這方面性能較差，因為只考慮了凈負荷數據中的不確定性。觀察可知，不同概率預測方法的性能排序與點預測結果一致：M7(BDLSTM)的性能優于其他測試方法，例如，與M3相比，Pinball損失和Winkler評分分別改進了約64.46%和60.57%。

表3 不同方法的點預測結果

此外，圖4和圖5顯示了M6模型和BDLSTM模型得到的10個試驗天的預測結果。在測試期間的實際凈負荷由帶點的黑色曲線表示。98%、90%、70%和50%的置信區間是由不斷加深的灰色細框表示的。一般情況下，概率預測性能主要從可靠性、清晰度和分辨率三個方面進行評價，并通過綜合評價標準Pinball損失和Winkler評分來量化。觀察可知，M6高估了10個測試日的峰值需求，并有誤導性的趨勢，本文方法可以很好地預測每天高峰時段的凈負荷。

此外，將測試數據集從10天擴展到4個季節，以研究不同季節的概率預測性能。表4給出了所有概率預測方法(M3-M7)的平均Pinball損失值。可以看出，盡管不同季節的相對改善量不同，但本文方法始終優于其他方法，例如，在年度四個季節，M7與M6相比，其平均Pinball損失值低40.14%、29.99%、6.83%和26.77%。

表4 不同季節的平均Pinball損失

表5給出了所有測試方法的訓練過程的CPU時間。BDLSTM方法比大多數其他測試方法需要更長的訓練時間。然而，模型訓練是一個離線過程。在給定輸入特征的情況下，所提模型進行日前預報只需幾秒鐘的時間。

表5 各方法訓練過程的CPU時間

4.5 不同數量的集群

本節驗證所提框架中聚類階段的有效性。假設所有PV數據仍然可見，并且集群的數量設置為K=[1，2，3，4，5，6]。圖6為不同集群數量的預測性能。

從K=1到K=4的Pinball損失、RMSE、MAE、NRMSD和MAPE分別改善了3.39%、5.99%、8.96%、8.77%和7.40%。此外，這些獨立的集群都100%PV可見的情況下，由相同的網絡結構進行訓練。因此，進一步調整每個集群的超參數可以提高聚合級別上的預測性能。

此外，為了研究由可見性所得用戶類別對預測模型的影響，還評估了在可見度為50%的情況下，Kvis和Kinv不同組合的概率預測性能。表6給出了BDLSTM方法在K=Kinv+Kvis不同情況下的平均Pinball損耗，其中：Kinv=1,2,3；Kvis=1,2,3。結果表明，最優組合為Kinv=1、Kvis=3，與無聚類情況(Kinv=1,Kvis=1)相比，平均Pinball損失提高了約31.14%。此外，無論對于可見組還是不可見組，增加集群數量都比不聚類情況下的Pinball損失更低，這說明了所提框架中聚類階段的有效性。如果集群的數量增加到一個相對較大的值(例如，Kinv=4,Kvis=4)，計算出的Pinball損失可能會比沒有集群的情況下更大，因此，必須為Kinv/Kvis選擇一個合適的范圍，以確定最佳組合。

表6 不同集群數的平均Pinball損失

4.6 不同PV可見度

本節研究分布式光伏發電的可見性對凈負荷預測準確性的影響。假設K=1，PV可見度為vis=[0,0.2,0.4,0.5,0.6,0.8,1]。vis=0和vis=1分別表示不可見和完全可見PV，其他值表示PV部分可見。例如，vis=0.5說明300戶家庭中有50%的屋頂光伏發電有單獨的電表，而其余的光伏輸出無法測量。

表7包含了不同可見度下Pinball損失和Winkler評分的結果。由結果可知，增加可見的光伏發電可以提高負荷預測性能。考慮到電表安裝成本，可以根據運營商的需求，權衡預測準確性和安裝成本。例如，如果運營商可以接受Pinball損失值下降約13%(vis=0.6與vis=1)，那么60%的家庭屋頂光伏發電需要安裝獨立電表，從而減少其安裝的成本。

表7 不同光伏可見度下的凈負荷預測性能

續表7

概率預測方法不同可見度下的Pinball損失，如表8所示。可以看出，隨著PV可見度的增加，所有方法的概率凈負荷預測準確性都得到了提高。結果證明BDLSTM方法在不同可見度下的優越性和有效性。為進一步提高本文方法的性能，后續可通過估算不可見PV發電出力，增加PV的可見性。

表8 各方法不同PV可見度下的平均Pinball損失

5 結 語

本文提出一種利用貝葉斯深度LSTM神經網絡，同時處理認知不確定性和隨機不確定性的概率凈負荷預測方法。本文方法通過聚類為每個單獨的集群建立深度學習模型，并在最后聚合每個集群的概率預測結果，以獲得最終預測的總凈負荷，從而提高預測性能。算例分析了該方法的整體性能，并與一系列概率預測模型進行了比較，評價結果驗證了BDLSTM方法的優越性，并分析了聚類和提高PV可見性對提高預測準確性的效果。

未來將進一步深入研究貝葉斯深度學習，考慮具有更高不確定性的問題，例如：家庭層面的凈負荷預測與更高的PV滲透率問題。此外，如何選擇一個合適的先驗仍然是貝葉斯深度學習值得關注的問題。