基于長短期記憶網絡和LightGBM 組合模型的短期負荷預測

陳緯楠，胡志堅，岳菁鵬，杜一星，齊 祺

（1. 武漢大學電氣與自動化學院，湖北省武漢市430072；2. 廣東電網有限責任公司電力科學研究院，廣東省廣州市510080）

0 引言

短期負荷預測主要對未來幾小時或幾天的用電負荷進行預測，是電網合理調度和平穩運行的基礎［1］。近年來，智能測量設備為電力部門提供了數量更大、質量更高的負荷數據，現代氣象預報技術提供了更高時空分辨率、更高精度的天氣數據，為以人工智能為代表的新型負荷預測技術奠定了堅實的數據基礎［2］。

目前，關于短期負荷預測的方法主要有傳統的統計學方法和基于機器學習的預測方法［3］。其中，統計學方法主要有多元線性回歸（MLR）［4］、時間序列分析法［5］和卡爾曼濾波法［6］等，這類方法原理與建模簡單，但當數據樣本容量較大時，預測效果一般。另一類方法則基于機器學習算法，例如灰色系統［7］、人工神經網絡［8］、支持向量機（SVM）以及高斯過程（GP）［9］等。其中，反向傳播（BP）神經網絡和SVM 的應用最為廣泛。文獻［10］采用多層聚類法對輸入數據進行預處理，然后使用改進的BP 神經網絡完成了負荷預測。文獻［11-12］分別采用蚱蜢算法和小波變異果蠅算法對SVM 模型進行了改進，也取得了不錯的預測效果。但上述方法缺少對時間序列相關性的考慮，并且當訓練樣本較多時存在無法有效收斂的問題［13］。近年來，以長短期記憶（LSTM）網絡為代表的深度學習算法在負荷預測領域取得了較好的應用，LSTM 網絡可以充分挖掘時序數據之間的內在關聯，但當特征為非連續數據時，預測精度不高［14］。此外，梯度提升機（GBM）模型的相關改進算法也對回歸預測問題有著不錯的效果，例如極端梯度提升機（XGBoost）［15］以及輕梯度提升機（LightGBM）［16］等。它們具有訓練速度快、內存占用低等優點，但缺乏對時間序列的整體感知能力。

為了克服單一模型在電力負荷預測精度上的不足，組合預測的方法應運而生。文獻［17］指出，當每種單一模型包含預測對象的不同信息時，采用組合預測的方法可以提高結果的精度。文獻［18］將全連接網絡、LSTM 網絡和殘差網絡相融合。文獻［19］通過膜計算的方法將線性回歸、趨勢外推、灰色模型和SVM 相組合。以上文獻通過多模型的合理組合，均取得了較好的預測效果。

本文采用組合預測的方法，將海量的負荷數據、溫度數據、日期數據以及節假日信息等作為輸入特征，分別輸入LSTM 網絡以及LightGBM 模型，然后通過最優加權法確定權重系數，從而得出待預測日24 個時刻的負荷預測結果。該組合預測模型能夠結合2 種模型各自的特點，既可以挖掘長時間數據之間的內在聯系，又可以避免非連續性特征對預測精度的不良影響。算例測試結果表明，本文組合模型能夠降低單一模型在極端場景下的誤差，相比于其他組合模型，也具有更加穩定的預測效果。

1 基于LSTM 網絡的負荷預測模型

1.1 LSTM 網絡

LSTM 網絡是由循環神經網絡改進而來，其獨特的記憶結構能夠顯著改善訓練時權重影響過大以及梯度消失等問題。LSTM 網絡的基本組成單元主要包括遺忘門、輸入門和輸出門［20］，具體結構如附錄A 圖A1 所示，各變量的計算公式如下。

式中：ft為遺忘門中的計算變量；it和gt為輸入門中的計算變量；ot為輸出門中的計算變量；at-1和xt分別為t-1 時刻的輸出和t 時刻的輸入，共同組成t 時刻 各 門 的 輸 入；Wf，Wi，Wg，Wo分 別 為 輸 入 變 量 在相 應 門 中 的 權 重 矩 陣；bf，bi，bg，bo分 別 為 相 應 門 中的偏置項；ct-1和ct分別為t-1 和t 時刻的狀態記憶變量；σ 為sigmoid 函數；⊙表示矩陣的哈達瑪積。

1.2 基于LSTM 網絡的負荷預測模型構造

式 中：xi和分 別 為 歸 一 化 前 后 的 值；xmin和xmax分別為原數據的最小值與最大值。

最后，需要對模型的網絡結構進行設計，采用如附錄A 圖A2 所示的深度LSTM 網絡模型結構，由1 個輸入層、多個隱藏層和1 個輸出層構成。前一個隱藏層的輸出作為后一個隱藏層的輸入，實現對輸入數據特征的深度提取，最終通過全連接層輸出并反歸一化后，得到24 個時刻的負荷預測值。

2 基于LightGBM 模型的負荷預測模型

2.1 LightGBM 模型

LightGBM 模型于2017 年由微軟團隊首度提出，是一種改進的梯度提升決策樹框架。它的基本思想是通過M 棵弱回歸樹線性組合為強回歸樹，如式（8）所示。

式中：F(x)為最終的輸出值；fm(x)為第m 棵弱回歸樹的輸出值。

LightGBM 模型的主要改進包括直方圖算法和帶深度限制的葉子生長（leaf-wise）策略［21］。直方圖算法將連續數據劃分為K 個整數，并構造寬度為K的直方圖。遍歷時將離散化的值作為索引在直方圖中累積，進而搜索出最優的決策樹分割點。

而帶深度限制的leaf-wise 策略是指在每次分裂時，找到最大增益的葉子進行分裂并循環下去。同時，通過樹的深度以及葉子數限制，減小模型的復雜度，防止出現過擬合。

通過上述改進措施，LightGBM 模型大大減少了內存的占用，訓練時間僅為XGBoost 模型訓練時間的1/10，并且準確率有所提升，十分適合處理負荷預測這類數據量較大的問題。

2.2 基于LightGBM 模型的負荷預測模型構造

LightGBM 模型的輸入和輸出結構與LSTM 網絡有所不同，它無法一次性得到待預測日24 h 的負荷值，因此需要利用訓練好的模型對每一個時刻分別進行預測。

本文選取待預測時刻的氣溫預報值、對應的月份、當月的第幾日、當日的第幾小時、是否為周末（周六日）、是否為法定節假日以及前一天對應時刻的負荷值作為該模型的輸入，輸出為待預測時刻的負荷值，共24 個輸出。預測過程的示意圖如附錄A圖A3 所示。

此外，由于LightGBM 模型是基于概率的決策樹模型，無須對輸入特征做歸一化操作，只要對其適當編碼即可。

3 組合預測模型

3.1 最優加權組合法

在分別采用LSTM 網絡和LightGBM 模型得出負荷預測的結果之后，需要確定權重系數來將兩者進行線性組合。本文采用最優加權組合的方法［22］，具體步驟如下。

首先求出偏差矩陣E，即

式 中：N 為 負 荷 采 樣 總 數；e1t和e2t分 別 為LSTM 網絡和LightGBM 模型在t 時刻的預測值與真實值的誤差。

通過拉格朗日乘子法可以求出最優權重，如式（10）所示。

式中：w1和w2分別為LSTM 網絡和LightGBM 模型的權重系數，系數之和為1；R=[1，1]T。

綜上，可以得出最終的負荷預測結果如式（11）所示。

3.2 組合預測流程

組合預測的流程如圖1 所示。

首先對原始數據進行預處理并劃分訓練集、驗證集和測試集。其中，訓練集用于訓練每個模型的連接值等普通參數。根據驗證集的評估效果，可以對迭代次數等超參數進行調優。測試集則用于實際的負荷預測試驗。在經過模型訓練與參數調優后，對測試集中的待預測日進行獨立預測，最后通過最優加權法得出組合預測的結果。

4 算例分析

4.1 實驗數據和平臺

圖1 組合預測流程圖Fig.1 Flow chart of combined prediction

本文以2012 年全球能源預測競賽的數據作為實驗數據集，其中包括20 個不同地區每小時的負荷數據、對應的溫度數據和節假日信息［23］。選擇3 號地 區 從2006 年11 月29 日 至2008 年6 月29 日 的 負荷數據，按照8∶1∶1 的比例分為訓練集、驗證集和測試集。

本文采用的硬件平臺為Intel Core i7-8700 CPU和NVDIA GTX 1050Ti GPU。 軟件平臺采用Python 語言實現，LSTM 網絡調用keras 深度學習庫，LightGBM 模型調用lightgbm 機器學習庫。

4.2 實驗評價指標

選取平均絕對百分比誤差EMAPE和均方根誤差ERMSE作為實驗的評價指標，分別如式（12）和式（13）所示。

式中：yt為t 時刻負荷的真實值。

4.3 超參數設置

超參數的設置對于LSTM 網絡和LightGBM 模型的收斂速度以及預測效果有著重要的影響，本文采用網格搜索法［24］得出2 種模型的最優超參數。

其中，LSTM 網絡的層數為2 層，神經元個數分別為50 和100、學習率取0.01、迭代次數為100、優化算法為Adam 算法。LightGBM 模型的弱回歸樹數量為200、葉子數為50、學習率為0.06、L1 和L2 正則化參數分別為0.1 和0.9、迭代次數為3 000。

4.4 組合預測的互補性分析

通過改變輸入序列的長度分析2 種單一模型以及組合模型對時間序列的整體感知能力，其中一周的預測結果如表1 所示。

表1 不同輸入序列長度下的預測結果Table 1 Prediction results of input sequence with different lengths

由表1 可知，當LSTM 網絡的輸入序列長度達到168 時，其誤差最低，較長的序列可為模型提供更多的信息，從而提高預測精度。由于負荷的周變化規律比較明顯，故序列長度超過168 時，誤差反而有所上升。而LightGBM 模型隨著輸入序列長度的增加，誤差略有上升，表明其對長時間序列信息的挖掘能力較差。通過2 種模型的結合，能夠一定程度上提高對時間序列的整體感知能力，獲得更高的精度。

在輸入特征中，非連續性特征主要為日期類型信息，如周末與法定節假日。選取部分周末與法定節假日負荷進行預測，結果如表2 所示。

表2 周末與法定節假日的預測結果Table 2 Prediction results for weekends and legal holidays

由表2 可知，LSTM 網絡對這些日期類型的預測結果一般，均高于4%，也說明其對非連續性特征的擬合效果有限。通過LightGBM 模型的加入，組合模型在周末與節假日的誤差上分別降低了0.98%和1.07%，取得了更好的預測效果。

綜合以上分析可以得出，將2 種模型進行組合后，可以較為有效地結合各自的優點，不僅可以增強模型對長時間序列的感知力，也可以充分挖掘非連續序列的特征信息。

4.5 不同模型的預測結果對比

分別采用不同組合模型對一天（2008 年5 月10 日）以 及 連 續 一 周（2008 年5 月17 日 至2008 年5 月23 日）的數據進行短期負荷預測。方法1 和2 分別為LightGBM 和LSTM 網絡單一模型，方法3 為本文組合模型，方法4 由2 種常用模型組合而成，即BP-SVM 模型［25］，方法5 將LSTM 網絡換成深度信念網絡（DBN）并組合（用DBN-LightGBM 表示），方法6 為2012 年全球能源預測競賽中表現優異的GBM-GP 模型［9］，實驗結果如表3 所示。

表3 不同模型的結果比較Table 3 Result comparison of different models

從表3 可以看出，通過方法1 和方法2 這2 種單一模型的組合，本文模型的誤差得到了顯著的降低。方法4 在一天和一周的預測結果中，其EMAPE均最大，分別達到了2.93%和4.26%，ERMSE也明顯高于其余模型。方法6 將經典的機器學習方法結合，取得了不錯的預測效果，在單日的預測中稍遜于融合了深度學習算法的方法3 和方法5，但在一周的預測效果上好于方法5。而在方法3 與方法5 對比中，融合了LSTM 網絡的本文組合模型在精度上全面優于融合了DBN 的方法5，這主要還是得益于LSTM 網絡單元的記憶結構，使其能夠包含時間序列的更多整體信息。

單一模型和本文組合模型的預測曲線如圖2 所示，不同組合模型的預測曲線如圖3 所示，不同組合模型在各預測點的絕對誤差對比見附錄A 圖A4。

由圖2 可以看出，在負荷的峰谷點附近，由于負荷變化的不確定性大大增加，單一模型的誤差均較大，而本文組合模型則可以有效地降低這些極端時刻的誤差。結合圖3 與附錄A 圖A4 可知，在不同組合模型的對比中，BP-SVM 模型的誤差最大，達到8%左右。其余組合模型的預測效果相對較好，但本文組合模型的誤差變化更加平穩，均保持在較低的水平，能夠更好地擬合出負荷變化趨勢。

圖2 單一和組合模型的預測對比Fig.2 Prediction comparison of single and combined models

圖3 不同組合模型的預測對比Fig.3 Prediction comparison of different combined models

5 結語

本文提出一種基于LSTM 網絡和LightGBM 模型的組合預測方法，該組合方法能夠結合2 種模型的特點，既可以考慮時序數據間的相互關聯，也能挖掘非連續特征的有效信息。相對于單一模型，所提組合模型能夠有效地降低出現極端預測誤差的風險。與其他組合模型相比，也取得了更高的預測精度。

后續工作可以考慮增加電價、降水量以及濕度等其他特征，并對各個特征進行評價，得出最佳特征集。此外，模型的包容性檢驗以及組合權重的選擇等問題也值得進一步的探索。

附錄見本刊網絡版（http：//www.aeps-info.com/aeps/ch/index.aspx），掃英文摘要后二維碼可以閱讀網絡全文。