基于雙重注意力機制和GRU 網絡的短期負荷預測模型

李 曉，盧先領

（1.江南大學 輕工過程先進控制教育部重點實驗室，江蘇 無錫 214122；2.江南大學 物聯網工程學院，江蘇 無錫 214122）

0 概述

隨著國家大力推進泛在電力物聯網的建設，電力系統已向高智能、信息化方向發展。電力負荷預測是其中重要的一環，其結果將對電力系統的部署、規劃和運行產生很大的影響。此外，準確預測電力負荷不僅可以保證電力系統的安全，而且也能保證供電企業對供電項目進行實時調度［1］。

短期電力負荷預測主要對電力系統未來幾小時到一天的用電量進行預測，電力負荷的隨機性和非線性，使得預測難度提升。同時，受實時變化的環境因素如溫度、降雨、濕度、光照等以及用戶主觀的影響，短期負荷預測的復雜程度進一步增加，精確的短期負荷預測成為一項極具挑戰的任務［2］。

短期負荷預測有較多方法，其中傳統的預測方法有時間序列法［3-4］、回歸分析法［5］等。這些方法的實現原理簡單、運算速度快，適合處理結構簡單、規模小的數據集。但隨著基礎設施不斷完善，用戶規模不斷擴大，電力數據呈現爆發式增長。同時，由于其電力數據非線性、適應性差的特點，傳統方法逐漸被淘汰，而機器學習方法因其強大的適應性和非線性處理能力得到應用。支持向量回歸（Support Vector Regression，SVR）［6-8］、神經網絡模型［9］展現出不錯的效果。文獻［10］引入灰色關聯分析改善樣本篩選，提高數據利用率，并利用混沌粒子群算法優化完善最小二乘支持向量機的參數選擇，從而能更好地進行負荷預測。文獻［11］根據負荷參考指標的非線性提出核主成分分析來改進極限學習機（ELM）神經網絡，降低了輸入維數，有效地提高了預測精度。文獻［12］提出一種基于最大偏差相似性準則的BP 神經網絡短期電力負荷預測算法，通過改進最大偏差相似性準則，在最大偏差相似性準則算法聚類后的類中心負荷特征的距離基礎上，使用預測日的負荷特征向量來確定預測日的相似日類別。上述方法將影響居民用電情況參量的相關性納入考慮范圍，突出了重要特征。但由于所采用的關聯規則方法依賴專家經驗，導致特征選取具有一定的主觀性，且無法根據實際情況做出自適應的調整，預測時精度呈現不穩定性。

深度學習算法在處理大數據量問題時具有良好的特征提取能力，而短期負荷預測需要從復雜多變的歷史負荷數據中提取典型特征，才能做出準確的負荷預測，所以深度學習方法被廣泛應用到短期負荷預測中。文獻［13］將深度殘差網絡應用到負荷預測中，具有很好的泛化能力，但同樣忽視了時序性的研究。通過研究歷史負荷數據得知，負荷有明顯的周期性規律，因此在研究短期負荷問題時要考慮其時序性。深度學習模型中的LSTM 網絡、GRU 網絡能記憶相關歷史信息，從而學習負荷的變化情況。文獻［14］提出一種Seq2seq 模型，通過LSTM 網絡構建的編解碼器分析用戶負荷數據的周期性波動特征，建立負荷數據的相關性并進行預測。文獻［15］通過隔離森林算法挖掘清理異常歷史負荷數據，利用LSTM 網絡學習負荷的時序特性并進行預測。文獻［16］通過卷積神經網絡CNN 提取負荷特征，并利用LSTM 網絡學習負荷的長短期依賴關系。相較于手動提取特征，該方法的提取結果更全面且誤差更小。文獻［17］引入循環神經網絡（Recurrent Neural Network，RNN）以捕獲在時間上距離很遠數據間的相關性，并利用Zoneout 技術解決梯度消失問題，大幅減少待訓練的網絡參數。文獻［18］提出一種雙向GRU 網絡預測模型，通過分析過去和未來的負荷信息學習其周期性和非線性。上述方法雖然能很好地處理負荷在時序上的相關性問題，但忽視了實際運行中各輸入特征的關聯關系，存在片面性。

深度學習中的注意力機制［19］是根據人們在處理全局圖像時，自主增強焦點區域信息通過抑制其他冗余區域表達的選擇性來反映全局信息，而衍生出的以從眾多信息中自主選擇對當前任務更關鍵信息的一種信息處理方式［20］。基于上述原理，針對短期負荷預測深受實時變化的環境因素與居民自身主觀因素影響的問題，設計出特征注意力機制和時序注意力機制，利用特征注意力機制來分析不同輸入參量對負荷的重要程度，挖掘出關聯關系。同時，利用時序注意力機制分析各歷史時刻的負荷對待預測時刻負荷的重要程度，來選擇關鍵時間點數據，從而提高預測精度。

本文提出一種基于GRU 網絡的雙重注意力機制，利用特征信息的關聯性和時序信息依賴性提升負荷預測的準確率。使各時刻的原始輸入信息結合前一時刻GRU 網絡隱藏的狀態信息，并將其輸入到特征注意力機制中，分析得到各輸入特征的影響力權重，加權后得到優化后的輸入數據。在此基礎上，使用GRU 網絡學習特征，將當前時刻網絡的隱藏狀態輸出結合各歷史時刻的隱藏狀態輸出，并通過時序注意力機制，分析得到各歷史時刻隱藏狀態的影響力權重，加權后得到當前時刻最終隱藏狀態的輸出，最終通過全連接輸出層得到預測結果。

1 深度學習模型原理

1.1 GRU 網絡

通過研究歷史負荷數據得知，負荷有明顯的周期性規律，因此在研究負荷問題時要考慮其時序性。深度學習模型中LSTM 網絡及GRU 網絡能記憶相關歷史信息，從而學習負荷變化情況。LSTM 網絡被廣泛使用，能夠分析時間序列數據及捕獲長期依賴關系。而GRU 網絡由LSTM 網絡改進而來，其通過減少及合并門結構單元優化LSTM 復雜的內部結構，從而在保證精度的前提下提高網絡的訓練速度［21］。LSTM 包含輸入門、遺忘門和輸出門，而GRU則只包含更新門和重置門，后者減少了參數的訓練。更新門控制前一時刻狀態信息保留到當前狀態中的程度，值越大表示前一時刻的狀態信息保留越多。重置門控制當前信息與先前信息結合的程度，值越小說明忽略的信息越多。GRU 網絡結構如圖1所示。

圖1 GRU 網絡結構Fig.1 Structure of GRU network

GFEU 網絡結構參數單據關系如式（1）～式（4）所示：

其中：zt為更新門；rt為重置門；Xt為當前輸入為輸入和過去隱層狀態的匯總；ht為隱藏層輸出；Wz、Wr、Wh～均為可訓練參數矩陣。

1.2 注意力機制

注意力機制是一種模擬人腦注意力的模型，借鑒了人腦在某個特定時刻對事物的注意力會集中到特定的地方，而減少甚至忽略對其他部分注意力的特點。注意力通過對模型的輸入特征賦予不同的權重，突出更關鍵的影響因素，幫助模型做出更加準確的判斷。

在特征關聯分析方面，利用GRU 網絡分析前一時刻隱藏狀態輸出和當前時刻輸入特征，通過多層感知機構建的注意力機制分析得出注意力權重，來反映當前各輸入特征對待預測信息的重要程度，提高預測模型的學習效果。

目前國際形勢復雜多變，中美貿易糾紛不斷升級，新形勢下，國內地板行業面臨木材原料供應緊張，出口市場受阻，國內競爭日益激烈的局面;但總體來看，木地板行業發展平穩，優質環保地板需求增長，品牌企業業績增長顯著，消費集中向大品牌、個性化品牌傾斜。

在時序分析方面，注意力機制通過概率分配方式對GRU 網絡各歷史時刻進行重要性分析，突出關鍵時刻輸出的比重，幫助模型做出更準確的預測。

基于上述理論，利用特征注意力機制來分析不同輸入參量對負荷的重要程度，挖掘出其關聯關系。同時，利用時序注意力機制分析各歷史時刻的負荷對預測時刻負荷的重要程度，來選擇關鍵時間點數據，從而提高預測精度。

2 基于雙重注意力機制和GRU 的負荷預測模型

2.1 特征注意力機制

影響大眾電力消費行為的因素有很多，如溫度、降雨、濕度、光照、節假日等。為探索相關因素對人們電力消耗的關聯性高低程度，引入如圖2 所示的特征注意力機制，并采用多層感知機的方法量化各特征影響力的權重。

圖2 特征注意力機制Fig.2 Feature attention mechanism

將特征時間序列前一時刻GRU 網絡的隱藏狀態ht-1和當前時刻輸入特征作為特征注意力機制的輸入，通過式（5）對當前時刻各特征進行注意權重的計算后進行式（6）的歸一化處理，并根據注意力權重增強或削弱相關輸入信息的表達，將當前時刻得到的權重與對應特征相乘，輸出Xt，從而自適應優化相關特征的影響力。

其中：Ve∈?T、We∈?T×q、Ue∈?T×T均為多層感知機需要學習的神經元權重；be∈?T為偏置參數；q為編碼器GRU 網絡最后一層隱藏層神經元數量。特征權重和優化的輸入信息的計算公式如式（6）和式（7）所示：

通過特征注意力機制學習當前時刻各輸入特征與待預測負荷信息的相關性，并自適應處理原始輸入的特征，以強化相關特征影響力及弱化不相關特征。

2.2 時序注意力機制

居民當前用電負荷情況受歷史狀態影響較大，且不同時刻的負荷情況影響力不同。為研究每一歷史時刻狀態信息對當前預測結果的影響程度，引入如圖3 所示的時序注意力機制至GRU 網絡，以自適應處理歷史狀態信息，并強化相關時刻狀態信息的影響力。

圖3 時序注意力機制Fig.3 Temporal attention mechanism

以包含各歷史時刻信息的最后一層隱層狀態作為時序注意力機制的輸入，分析歷史狀態與當前狀態的關聯性，并賦予影響權重，計算公式如式（8）～式（11）所示：

2.3 基于雙重注意力機制的GRU 模型

雙重注意力機制的GRU 模型包括輸入向量、特征注意力層、3 層GRU 網絡、時序注意力層、全連接層輸出。輸入向量結合前一時刻GRU 網絡的隱藏狀態，經過特征注意力層計算得到各特征量對當前預測情況的影響權重，并得到修正后的輸入特征。經過兩層GRU 網絡學習特征，再通過時序注意力層計算出各歷史時刻輸出信息的影響權重，得到改進后的當前時刻隱層狀態輸出，最后輸入到全連接層得到最終預測結果，結果如圖4 所示。

圖4 基于雙重注意力機制的GRU 網絡模型結構Fig.4 Structure of GRU network model based on dualstage attention mechanism

將原始輸入信息和前一時刻GRU 網絡的輸出通過注意力機制進行計算，并得出當前時刻輸入的特征對本次預測的權重，賦予原始輸入信息對應權重，得到新的輸入信息。此外，GRU 網絡隨著層數的增加，非線性擬合能力也不斷提高，學習效果越好。但考慮到訓練時間的問題，層數的選擇也要適中。實驗設置3 層GRU 網絡：第1 層設置128 個神經元，以學習特征；第2 層設置64 個神經元，以減少冗余數據的干擾；第3 層設置29 個神經元。時間步長為24，學習率為0.001，訓練周期為1 000 次。另外，結合當前時刻網絡輸出與歷史輸出，并通過注意力機制分析所輸入特征對預測的影響權重，突出關鍵時刻的影響因素，得到新的輸出向量。最后通過全連接層得到預測結果。

3 算例分析

3.1 數據集

本文采用3 個真實的電力負荷數據集驗證模型性能，分別為美國紐約電力市場（2018—2020 年）數據、印度旁遮普省電力消耗（2019—2020 年）數據、美國德克薩斯州電力可靠性委員會（2006—2012 年）數據。包括：24 點負荷數據，溫度，濕度，光強，降雨量，節假日情況（工作日為1，休息日為0），并間隔1 h 采集1 次數據。為分析本文模型的效果，與SVR、KPCA-ELM、DBN、GRU、Attention-GRU、CNNLSTM、Attention-CNN-GRU 模型進行對比。SVR 模型采用徑向基核函數（RBF），懲罰因子為1 000；KPCA-ELM模型設置了5 個主成分，ELM 模型為單隱藏層結果；DBN 模型采用了神經元個數均為25 的3 層隱藏層結構；GRU 模型采用了神經元個數均為29 的3 層隱藏層結構，時間步長為24，學習率為0.001，訓練周期1 000 次。單注意力機制模型的GRU 網絡采用了神經元個數均為24 的3層隱藏結構，時間步長為24，訓練迭代次數為1 000次，學習率為0.001；Attention-CNN-GRU模型由2個卷積層、2個池化層和全連接層組成CNN框架。為保證實驗的有效性和可靠性，所有方法的實驗條件均相同。

3.2 評價指標

誤差指標采用平均絕對百分比誤差（Mean Absolute Percentage Error，MAPE）和均方根誤差（Root Mean Square Error，RMSE），計算公式如下：

其中：n為預測點個數；li表示第i點的真實值表示第i點的預測值。

3.3 實驗結果與分析

3.3.1 Mendeley 數據集上的實驗結果對比

本文將2018—2019 年的美國紐約電力市場電力數據作為訓練數據，將2020 年的數據作為測試數據。各模型預測誤差如表1 所示。

表1 不同模型在Mendeley 數據集上的預測精度比較Table 1 Comparison of prediction accuracy among different models on Mendeley data sets

實驗結果表明，本文模型的誤差為3.82%，與SVR、KPCA-ELM、DBN、GRU、Attention-GRU、CNN-LSTM、Attention-CNN-GRU 模型相比，分別降低了2.65、1.32、2.25、1.66、1.29、1.05、0.65 個百分點。RMSE 模型的誤差也小于其他模型，可見本文模型比傳統機器學習、深度學習方法有更好的預測效果。此外，相比于傳統關聯分析與神經網絡相結合的模型，本文模型取得的預測效果更好。

3.3.2 Kaggle 數據集上的實驗結果對比

本文將印度旁遮普省電力消耗（2019—2020 年）數據集前18 個月作為訓練數據，后6 個月作為測試數據。各模型預測誤差如表2 所示。

表2 不同模型在Kaggle 數據集上的預測精度比較Table 2 Comparison of prediction accuracy among different models on Kaggle data sets

實驗結果顯示，本文模型的誤差為3.17%，與SVR、KPCA-ELM、DBN、GRU、Attention-GRU、CNN-LSTM、Attention-CNN-GRU 模型相比，分別降低了2.67、1.44、2.04、1.51、0.99、0.69、0.36 個百分點，充分證明了本文模型的準確性。

為更直觀地描述本文模型的預測效果，圖5 給出了各模型針對印度旁遮普省某日上午電力負荷數據的預測曲線。由圖5 可知，各模型均能預測曲線的走勢，總體上誤差相差不大，但隨著時間的推移，到負荷最低點時，各模型間的差異開始凸顯。傳統模型SVR、GRU、DBN 的誤差都較大，Attention-GRU、CNN-LSTM、KPCA-ELM 模型的誤差略優。雖然Attention-CNNGRU 模型的效果很好，但本文模型的誤差更小，準確率更高。綜合分析，本文模型的性能最優。

圖5 負荷曲線1Fig.5 Curve of load 1

3.3.3 ERCOT 數據集上的實驗結果對比

本文將2006—2009 年美國德克薩斯州電力可靠性委員會電力數據作為訓練數據，2010—2012 年的數據作為測試數據。各模型的預測誤差如表3 所示。

表3 不同模型在ERCOT 數據集上的預測精度比較Table 3 Comparison of prediction accuracy among different models on ERCOT data sets

實驗結果表明，本文模型的預測精度達到97.33%，均方根誤差僅為107.754 kW，與SVR、KPCA-ELM、DBN、GRU、Attention-GRU、CNN-LSTM、Attention-CNN-GRU 模型相比，平均絕對百分比誤差分別減少了2.1、0.65、1.51、0.95、0.85、0.48、0.22 個百分點，均方根誤差分別降低了143.377 kW、120.677 kW、137.093 kW、129.71 kW、122.717 kW、81.683 kW、35.424 kW。綜合分析，本文模型在MAPE 和RMSE 指標上均有顯著減少，表明該模型的預測性能優于其他方法。

為驗證特征注意力機制自適應挖掘各特征參量的關聯性，對訓練完成的模型進行實驗，提取某日24 h 的特征分析情況。關系熱力圖如圖6 所示，其中每個方塊的顏色表征該特征與待預測負荷的相關性分數，每行所有方塊表征的相關性分數和為1，方塊的顏色代表相關性分數的高低，顏色越淺，對應的特征與待測數據越相關，對待測數據影響力越大。

圖6 負荷關聯特征熱力圖Fig.6 Association heat map of load

由圖6 可知，節假日所對應的熱力圖顏色很淡，表明節假日對用戶負荷情況影響很大。在溫度所對應的熱度圖中，在午間時分顏色越來越淡，可知午間溫度高時對負荷的影響也很大。而濕度對負荷的影響不大，只在早晨和夜晚時分略有影響。光強對負荷的影響主要在正午光照最強時，天氣晴朗時降雨減少，對負荷的影響也變小。總體關聯關系較符合居民用電規律。

為更直觀地表征本文模型的準確性，使用各模型對美國德克薩斯州電力可靠性委員會某日的數據集進行預測，結果如圖7 所示。由圖7 可知，各模型均能預測曲線的走勢，誤差相差不大，但到負荷最低點時，誤差開始增大。傳統模型SVR、GRU、DBN 誤差均較大，Attention-GRU、CNN-LSTM、KPCA-ELM 模型略優，雖然Attention-CNN-GRU 模型的效果也很好，但本文所提模型誤差更小，準確率更高。在最高負荷點時，各模型的誤差也有所增加，但本文模型預測精度相對更高。

圖7 負荷曲線2Fig.7 Curve of load 2

4 結束語

針對電網負荷影響因素不穩定以及遞歸神經網絡捕獲負荷數據的長期記憶能力差導致的預測精度下降問題，本文提出一種基于雙重注意力機制和GRU 網絡的短期負荷預測模型。針對多變的輸入特征，通過特征注意力機制分析相關特征的重要性，從而優化輸入特征。同時，使用時序注意力機制，并結合歷史信息，分析負荷的時序特性，挖掘關鍵歷史信息，以優化模型的輸出，提高模型預測準確度。實驗結果表明，本文模型與SVR、KPCA-ELM、DBN、GRU、Attention-GRU、CNN-LSTM、Attention-CNN-GRU 模型相比，預測精度分別提高了2.47、1.14、1.93、1.37、1.04、0.74、0.41 個百分點。下一步將引入特征選擇算法以尋找更優的參考特征，并通過加深GRU 網絡隱藏層的深度，優化注意力模型，提高關聯分析能力與短期負荷預測精度。