基于時間模式注意力機制的GRU短期負荷預測

喬 石，王 磊，張鵬超，閆群民，余 帆

（1.陜西理工大學電氣工程學院，漢中 723001；2.陜西理工大學工業自動化重點實驗室，漢中 723001）

電力能源是當代最重要的能源之一，目前新能源發展迅速，電力需求急劇增加，電力能源在能源中所占的比例迅速上升，負荷數據所呈現的特征變化趨勢也隨之改變。為確保電力負荷供需達到動態平衡，保證電力系統安全平穩高效地運行，負荷預測起著至關重要的作用[1-2]。短期負荷預測[3]是研究未來幾天內的用電負荷，準確的負荷預測不僅可以保證電力供需平衡關系，還能提升發電設備的利用率[4-5]。

針對短期負荷預測的研究目前主要分為兩大類，即單一算法預測模型和混合算法預測模型。單一算法預測模型最初包括自回歸[6]、指數回歸法[7]和卡爾曼濾波法[8]等。這些方法模型結構簡單，計算速度較快，常用于預測規律性強、隨機性低的負荷時間序列。但對受多種外界因素影響的強隨機性負荷序列，往往難以取得較高的預測精度[9]。

近年來，神經網絡以其強大的多元非線性映射能力成為短期負荷預測的研究熱點[10-11]。文獻[12]采用門控循環單元GRU（gated recurrent unit）神經網絡算法克服了循環神經網絡[13]RNN（recurrent neural network）算法會出現一定幾率的梯度消失或爆炸的問題，同時相比長短期記憶LSTM（long short-term memory）網絡[14]算法，GRU結構簡單，預測效率更高；文獻[15]提出對輸入進行卷積處理，提取體現數據動態變化的特征信息，將所提取的特征輸入GRU 神經網絡進行訓練，同時采用傳統注意力機制優化重要信息的權重分配，提升了復雜數據的預測精度。但傳統的注意力機制更適用于單負荷時間序列，無法有效提取多元時間序列的復雜特征。文獻[16]提出時間模式注意力TPA（temporal pattern attention）機制，使用卷積對隱藏層進行運算，可以提取多元時間序列之間的內因約束條件，同時對不同因素的不同時間步長進行合理的權重分配。因此本文采用TPA機制分析多元時間序列間的內在聯系，提升對復雜度高的負荷時間序列的預測精度。

隨著大數據時代的到來，負荷數據的發展也逐漸規?；蛷碗s化，為適應此特點，混合預測的方法被提出?；旌项A測方法常分為兩類，一類方法為基于不同預測算法的混合方法[17]，即采用兩種或多種算法進行負荷預測，然后通過簡單疊加或權重分配進行整合，利用不同算法在預測中的性能差異優勢，彌補算法存在的部分缺點，提升預測精度。不同數據需要再次更換算法，對數據進行深入分析，但上述方法僅利用不同算法的簡單差異，存在很大的隨機性，預測精度的提升十分有限。另一類方法為基于負荷數據分解的預測方法[18]，該方法首先對數據進行分解處理，將混合在數據中的復雜信息分離為包含不同信息的子分量，再選擇適合分量提取特征的算法進行合理的預測。文獻[19]使用經驗模態分解EMD（empirical mode decomposition）將負荷時間序列分解為多個本征模函數，再使用神經網絡算法進行分組預測，最后疊加得到預測結果；雖然預測精度得到了一定的提升，但由于EMD 算法存在模態混疊的缺點，使分解可能不存在意義，無法達到提升預測精度的作用。文獻[20]使用集合經驗模態分解EEMD（ensemble empirical mode decomposition）算法先對負荷進行分解，得到若干本征模函數；再分別采用GRU 和多元線性回歸MLR（multiple linear regression）對不同頻率的IMF 分量進行預測；最后疊加重構得到預測結果。采用EEMD分解算法通過添加輔助白噪聲，解決了模態混疊現象，降低了預測誤差，但由于添加了白噪聲，使原始數據噪聲增大，分解后重構誤差增加；同時EEMD 算法流程使用多次循環添加白噪聲，運算量成倍增加，降低了分解效率。

綜上，本文提出基于自適應白噪聲完整經驗模態分解的時間模式注意力機制的門控循環單元CEEMDAN-TPA-GRU（complete ensemble empirical modal decomposition with adaptive white noise-gated recurrent unit neural network based on temporal pattern attention）短期負荷預測方法。首先，采用自適應白噪聲的完整經驗模態分解CEEMDAN（complete ensemble empirical mode decomposition with adaptive white noise）對負荷數據進行處理，降低數據復雜度，得到若干頻率由高到低的本征模函數IMF（intrinsic mode function）。其次，通過最大互信息系數MIC（maximal information coefficient）進行相關性分析篩選特征，優化輸入數據的特征維度。然后，構建基于時間模式注意力的門控循環單元

TPA-GRU（gated recurrent unit neural network based on temporal pattern attention）神經網絡預測模型分別對子分量進行訓練，利用TPA 機制提升GRU 神經網絡對多元負荷時間序列的預測能力，再采用自回歸AR（auto-regressive）優化線性特征提取能力。最后，通過實例分析，證明所提模型能有效提高短期負荷預測精度；并利用Umass 數據集和PJM區域用電數據集驗證了該模型具有一定的普適性。

1 負荷模態分解與MIC 相關性分析

1.1 CEEMDAN 分解

電力負荷數據在受到天氣、季節和用戶行為等多重因素影響下，表現出不明顯的規律性。只對負荷數據進行預處理之后，輸入神經網絡算法或者機器學習算法進行負荷預測無法提取數據的全部特征，預測結果存在一定的局限性。CEEMDAN 分解可以將復雜的電力負荷時間序列分解為若干頻率范圍不同的IMF，有效降低了預測難度。CEEMDAN分解算法流程如圖1所示。

圖1 CEEMDAN 分解流程Fig.1 Flow chart of CEEMDAN

CEEMDAN 算法的優勢在于無模態混疊現象，同時改進EEMD 算法流程，可使分解效率大幅提升；優化EEMD 算法白噪聲添加機制，可使重構誤差幾乎為零。

1.2 MIC 相關性分析

為了精確預測未來的負荷變化規律就必須考慮外部因素對負荷變化的影響，但由于多種因素并非全部對提升預測模型性能有所幫助，因此必須優化輸入特征維度，刪除冗余特征，提升輸入數據的質量。

MIC 相關性分析可有效計算兩個變量之間的關聯程度。MIC具有普適性和公平性，普適性是指在MIC中可以探索數據之間更加復雜的關聯性；公平性是指不同噪聲對數據之間的關聯性影響較小?？梢哉J為，電力負荷數據與影響負荷因素的數據之間的MIC值越大，該因素對電力負荷的影響越大，則可將其視為“優秀特征”，MIC 相關性分析的具體步驟如下。

步驟1定義影響負荷因素為A={ai} ,i=1,2,…,n，負荷為B={bj} ，j=1,2,…,m，其中，n、m分別為影響負荷的因素和負荷數據的數量。則互信息MI（mutual information）值fMI(A,B)的表達式為

式中：p(ai)、p(bj)分別為變量A和B的邊際密度函數；p(ai,bj)為變量A和B的聯合概率密度函數。

步驟2做一個網格記作G=(x,y)，將數據集D={ai,bj} 中ai和bj的值分別匹配到坐標的x、y中，計算得到D在網格G的劃分下最大MI值為

式中，fMI(D|G)為數據集在G下的MI值。

步驟3對于數據集D，將網格G上所有的MI值歸一化至（0，1）區間內，歸一化的表達式為

步驟4MIC 為歸一化的最大MI 值，MIC 表達式為

式中，B(n)為數據集量的0.6次方。

2 負荷模態分解與MIC 相關性分析

2.1 TPA-GRU 神經網絡

本文提出的TPA-GRU 預測模型，是將模態分解后的IMF 子分量通過GRU 神經網絡提取數據中的長短期時間序列特征，并通過TPA機制提取重要信息，提升預測性能，最后加入AR優化模型線性特征提取能力，其結構如圖2所示。

圖2 短期負荷預測模型Fig.2 Short-term load prediction model

2.1.1 GRU 神經網絡模塊

預測模型的第1個模塊為GRU神經網絡，GRU是一種專門用于處理時間序列的神經網絡，與LSTM相比有計算效率高，拓展性強的優點，其結構如圖3所示。

圖3 GRU 神經網絡結構Fig.3 Structure of GRU neural unit

GRU神經網絡內部計算可表示為

式中：⊙為矩陣相關元素對應相乘；σ為sigmoid函數；xt為輸入；rt為遺忘門；ct為更新門；ht為隱藏層；Wxr、Whr、Wxu、Whu、Wxc和Whc分別為對應變量的權重；br、bu和bc分別為rt、ut和ct的偏置向量，RELU為Relu激活函數。

2.1.2 TPA 機制

典型的注意力機制能模仿人腦，它通過對已提出的特征進行加權處理來提取重要信息，廣泛應用于時間序列處理和自然語言處理；典型的注意力機制選擇與當前時間步驟相關的信息，適合時間序列中包含單一時間序列的任務。每個時間步驟中有多個變量，難以對影響目標的重要信息分配權重。由于在短期負荷預測中不僅包含電力負荷時間序列，還包括溫度、天氣等氣候數據，多種氣候數據與電力負荷時間序列組成了多元時間序列，使典型注意力機制對預測精度提升較小。此外，由于典型的注意力機制是對多個時間步驟信息進行平均，無法檢測到對預測有用的時間模式。而TPA 機制通過卷積運算，實現對多元時間序列的內在聯系的提取，其算法結構如圖4所示。

圖4 TPA 機制結構Fig.4 Structure of TPA mechanism

由圖4 可知，輸入數據通過GRU 進行處理后，得到時間序列的隱藏特征ht-w～ht，w為濾波器長度。定義H={ht-w,ht-w+1,…,ht-1} 為隱藏特征，利用一維卷積提取其中時間模式矩陣HC，C為濾波器。

利用卷積捕獲可變的信號模式為

定義f為評估函數，選取sigmoid 函數作為權重計算的激活函數，則權重計算的結果可表示為

將αi和HC進行權重求和，得到注意力公式，即

將ht和vt線性映射相加后可得TPA-GRU模型的預測值yt-1+Δ為

式中：Wh'、Wh和Wv為矩陣參數權重；Δ為不同預測任務的預測時間尺度。

2.1.3 AR 模塊

采用對線性識別能力較強的AR 模塊，可以增強模型的線性提取能力，優化預測結果。

AR 模型是對數據本身變量進行回歸運算，利用x1～xt-i來預測，其表達式為

式中：εi為常系數，i=1,2，…，p，p為數據量；βi為隨機誤差。

AR 模型預測結果ya與TPA-GRU 預測模型的結果yt-1+Δ，通過線性權重組合成復雜度高的子分量預測結果y1可表示為

式中，α、β為權重系數，且α+β=1。

2.2 參數設定

為了充分發揮預測模型的性能，提升預測精度，對TPA-GRU 神經網絡進行結構參數優化尤為重要。針對本文實例分析數據，采用網格搜索法遍歷搜索最優參數，最終選取包含兩層隱藏層的GRU神經網絡。設置隱藏層神經網絡單元為128和96，輸入層神經網絡單元為128，dropout 值為0.2；卷積核尺寸為4，迭代次數為80；激活函數選擇收斂速度快的Relu 函數；優化器選擇計算高效、內存需求少的Adam優化器。其余參數通過網格遍歷法搜索得到，具體參數設置見表1。

表1 TPA-GRU 模型參數設定Tab.1 Parameter setting for TPA-GRU model

2.3 模型步驟

基于CEEMDAN-TPA-GRU短期負荷預測方法流程如圖5所示，具體步驟如下。

圖5 預測流程Fig.5 Flow chart of prediction

步驟1將原始數據進行預處理。首先，將數據轉化為等時間間隔排列，并通過線性插值法對缺失值進行填補；然后，采用箱盒圖進行異常值檢測，刪除異常值并使用插值法進行填補；最后，標準化樣本數據，消除量綱對數據的影響。

步驟2采用MIC相關系數分析負荷時間序列與氣候因素及構建的日期特征等之間的相關性，選取MIC大的特征序列。

步驟3將樣本數據中電力負荷時間序列進行CEEMDAN分解，得到若干IMF子分量，各子分量與MIC篩選結果組合構成輸入向量。

步驟4搭建TPA-GRU負荷預測模型，并使用AR 模型優化線性特提取能力，將處理好的數據輸入神經網絡進行訓練。

步驟5使用訓練完成的網絡在測試集樣本上進行單日和多日預測，將預測的分量結果進行重構得到最后的預測結果。最終取20次預測結果的平均值。

2.4 評價指標

為保證能準確評價模型性能，本文采用兩種評價指標，分別為均絕對百分比誤差MAPE和均方根誤差RMSE，其表達式分別為

3 實例分析

3.1 數據說明及數據預處理

實例分析的數據來源于Umass 公開數據集[21]。數據分為兩部分，第1 部分為2015年公寓用電負荷數據，采樣時間間隔為1 min；第2部分為2015年公寓所在地區天氣數據，包括溫度和天氣等因素，采樣時間間隔為1 h。本文采用2015年2月15日00：00—2015年4月30日24：00 共計75 d，即1 800 h用電負荷作為預測對象。

通過歸一化消除量綱，使負荷預測模型能適應不同數據類型。采用歸一化將數據壓縮到[-1，1]之間，其歸一化可表示為

式中：y*為消除量綱及縮放之后的數據；y為原始數據；ymin為數據中最小值；ymax為數據中最大值。

3.2 負荷模態分解及分析

樣本負荷如圖6所示。原始負荷數據包含大量的高頻分量，同時還存在一定噪聲，若直接采用未經處理的負荷數據進行預測，將增加預測模型的訓練難度。

圖6 原始負荷數據Fig.6 Data of raw load

將負荷數據使用CEEMDAN 分解，得到10 個頻率范圍由高到低的本征模函數如圖7所示。由圖7可以看出，各分量沒有出現明顯的模態混疊現象，且與原負荷相比數據復雜度明顯降低。為驗證CEEMDAN 分解所具有的優勢，將其與EEMD分解算法進行重構誤差對比與運算效率對比研究。

圖7 CEEMDAN 分解結果Fig.7 Decomposition results of CEEMDAN

EEMD 算法雖通過白噪聲添加克服模態混疊現象，但由于添加了白噪聲，使原始數據中噪聲更大，因此負荷分解后存在較大的噪聲，增加了之后的預測誤差。CEEMDAN算法的重構誤差數量級為10-12，其中，部分點的重構誤差幾乎為0；而EEMD算法的重構誤差數量級為100，遠大于CEEMDAN分解誤差。

由于EEMD 算法分解過程中多次使用了EMD算法，使分解次數成倍增加，降低了分解效率。在實驗中，使用EEMD 對數據分解迭代次數為23 542次，CEEMDAN 分解迭代次數為4 520 次，故使用CEEMDAN算法極大地提高了分解效率。

3.3 MIC 相關性分析及對比

原始數據中包含11 個天氣特征因素，全部特征如表2所示。

表2 原始數據特征Tab.2 Characteristics of raw data

采用MIC相關系數分析，篩選出其中相關性大于0.5 的特征作為輸入的特征向量，可降低相關性低的特征對預測能力造成的反作用，提升預測精度。MIC 相關系數分解結果見表3，結果保留了溫度、露點溫度和體感溫度。

表3 MIC 相關系數分析結果Tab.3 Analysis results of MIC correlation coefficient

為驗證MIC 相關性分析對負荷預測精度的影響，選取MI系數、主成分分析法和未進行特征優化進行對比分析，預測模型全部選擇本文所提TPAGRU預測模型，所得預測誤差見表4。

表4 不同特征優化方法性能對比Tab.4 Comparison of performance among different feature optimization methods

由表4 可知，未進行特征優化，預測誤差最大，表明存在冗余特征影響預測精度；使用MI 系數及皮爾遜相關系數分析的實驗預測誤差也高于MIC相關性分析的實驗誤差。這是因為MIC 相關性分析可以有效篩選出與負荷時間序列高度相關的特征，優化輸入特征維度，減少冗余特征對預測誤差的影響，提升預測的精度。

3.4 預測結果分析及對比實驗研究

將輸入特征優化后，結合CEEMDAN 分解得到的IMF 分量，輸入到TPA-GRU 預測模型中進行負荷預測，預測結果與真實值對比如圖8所示。

圖8 CEEMDAN-TPA-GRU 預測結果Fig.8 Prediction result based on CEEMDAN-TPA-GRU

為進一步驗證基于CEEMDAN-TPA-GRU短期負荷預測方法的優越性能，分別進行單一和混合預測模型對比分析。

單一預測模型為TPA-GRU、GRU-Attention、XGBoost及GRU預測模型。

各種混合預測模型如下：

（1）在使用EEMD 算法分解負荷時間序列后，輸入TPA-GRU預測模型進行預測，記為ETG；

（2）使用小波分解WT（wavelet transform）負荷時間序列后，輸入TPA-GRU預測模型進行預測，記為WTG；

（3）使用CEEMDAN 算法分解負荷時間序列后，輸入GRU 和MRL 預測模型進行預測，記為CGM；

（4）使用EEMD 算法分解負荷后，輸入GRU 和MLR預測模型進行預測，記為EGM。

在對比研究中采用控制變量法，對數據處理和特征優化采取相同方法。對不同組的同類算法，各自優化參數使模型效果達到最佳，其對比結果見表5和表6。

表5 單一模型預測結果Tab.5 Prediction results based on single models

表6 混合模型預測結果Tab.6 Prediction results based on hybrid models

由表5、6 可以看出，本文所提的CEEMDANTPA-GRU 模型預測精度最優；與單一預測模型TPA-GRU、GRU-Attention、GRU 及XGBoost 預測模型相比較，單步預測精度分別提升0.545%、1.619%、2.690%和1.001%；結果說明CEEMDAN 通過將復雜時間序列分解為多個復雜度依次降低的IMF 分量，降低了預測難度，提升了負荷預測的精度。由于預測誤差存在一定程度的累計效應，使各模型隨著預測步長的增加誤差逐漸變大。由表5、6也可以看出，隨著步長的增加本文所提預測模型可以合理地預測短期負荷變化趨勢，在預測尺度上存在一定的魯棒性。

由表5 可以看出，與傳統Attention 機制相比，TPA 機制有效提高了預測精度；由表6 可以看出，CEEMDAN算法優化了EEMD算法重構誤差大的缺點，將處理的數據經過預測模型訓練后誤差明顯小于EEMD 處理后的數據，同時與WT 相比預測精度也有一定優勢。

3.5 模塊拆分研究

為使模型中各模塊對整體具有貢獻，本節將模塊拆分進行研究，依次刪除模型的部分模塊，并判斷其預測能力。為消除不同參數對預測性能的影響，采用同一參數進行研究。模塊拆分實驗分為以下4組：

（1）不包含TPA 機制模塊的預測模型，記為TPA-GRU/without-TPA；

（2）不包含AR 優化模塊的預測模型，記為TPA-GRU/without-AR；

（3）不包含TPA 機制模塊和AR 優化模塊的預測模型，記為TPA-GRU/without-TPA&AR

實驗結果見表7，由表7及模型分析可以得出，①移除TPA 機制模塊，預測誤差明顯增加，表明TPA 機制使GRU 神經網絡在復雜數據中的特征權重分配能力有效提高，進而預測精度得到了提升；②移除AR 優化模塊，預測誤差也有一定增加，表明AR 模型增強了模型的部分線性特征提取能力；③全部移除TPA 機制模塊和AR 優化模塊，預測誤差增大最多，表明兩模塊共同提升了負荷預測精度。

3.6 不同數據集下的預測結果分析

為了驗證本文所提模型在不同數據集上的負荷預測性能，選取另一組Umass 數據集和美國PJM區域集用電數據進行實驗，預測結果見表8。

表8 兩個數據集上各短期負荷預測算法誤差對比Tab.8 Comparison of errors among short-term load prediction algorithms on two data sets

由表8 可知，本文所提出的基于CEEMDANTPA-GRU短期負荷預測方法在Umass 和PJM 數據集上均取得最佳預測精度。表明此方法可以應用于不同場景，具有一定的普適性。此外，負荷預測的精度與數據集樣本有十分緊密的關系。與Umass數據集相比，本文算法在PJM數據集上的預測精度更具有優勢；這是因為Umass數據集為居民用電負荷，PJM 數據集為區域用電負荷，居民用電屬于低壓側，用電負荷波動性遠遠大于區域集用電負荷。同時PJM 區域集數據與氣候、市場之間相關性更高，因此預測精度明顯提升。

4 結論

本文針對負荷數據隨機性強的特征，提出一種基于CEEMDAN-TPA-GRU短期負荷預測方法，通過實例分析得出以下結論。

（1）本文數據分解采用CEEMDAN 算法，有效改善其它模態分解算法分解誤差大和分解速度低的缺點，提高了短期負荷預測的效率與精度。

（2）采用MIC相關性分析能夠有效分析電力負荷序列與影響負荷因素之間的相關性，篩選出高相關性特征，優化預測模型的輸入特征維度，相比未采用MIC算法有效提高了預測性能。

（3）TPA-GRU神經網絡預測模型相比其他模型具有更強的數據挖掘能力，有效提升預測精度。

（4）基于CEEMDAN-TPA-GRU短期負荷預測方法在另一組Umass 數據集和PJM 區域數據集下與其它算法相比仍具有最高的預測精度，驗證了該方法具有一定的普適性。

（5）未來可結合負荷數據平臺，構建實時負荷預測，強化動態負荷預測能力。