基于Seq2seq模型的多特征短期母線負荷預測

陳逸樅，張大海，于 浩，王玉清

（1.北京交通大學電氣工程學院，北京 100044；2.濰坊華樞電力工程設計咨詢有限公司，安丘 262100）

母線負荷代表著系統負荷的底層分布，隨著大量風電、光伏、水電等可再生電源接入電網系統并在電網中進行局部消納，對母線負荷的變化趨勢產生了顯著的影響。母線負荷預測不僅影響發電計劃的制訂，也是電力市場進行出清和形成實時電價的重要依據。但由于母線負荷基數小，且可能直接匯聚不同種類和特性的負荷，例如光伏、新能源電動汽車等，負荷特性復雜，隨機性和波動性較系統負荷更強，因此提升母線負荷預測的精度具有十分重要的意義[1]。

母線負荷預測方法主要可以分為3類。第1類是基于系統負荷預測配比的方法，根據節點負荷的權值，按比例將上級系統負荷預測值分配到各母線上，但由于母線負荷易突變及量測裝置的逐漸完善，這種方法已經逐漸被淘汰。第2類是母線負荷聚類預測方法，文獻[2]將母線負荷匯總求和，采用回歸神經網絡對總負荷進行預測；文獻[3]采用減法聚類對區域母線負荷進行分類，然后利用最小二乘支持向量機LSSVM（least squares support vector machine）進行預測，預測效果更佳；文獻[4]在母線和系統間構造虛擬母線中間層，對虛擬母線負荷進行建模和預測，再根據“子母線-虛擬母線”平滑配比因子得到子母線預測值；文獻[5]結合聚類方法和人工神經網絡ANN（artificial neural network）對希臘互聯系統的4條母線負荷進行預測，結果表明了該預測模型的有效性。第3類方法是借鑒系統負荷預測的方法來擬合母線負荷的變化規律，但由于母線負荷波動性強，非線性特點明顯，基于數理統計的預測方法并不適用于母線負荷預測問題，二者的相通之處主要集中在人工智能方法上。母線負荷預測的人工智能方法分為以下兩種。

（1）根據實際母線負荷數據特點，設計貼合的多層不同網絡組合預測模型[6]。文獻[7]提出一種反向傳播人工神經網絡BP-ANN（back propagation artificial neural network）與卷積神經網絡CNN（convolutional neural networks）融合的母線負荷預測方法，利用CNN提取圖像型母線數據的特征，然后通過多層網絡完成預測；文獻[8]采用隨機森林算法對母線負荷影響因素進行特征排序，并使用深度置信網絡DBN（deep belief networks）模型進行預測；文獻[9]提出一種利用CNN提取多因素主特征，采用多層門控循環單元GRU（gate recurrent unit）神經網絡進行母線負荷預測的方法，結果表明該方法具有較高的精度。多層組合預測模型方法的優點是不需要對母線負荷原始數據進行太多的處理，合適的模型可以達到一定的預測精度，但往往根據不同母線的類型和特點需要“因地制宜”，泛化性不強，在預測的適用性上存在一定的問題。

（2）在選取預測模型之前，對母線負荷序列數據進行非線性特征提取，即進行周期化和趨勢化處理，降低預測模型捕捉特征的難度。文獻[10]提出一種基于小波分解和ANN的預測模型，對小波分解得到的子序列采用不同激活函數的ANN分別預測并求和，達到很好地預測精度。文獻[11]采用相重構方法對母線負荷序列進行處理，然后利用DBN模型進行預測，在波動性較大的情況下得到較好的預測精度；文獻[12]采用互補集合經驗模態分解對母線負荷序列進行處理，并使用極限學習機ELM（extreme learning machine）對分解得到的子序列進行預測，與直接預測相比提高了準確率；文獻[13]提出一種變分模態分解-長短期記憶VMD-LSTM（variational mode decomposition long short-term memory）分位數回歸的母線負荷區間預測方法，改善了區間預測的寬度。這一方法的優點是泛化能力強，容易移植到不同母線預測的問題上，但預測精度可能會受到一定的影響。

本文針對多因素母線負荷短期預測問題和氣象數據粒度粗糙的問題，結合深度學習方法和特征工程，提出一種基于Seq2seq模型的多特征母線負荷日前預測方法。首先，對母線負荷的時間連續性特征進行編碼；然后，設置不同的特征組進行消融實驗，實驗前對Seq2seq模型的編碼器和解碼器進行優選，通過多次重復實驗，選擇效果最佳的雙向門控循環單元 Bi-GRU（bidirectional gate recurrent unit）網絡和LSTM神經網絡，搭建Seq2seq模型對不同的特征組進行預測，包括單時間連續性特征、單氣象特征和離散小波變換DWT（discrete wavelet transformation）分量特征等；最后，對不同的特征組和DWT方法進行對比實驗，以驗證本文預測方法的效果。

1 Seq2seq模型概述

Seq2seq模型早期主要應用于機器翻譯和語音文本識別等自然語言處理任務，之后有研究將該模型應用在時間序列預測任務中，并取得了較好的預測效果[14]。Seq2seq作為典型的端到端序列映射模型，可以用編碼器將不定長的母線負荷序列壓縮編碼為一個固定維度的向量，再由解碼器解碼該固定向量，輸出不定長的未來母線負荷輸出序列。

1.1 Seq2seq模型基本原理

Seq2seq模型本質上仍是神經網絡模型的一種，該模型具有編碼器-解碼器（encoder-decoder）的結構[15]，輸入序列與輸出序列可以不等長，能夠學習到輸入序列和輸入輸出的映射關系。Seq2seq模型的基本框架由編碼器、解碼器和中間向量三部分組成，母線負荷預測的Seq2seq基本結構如圖1所示。其中，一維序列的母線負荷數據及其他多因素特征作為x序列輸入，編碼器對x序列進行壓縮編碼，得到中間向量；再通過解碼器進行映射解碼，得到預測的母線負荷值。

圖1 Seq2seq模型原理Fig.1 Schematic of Seq2seq model

通過編碼器的編碼過程，得到輸入母線負荷序列的不同時刻隱藏層狀態{h1,h2,h3…,ht}，編碼器每一步的輸入包括前一個時刻的狀態信息及該步的輸入序列信息，其計算公式為

式中：f為編碼器的內部邏輯規則；xi為第i時刻模型輸入的母線負荷序列及特征；t為時刻數量。

解碼器的輸入包括中間向量和每個時刻的隱藏層狀態{S1,S2,S3…,St}，隱藏層狀態Si的計算公式為

式中：f為解碼器的內部邏輯規則；Yi為第i時刻模型的輸出值。

1.2 Seq2seq編碼解碼器

Seq2seq模型編碼器可以處理輸入序列，捕捉序列的上下文信息，壓縮成指定長度的中間向量完成編碼；然后由中間向量傳遞最后一個隱藏層狀態或所有隱含層狀態的變換給解碼器進行解碼輸出生成序列。中間向量的大小取決于解碼器隱藏單元的數量。

Seq2seq模型的編碼器和解碼器并非是特定的某種神經網絡模型，而是針對不同的任務，會使用不同的神經網絡模型。例如，在圖形處理任務中一般采用CNN模型；在文本處理、語言識別和時間序列預測任務中常使用循環神經網絡RNN（recurrent neural network）系列網絡模型。對于預測問題，編碼器不僅可以采用LSTM和GRU等多種單向循環神經網絡，還可采用雙向長短期記憶Bi-LSTM（bidirectional long short-term memory）神經網絡等雙向循環神經網絡，更好地提取輸入負荷序列中的信息。而解碼器為了避免未來信息的泄露，一般只采用單向RNN。

2 斯皮爾曼氣象關聯度分析

由于母線負荷特性各異且基數小，往往容易受到各種因素的影響。例如，在居民生活區域，溫度的驟升或驟降會引起空調負荷的大幅度波動；在工業區和高鐵牽引網等區域，沖擊性負荷設備的啟停會引起母線負荷的劇烈變化；在規模化分布式可再生電源接入的區域，氣象因素對新能源出力的影響往往會給母線負荷帶來一定的隨機性與波動性，這些影響因素均增加了準確預測母線負荷的難度。

本節以提取30 min粒度的氣象數據與母線負荷數據進行斯皮爾曼（Spearman）相關性分析，采用MinMaxScaler對氣象數據和母線負荷進行歸一化，即，

式中：s為待歸一化的數據；s*為歸一化之后的結果。

斯皮爾曼相關系數是利用單調方程評價2個變量依賴性和相關性的非參數指標，相關系數的范圍為[-1，1]，絕對值越接近于1表示相關性越高，其計算公式為

式中：xi、yi分別為兩類相關性計算的數據；分別為數據的平均值。

各類氣象數據與母線負荷的斯皮爾曼系數計算結果如表1所示。

表1 斯皮爾曼相關系數計算Tab.1 Calculation of Spearman correlation coefficient

由表1可知，本文的母線負荷數據與風速、溫度的相關聯性較大，與濕度、能見度的相關聯性較低。選取本文母線負荷數據更敏感的溫度、風速和濕度作為氣象因素，構建Seq2seq模型的輸入特征進行預測。

3 母線負荷特征工程

3.1 時間連續性周期編碼設計

母線負荷數據作為時間序列具有固有的時間周期屬性，為了讓預測模型對該屬性具有敏感性，對母線負荷采樣點的時間戳進行時間連續性周期編碼。應先對時間進行歸一化并變換長度取值，使預測模型對于對稱時間節點具有相同的正弦值，例如00：00左右的23：55和00：05。但加入會導致模型無法區分00：00和12：00時間節點，因此，需成對加入加以區分，使每一個時間節點都具有位置唯一的特性，兩點之間的距離對應于24 h循環的時間差，從而反映時間周期性。

對母線負荷的小時、星期、日在月（day of month）和周在年（week of year）的位置特性進行編碼，即

式中：sin_time、cos_time為對應時間的編碼計算值；T為不同時間的歸一化周期。編碼得到的特征分別為正弦小時特征sin_hour、余弦小時特征cos_hour、余弦周特征cos_weekday、正弦周特征sin_weekday、余弦月特征cos_month、正弦月特征sin_month、余弦年特征cos_weeksofyear、正弦年特征sin_weeksofyear。

3.2 輸入特征設計

根據第3.1節得到的8個時間連續性特征，構造不同的預測模型特征組合，組合原則如下：

（1）研究時間連續性特征對氣象特征的替代作用，選擇時間連續性特征+分解分量特征與氣象特征+分解分量特征進行對比；

（2）研究編碼器和解碼器對母線負荷序列特征提取的作用，選擇原始數據特征進行預測；

（3）研究計及氣象特征+時間連續性特征+分解分量多特征的預測效果，并與原始數據進行對比，不同組合特征如圖2所示。

圖2 母線負荷特征組Fig.2 Feature group of bus load

圖2中的分量i特征為采用DWT方法進行處理所得的不同小波分量，DWT的小波基函數設置為對稱函數sym7，對母線負荷進行分解特征提取，得到7個細節分量IMF1～7和一個近似逼近分量IMF8，其波形如圖3所示。通過每個小波分量單獨作為每輪預測的特征，最后合成得到母線負荷預測結果。

圖3 DWT分解Fig.3 DWT decomposition

對構造的不同特征組，搭建Seq2seq預測模型進行消融實驗，模型結構主要為Bi-GRU網絡編碼層、LSTM網絡解碼層和全連接輸出層，其流程如圖4所示。

圖4 預測流程Fig.4 Flow chart of prediction

4 算例分析

4.1 數據預處理及誤差指標

為驗證所提方法的有效性，選取某地區實際母線負荷數據進行驗證，采樣間隔為30 min，即每日包括48個采樣點，共計17 520個數據樣本，訓練集與測試集樣本劃分約為9：1。對劃分好的訓練與測試集，采用滑動窗口的方式進行預測，將前n個樣本數據作為特征，第n+1個樣本數據作為標簽，將n個特征作為模型的輸入，得到下1個時間節點的預測值，然后滑動窗口，將預測值作為新特征進行預測。

在預測前首先對母線負荷數據進行預處理，包括異常值辨識、異常值處理和缺失值填充等。為了防止網絡不收斂，加快訓練速度，在數據預處理中進行MinMaxScaler歸一化，消除量綱影響，將原始負荷數據進行壓縮，其計算公式為

采用平均絕對百分誤差MAPE（mean absolute percentage error）、均方根誤差 RMSE（root mean square error）和平均絕對誤差MAE（mean absolute error）作為模型精度的評價指標，各指標可表示為

式中：ai為第i個預測點的母線負荷預測值，i=1，2，…，n，n為采樣點個數；bi為第i個預測點的母線負荷真實值。MAPE、RMSE和MAE的值越小表示模型的預測精度越高。

4.2 消融實驗

設計RNN、LSTM、GRU、Bi-LSTM和Bi-GRU網絡作為Seq2seq模型的編碼器，在RNN、LSTM和GRU中選擇適合的解碼器，對母線負荷數據進行信息特征提取。編碼器和解碼器神經元個數為64、滑動窗口長度為48、學習率設置為0.000 1、樣本批量大小設置為32。訓練時的損失函數選用均方誤差MSE（mean square error）、優化器為Adam。得到不同編碼解碼器的預測誤差如表2所示。

表2 編碼解碼器誤差Tab.2 Encoder-decoder error

由表2數值分析對比可知，編碼器為Bi-GRU網絡、解碼器為LSTM網絡時，MAPE和RMSE誤差較低，模型預測效果最佳。

確定Seq2seq模型的編碼器和解碼器后，設置不同的特征組，進行多次重復實驗，特征組如表3所示。

表3 特征組分類Tab.3 Classification of feature groups

將不同特征組輸入Seq2seq預測模型，計算MAPE、RMSE和MAE，其結果如圖5所示。

圖5 特征組誤差柱狀Fig.5 Histogram of feature group error

由圖5可知，通過對不同特征組別的消融實驗，特征組（5）即時間連續性特征+氣象特征+原始母線負荷數據特征的預測效果最好，MAPE、RMSE和MAE誤差分別為1.104%、0.188 4 MW和0.135 5 MW。特征組（1）與特征組（2），即時間連續性特征與氣象特征對比，預測效果均好于原始母線負荷數據直接預測，但氣象特征組預測效果略好；特征組（1）、（2）與特征組（3）對比，可得高維全特征的預測效果更佳；特征組（3）與（5）、（4）與（2）對比，可得經Bi-GRU網絡與LSTM網絡編碼解碼的母線負荷序列預測效果好于經DWT方法的母線負荷序列分解合成預測。特征組（5）的預測結果如圖6所示。

圖6 特征組（5）預測結果Fig.6 Prediction results of feature group（5）

由實驗結果可得①與原始母線負荷序列直接預測的誤差相比，加入時間連續性特征后，MAPE誤差降低了1.24%，但略高于單氣象特征組，說明時間連續性特征能夠在氣象數據缺失時，起到一定的補償替代作用；②編碼器能夠通過對輸入母線負荷序列的壓縮編碼，集合序列的時序信息，拷貝隱藏層狀態，再通過解碼器的映射，能夠起到與DWT方法類似的特征提取作用，并且效果更佳。

5 結論

針對多因素母線負荷短期預測和氣象數據粒度粗糙問題，結合深度學習方法和特征工程，本文提出一種基于Seq2seq模型的母線負荷短期預測方法。首先對母線負荷的時間連續性特征進行編碼，然后設置不同的特征組進行消融實驗。通過多次重復實驗，選擇效果最佳的Bi-GRU神經網絡和LSTM神經網絡分別作為Seq2seq的編碼器和解碼器，并設置不同的特征組進行消融實驗，包括單時間連續性特征、單氣象特征和DWT分量特征等。實驗結論如下：

（1）與DWT方法分解合成的特征提取方法相比，Seq2seq模型的壓縮編碼映射解碼機制同樣可以對母線負荷數據的特征進行提取學習，并且預測誤差更低；

（2）在Seq2seq框架下，多因素特征的預測效果更佳，構建的時間連續性特征可以在一定程度上彌補氣象數據的缺失，獲得更好的預測精度。

下一步研究工作將增加更多不同的特征組合進行消融實驗，并針對Seq2seq預測模型的編碼器和解碼器等多維超參數進行優化，結合啟發式優化算法進行進一步研究。