基于時空注意力機制的臺區多用戶短期負荷預測

趙洪山 吳雨晨 溫開云 孫承妍 薛 陽

基于時空注意力機制的臺區多用戶短期負荷預測

趙洪山1吳雨晨1溫開云1孫承妍1薛 陽2

（1.河北省分布式儲能與微網重點實驗室（華北電力大學） 保定 071003 2. 中國電力科學研究院有限公司 北京 100180）

針對在低壓臺區海量高波動用戶負荷預測場景下，傳統探索單個用戶時間特征的負荷預測方法存在無法學習用戶之間的空間相關性、無法實現多用戶共同預測的問題，該文提出一種基于時空注意力機制的Transformer負荷預測模型（STformer），提供精準的臺區多用戶短期負荷預測。首先，改進傳統Transformer模型，嵌入序列分解模塊、自相關計算模塊和空間注意力模塊。其中，序列分解模塊可以將波動較大的用戶負荷曲線分解為相對平穩的多個子序列，有助于更好地提取負荷曲線的時間依賴性和周期因子；自相關計算是一種改進的注意力機制，可以挖掘多個歷史同時期子序列的時間相關性；空間注意力機制可以提取臺區多用戶之間的動態空間相關性。然后，利用蒙特卡洛隨機失活方法（MC dropout）將STformer拓展到臺區多用戶負荷概率預測。最后，采用真實臺區多用戶負荷數據集進行驗證，與多種負荷預測模型進行對比，證明STformer模型可有效提高短期多用戶負荷點預測和概率預測的精確性和魯棒性。

多用戶負荷預測 時空相關性 Transformer模型

0 引言

在“碳達峰·碳中和”目標的指導下，大量用戶側分布式電源從低壓配電臺區入網，加劇了能源消耗模式的波動性和不確定性[1]。面對高波動的負荷曲線，在未來幾分鐘或幾小時內對低壓臺區單個用戶進行準確且高效的短期電力負荷預測對需求側響應、可再生能源消納具有重要價值[2-3]。此外，智能電表等裝置在用戶側的廣泛使用一方面為電力企業分析臺區用戶用電行為之間的關聯提供了數據基礎[4]；另一方面也帶來了海量用戶的負荷預測需求[5]，這意味著傳統僅針對單個對象的預測方法無法滿足海量用戶的新形勢。因此，需要一個針對多用戶的負荷預測模型，方便、高效、精確地完成海量用戶的點預測和概率預測任務。

目前，一方面由于用戶級數據的缺乏；另一方面由于系統級負荷序列更為平穩，周期性規律較強，導致負荷預測的研究主要集中在系統級，即針對臺區的總負荷進行預測。經典機器學習方法如多元線性回歸（Logistic Regression, LR）[6-7]、支持向量機（Support Vector Regression, SVR）[8-10]、隨機森林[11]、前饋神經網絡（Feedforward Neural Network, FNN）等都在系統級負荷預測領域證明了其有效性。然而，由于用戶用電行為具有主觀性和隨機性，易受氣象條件、市場電價等因素影響，與系統級負荷相比，用戶級負荷往往更不規則，波動性更大。因此，提供精準的用戶級負荷預測仍然為一項極大的挑戰。

隨著智能電表等設備的發展，學者們將目光越來越聚焦于用戶側。近年來，深度學習模型在負荷預測領域受到廣泛關注，循環神經網絡（Recurrent Neural Network, RNN）[12-14]、卷積神經網絡（Convolutional Neural Network, CNN）[15-17]、Transformer等模型進一步提升了負荷預測模型的性能和精準度?，F有的用戶負荷預測方法大多是針對單個用戶的時間序列使用深度學習模型進行預測，例如，文獻[18]以向量自回歸模型、高斯過程回歸模型和長短期記憶網絡（Long Short Term Memory network, LSTM）異構模型為基礎模型，基于權重系數進行組合預測。文獻[19]利用氣象及環境信息預測單個用戶的負荷信息，采用CNN提取特征并輸入RNN中進行預測。文獻[20]通過特征工程框架，使用基于機器學習的增強方法提高單個住宅短期負荷預測的準確性。然而，上述方法都是對單個用戶的時間特征進行建模而忽略了多用戶間的空間相關性。同一區域內的用戶共享著相同的地理空間、氣象條件、節假日信息、電價政策等綜合因素，用戶用電行為之間往往會存在一定的時空相關性。若能充分挖掘這種時空相關性，將對短期用戶負荷的建模產生極為積極的意義。

目前已有少量文獻對考慮時空相關性的用戶負荷預測進行了初步的探索。時空電力負荷預測傾向于使用所有用戶的信息來訓練模型，通過提取不同用戶單元之間的潛在依賴關系來提高整體預測精度，不同用戶間的潛在依賴關系在一定程度上也反映了外因的影響，這樣能在缺少外部數據的情況下得到比較精確的預測結果。例如，文獻[21]提出一種基于CNN和LSTM的混合模型，融合多個用戶之間的長期變化趨勢和短期負荷相似性；文獻[22-23]提出一種基于圖神經網絡（Graph WaveNet, GWN）的短期居民負荷預測方法，利用“圖學習”的方法描述用戶負荷的時空相關性。上述方法在面對多用戶負荷預測時都取得了相比于傳統方法更為優秀的效果。然而，應當注意到已有的時空方法只能提供確定性預測，無法提供概率預測。概率預測以預測區間、概率密度函數等形式呈現，可以幫助運營商制定基于風險的決策。近年來，面對電網高比例滲透新能源帶來的不確定性，概率預測在市場交易、運行調度等環節發揮著越來越大的作用。

Transformer模型[24]是一種完全基于注意力機制的編碼器-解碼器結構，其直接輸出預測長度的預測序列，允許對序列進行相關性建模而不考慮它們之間的距離，因此適用于臺區多用戶負荷預測問題。但是，標準的Transformer模型無法捕捉序列之間的空間相關性，無法處理高波動性序列，所以需要對標準Transformer模型作一定的修改。

針對上述問題，本文首先提出一種基于時空注意力機制的Transformer負荷預測模型（Spatial-Temprol Transformer, STformer）。通過改進標準的Transformer自注意力機制，為每個編碼器和解碼器嵌入三種模塊：序列分解模塊、自相關計算模塊和空間注意力模塊，有效提取高波動性居民用戶之間的動態時空依賴關系。然后，利用蒙特卡洛隨機失活方法（MC dropout）將STformer拓展到概率預測領域。該方法不需要對STformer進行額外修改，但使得STformer具備了同時輸出點預測和概率預測結果的能力。概率預測提供的不確定性信息可以幫助電力運營商作出基于風險的決策。

1 STformer網絡架構

針對臺區多用戶負荷預測時空依賴關系復雜的問題，提出一種新的預測方法——基于時空注意力機制的Transformer（STformer），模型架構如圖1所示。

模型設計遵循編碼器-解碼器結構。編碼器/解碼器包含序列分解模塊、自相關模塊和空間注意力模塊，目的是進行過去/未來的周期信息建模和空間信息建模。此外，解碼器還可累積趨勢分量，進行趨勢信息的建模。具體措施如下：

圖1 STformer模型架構

1）打破序列分解的預處理慣例，并將其改造為模型的基本內部塊，賦予模型復雜時間序列的漸進分解能力。一方面可以將受新能源接入影響波動較大的用戶負荷曲線分解為相對平穩的多個子序列；另一方面解決了未來預測負荷以及中間隱藏變量難以分解的問題，有利于消除干擾信息，細化預測結果。

2）設計基于序列周期性的自相關機制，使用快速傅里葉變換（Fast Fourier Transform, FFT）代替矩陣乘法，降低輸入數據帶來的大計算量。

3）利用池化、卷積等操作設計空間注意力模塊，挖掘與利用多用戶負荷之間的復雜空間關系。

1.1 編碼器和解碼器

1.1.1 編碼器

編碼器的輸入enc由用戶負荷序列in和時間編碼結果經過數值嵌入后相加得到。其中，數值嵌入操作是為方便后續的殘差連接及模型堆疊，將數據由維的輸入空間投影到model維的模型空間以對齊模型的數據維度。編碼器側重于周期性分量的建模和空間信息建模，經過序列分解得到的趨勢分量被丟棄。編碼器的輸出包含過去的周期性信息和空間信息，將作為交叉信息輸入解碼器中幫助解碼器完善預測結果。

1.1.2 解碼器

解碼器分為兩部分，上半部分用于周期信息建模的堆積式自動相關機制和空間相關性的提??；下半部分用于趨勢信息的積累。解碼器的輸入為des和det兩個序列。des和det的前半部分為in后半部分進行分解后所得到的周期分量ens和趨勢分量ent。des和det的后半部分分別為長度為pre的0占位符和平均值占位符和。des和det變換到model維度再分別和model維度的時間信息相加作為解碼器的兩個輸入。每個解碼器層包含內部的自相關可以細化預測中的周期性信息，編碼器-解碼器自相關有助于利用過去的周期性信息，空間注意力模塊可以提取空間相關性。同時，解碼器還從中間的隱藏變量中提取潛在的趨勢，使STformer能夠逐步細化趨勢預測。

1.2 序列分解模塊

如圖1所示，序列分解模塊被集成到框架的內部，而不是在數據預處理過程中應用時間序列分解。這種漸進分解的結構可以分解歷史數據、未來數據和中間隱藏變量，并且捕捉趨勢部分和季節部分潛在的未來交互。這種分解模塊通過移動平均的方法實現，先通過一個平均池化層得到趨勢部分，再減去趨勢部分得到季節部分。對時間序列進行分解可以表示為

式中，t和s分別為趨勢部分和季節部分，t,s∈R×d；AvgPool(·)為平均池化，等價于對序列進行滑動平均；Padding(·)為對輸入進行填充，以確保輸入輸出序列長度一致。整個分解過程可以表示為

式中，SeriesDelomp(·)為序列分解過程。

1.3 空間注意力模塊

空間注意力模塊如圖2所示，由卷積操作和空間注意力操作兩部分構成。首先使用卷積操作對時序分解后的季節性部分進行深層次特征挖掘；然后對挖掘的特征作空間注意力操作?？臻g注意力操作可以定位空間中有效的信息并進行特征加權，學習重要的空間特征。

圖2 空間注意力模塊

式中，*代表卷積運算；為用到的個卷積濾波器。

然后，將原始特征中的空間信息變換到另一個空間中并保留關鍵信息，計算式為

1.4 自相關機制

自相關機制首先通過計算序列自相關來發現基于周期的相關性，然后通過時間延遲聚合來聚合相似的子序列。自相關機制如圖3所示，利用快速傅里葉變換計算自相關系數()，它反映了時間延遲的相似性。再根據選定的延遲將相似的子過程滾動到相同的指數，并通過()進行聚合。

圖3 自相關機制

1.4.1 傅里葉簡化自相關計算

自相關的概念來自信號分析，表示的是同一個時間序列在任意兩個不同時刻的取值之間的相關程度。本文采用維納-辛欽定理簡化了自相關的運算。維納-辛欽定理在傅里葉光學領域被提出，它指出任意一個均值為常數的廣義平穩隨機過程的功率譜密度是其自相關函數的傅里葉變換。這種自相關的高效計算可以實現(log2)的復雜度，其中為序列長度。對于序列分解塊分解出的周期分量s，先經過投影得到查詢向量被查詢信息與其他信息的相關性向量被查詢信息向量，自相關系數()簡化計算過程為

1.4.2 時間延遲聚合

圖4 時間延遲聚合

2 基于蒙特卡洛隨機失活的概率預測

捕捉模型中的不確定性是實現時間序列的概率預測的一種方法[26]。貝葉斯概率理論是解釋模型不確定性的有效工具，但它通常需要高昂的計算成本，因此選擇使用基于神經網絡的MC dropout方法近似貝葉斯理論[27]降低計算成本。具體過程如下：

給定一組個觀測值={1,2,…,x}和預測值={1,2,…,y}，設f(·)為參數為的神經網絡。貝葉斯推斷旨在找到模型參數后驗分布(|,)。當測試樣本*輸入訓練模型時，通過計算邊緣化后驗分布獲得預測值的概率分布為

式中，*為測試集的輸出。

預測分布的方差量化了預測不確定性，其可以使用總方差定律進一步分解為

其中

此時，根據式（8），式（7）可以近似為

3 仿真驗證

本文使用來自東南某省真實的臺區用戶負荷數據驗證提出模型的有效性。為了檢測模型在不同數據集上的泛化性能，分別對A、B兩個居民臺區的數據集建立預測模型。每個臺區的數據集中包括多條用戶的歷史負荷信息和日期信息，對同一臺區的多用戶之間采用基于時空注意力機制的方法進行聯合預測。兩個臺區分別有131個用戶和138個用戶，采樣周期為1 h，時間跨度為2021年4月1日至2022年3月31日。首先每次從中選取10%作為測試集，相當于十折交叉驗證；然后取剩下的80%作為訓練集和10%作為驗證集，每次隨機劃分訓練集和驗證集。

3.1 數據讀取和數據預處理

本文數據是個用戶一年的負荷數據和對應的日期數據。先進行數據預處理，將數據劃分為訓練集、驗證集和測試集，并且將負荷數據進行標準化。此外還將時間信息解析為4列數據（包括一天中的第幾個小時、一星期中的第幾天、一個月中的第幾個星期、節假日），數據范圍為(0,1)。

3.2 評價指標與模型配置

針對點預測和概率預測選擇不同的評價指標在測試集上衡量模型的預測性能，是交叉驗證的平均。

1）點預測

使用平均絕對百分比誤差（Mean Absolute Percentage Error, MAPE）、平均絕對誤差（Mean Absolute Error, MAE）作為度量來計算模型的預測誤差，計算公式分別為

為了比較在單個用戶上的預測效果，計算每個用戶的MAPE和MAE的平均值，分別記作Avgr. MAPE和Avgr.MAE；為了比較在總體用戶上的預測效果，計算所有用戶的總預測值與總真實的MAPE和MAE，分別記作Aggr.MAPE和Aggr.MAPE。

2）概率預測

使用彈球損失（Pinball）和Winkler來量化MC dropout短期用戶負荷概率預測性能，Pinball和Winkler都可以綜合評估概率預測的區間可靠性和區間寬度。Pinball表達式為

式中，L和U分別為預測區間（Prediction Interval, PI）的下限和上限；為區間寬度，=U-L。

本文選擇了兩個機器學習模型——支持向量回歸（Support Vector Regression, SVR）、線性回歸（Linear Regression, LR）和五個深度學習模型——FNN、LSTM、卷積門控循環單元（Convolutional Neural Network-Gate Recurrent Unit, CNN-GRU）、GWN、Transformer與所提出的模型進行比較。上述網絡模型中，FNN模型的隱藏層數為3，隱藏層神經元個數分別設置為40、40、20；SVR模型的核函數采用徑向基函數，懲罰參數為5；LSTM模型隱藏層神經元個數為512，使用Adam優化器來訓練，

初始學習率為0.001；CNN-GRU模型的卷積層數為3，GRU層數為1，全連通層數為1，卷積核大小為(2, 1)；GWN模型的層數為8，其膨脹因子為1、2、1、2、1、2、1、2；Transformer及其改進算法的主要超參數見表1。所有程序在配置RTX A5000顯卡、16核 Intel(R) Xeon(R) Platinum 8350C CPU的計算機上利用python實現。

表1 STformer主要參數

Tab.1 Main parameters used in STformer

3.3 提前1 h點預測結果

3.3.1 臺區單個用戶的預測效果

表2列出了不同模型在兩個臺區預測結果的Avgr.MAPE、Avgr.MAE，圖6a和圖6c列出了不同模型在每個具體用戶上的MAPE值。由表2可以看出，在A臺區和B臺區中預測效果最差的三個模型是FNN、SVR、LR，這是因為它們不善于提取輸入輸出之間的復雜映射關系。相比之下，LSTM和CNN-GRU的預測效果優于上述三個算法。這主要歸功于LSTM網絡模型能較好地提取負荷序列的時間特征；CNN-GRU可以通過CNN捕捉空間特征，而GRU可以在CNN的基礎上進一步捕捉負荷序列的時間變化規律。本文提出的STformer模型通過時間注意力機制提取用戶的時間變化規律，通過空間注意力機制提取多個用戶之間的空間依賴性，最終STformer在所有的場景下都取得了最好的預測結果。具體來說，與FNN、SVR、LR、LSTM、CNN-GRU、GWN、Transformer相比，本文所提出的方法在A臺區15個用戶上得到的Avgr.MAPE分別減少了22.38%、24.10%、25.25%、22.38%、22.51%、20.29%、16.54%；對B臺區15個用戶的預測結果得到的Avgr.MAPE分別減少了24.92%、31.08%、32.18%、20.90%、27.7%、8.71%、6.95%。這體現了STformer模型在多用戶短期負荷預測方面的準確度，說明在實際工程應用中該模型可以為決策者提供可靠的預測結果。

表2 提前1h點預測性能

Tab.2 Point forecasting performance summary 1 h ahead

由圖6a和圖6c可以看出，盡管在每個用戶上，預測結果的MAPE有一定波動，但是本文提出的模型在每個用戶的預測準確度均優于其他對比方法。說明本文提出的方法可以有效地提取多個用戶之間的空間相關性，并利用這種空間信息提高每個用戶的預測準確度。

3.3.2 臺區用戶總負荷的預測效果

本節評估了模型在預測總負荷（同一臺區所有用戶的總功率）方面的性能。圖6b和圖6d繪制了采用不同算法時，A、B兩個臺區1 h前負荷的預測結果和真實曲線，此處使用了兩天的預測結果進行展示。可以看到，STformer的總負荷預測值更接近真實值。例如，圖6b中[10, 15]、[35, 40]的時間步長間隔直觀地證明了STformer在總負荷預測中的性能優于其他模型。從圖6d也可以看出，該模型總體上對實際負荷曲線的擬合度更高，特別是在上升沿中。綜合來看，STformer在總負荷預測中的性能優于其他模型。此外，表2中STformer模型在總負荷預測結果的Aggr.MAPE和Aggr.MAE始終優于其他對比模型。這說明所提出的STformer模型不僅可以為臺區單個用戶提供精準的負荷預測結果，而且可以為臺區總負荷預測提供優秀的預測結果。

3.4 提前1 h概率預測結果

使用A、B兩個臺區2021—2022年的負荷數據來驗證基于MC dropout方法的短期多用戶負荷概率預測的有效性。隨機失活比=0.1被添加到所有的dropout層，式（8）由模型迭代500次估計（=100），的估計值為0.81。

為了量化MC dropout在解決短期負荷概率預測上的性能，采用Pinball、50%預測區間的Winkler評分、90%預測區間的Winkler評分來評估所提出的方法的覆蓋率和間隔寬度。在A、B兩個臺區的負荷數據集上實現STformer模型，并將結果與分位數回歸神經網絡（Quantile Regression Neural Network, QRNN）[28]和稀疏高斯過程回歸（Sparse Gaussian Process Regression, SGPR）[29]進行比較。其中，QRNN是一種基于神經網絡的分位數回歸方法，其做法是將標準的神經網絡L1損失函數替換為Pinball損失函數；SGPR在傳統的高斯過程基礎上增加了誘導點機制，可以有效地緩解高斯過程的計算負擔。提前1 h概率預測評價指標見表3。從表3中可以看出，與現有方法相比，所提出的具有MC dropout的STformer模型在Pinball和兩個Winkler分數上表現更好，可提供更好的概率預測結果。通過對具有MC dropout的神經網絡進行抽樣，可以得出結論，所提出的具有MC dropout的STformer模型能很好地捕捉短期負荷預測任務的不確定性。

表3 提前1 h概率預測評價指標

Tab.3 Comparison of probabilistic prediction indexes 1 h ahead

圖6顯示了A、B兩個臺區的兩個用戶1 h前負荷預測的五天預測值、真實值、95%預測區間、80%預測區間和70%預測區間。結果表明，所提出的具有MC dropout的STformer模型的預測區間對真實值具有可靠的覆蓋率，并且提供了較窄的預測區間，尤其是在一些波峰和波谷的地方，這對電力系統的穩定運行至關重要。

圖6 提前1 h概率預測結果

3.5 日前負荷預測效果

為了證明本文所提出的模型在多步預測上的性能，本文進行了日前負荷預測，預測結果和概率預測評價指標分別見表4和表5。表4中的MPE為平均相對誤差，即日前負荷預測MAPE的平均值；MAXE為日前負荷預測MAPE的最大值[30]。前綴Aggr代表臺區總負荷的評估指標，Avgr代表單個用戶負荷的評估指標。從表4和表5可以看出，本文所提出的模型在日前負荷點預測和概率預測上都取得了最好的效果。

表4 日前負荷點預測性能

Tab.4 Point forecasting performance summary one day ahead

表5 日前負荷概率預測評價指標

Tab.5 Comparison of probabilistic forecasting indexes one day ahead

3.6 不同模塊對實驗結果的影響

本文還通過消融實驗比較了不同模塊對實驗效果的影響。分別利用完整的STformer、刪除空間注意力模塊的STformer、刪除自相關模塊的STformer、刪除時間序列分解模塊的STformer進行了提前1 h負荷預測。隨機選擇A臺區的三個用戶進行MAE和MAPE計算，四個模型之間的比較結果如圖7所示。

從圖7中可以發現：①刪除任何一個模塊都會導致模型性能下降，說明每一個模塊都有助于預測準確度和模型魯棒性的提高；②與其他模型相比，刪除空間注意力模塊的STformer性能下降幅度最大，這說明空間注意力模塊所提供的空間信息在模型中起重要作用，空間信息也可以降低過擬合問題的風險，從而提高模型預測的準確性；③刪除自相關模塊的STformer和刪除序列分解模塊的STformer的性能優于刪除空間注意力模塊的STformer，但相較于完整的STformer準確性仍然有所下降。自相關機制使得模型可以從歷史數據中學到負荷行為信息，時序分解塊本身也可以細化預測結果，這都對未來序列預測起到了正面作用。

圖7 不同模型的效果

本文還驗證了FFT的加入給模型推理速度帶來的變化。將基于自相關的模型和基于自我注意的模型在訓練階段的內存和運行時間進行比較，結果見表6。針對內存效率，在STformer中將自相關模塊替換為自注意力，并記錄內存。針對運行時間，本文將自相關和自注意力機制執行103次以獲得每步的執行時間?？梢钥闯?，自相關模型的傅里葉變換方法降低了計算復雜度，從而提高了模型的計算速度。主要原因是在傳統自注意力機制計算中，計算相似度的操作是一個關于的矩陣乘法操作，計算復雜度為(3)。然而，FFT可以將矩陣乘法的計算復雜度降為(log2)，因此利用FFT改進后的自注意力機制，即自相關機制，可以加快模型的計算速度。

表6 模型效率分析

Tab.6 Model efficiency analysis

4 結論

面向臺區多用戶的短期負荷預測問題，本文提出一種基于時空注意力機制的Transformer模型，通過在Transformer模型的編碼器和解碼器中嵌入時序分解模塊、空間注意力模塊、自相關計算模塊，使其具有捕捉動態時空相關性的能力。其中，時序分解模塊可以簡化時間模式；空間注意力模塊可以用來獲取多個用戶之間的動態空間相關性；自相關計算可以挖掘多個歷史同時期子序列的時間相關性。本文還利用MC dropout方法將STformer拓展到臺區多用戶的負荷概率預測。與其他模型相比，該模型提高了海量用戶負荷和總負荷的點預測精度，也提高了海量用戶負荷的概率預測精度。

[1] 張勇軍, 羿應棋, 李立浧, 等. 雙碳目標驅動的新型低壓配電系統技術展望[J]. 電力系統自動化, 2022, 46(22): 1-12. Zhang Yongjun, Yi Yingqi, Li Licheng, et al. Prospect of new low-voltage distribution system technology driven by carbon emission peak and carbon neutrality targets[J]. Automation of Electric Power Systems, 2022, 46(22): 1-12.

[2] van der Meer D W, Munkhammar J, Widén J. Probabilistic forecasting of solar power, electricity consumption and net load: investigating the effect of seasons, aggregation and penetration on prediction intervals[J]. Solar Energy, 2018, 171: 397-413.

[3] 康重慶, 夏清, 張伯明. 電力系統負荷預測研究綜述與發展方向的探討[J]. 電力系統自動化, 2004, 28(17): 1-11. Kang Chongqing, Xia Qing, Zhang Boming. Review of power system load forecasting and its development[J]. Automation of Electric Power Systems, 2004, 28(17): 1-11.

[4] Wang Yi, Chen Qixin, Hong Tao, et al. Review of smart meter data analytics: applications, methodologies, and challenges[J]. IEEE Transactions on Smart Grid, 2019, 10(3): 3125-3148.

[5] Fekri M N, Grolinger K, Mir S. Distributed load forecasting using smart meter data: federated learning with recurrent neural networks[J]. International Journal of Electrical Power & Energy Systems, 2022, 137: 107669.

[6] 朱天怡, 艾芊, 賀興, 等. 基于數據驅動的用電行為分析方法及應用綜述[J]. 電網技術, 2020, 44(9): 3497-3507. Zhu Tianyi, Ai Qian, He Xing, et al. An overview of data-driven electricity consumption behavior analysis method and application[J]. Power System Technology, 2020, 44(9): 3497-3507.

[7] 陳錦鵬, 胡志堅, 陳緯楠, 等. 二次模態分解組合DBiLSTM-MLR的綜合能源系統負荷預測[J]. 電力系統自動化, 2021, 45(13): 85-94. Chen Jinpeng, Hu Zhijian, Chen Weinan, et al. Load prediction of integrated energy system based on combination of quadratic modal decomposition and deep bidirectional long short-term memory and multiple linear regression[J]. Automation of Electric Power Systems, 2021, 45(13): 85-94.

[8] 趙登福, 龐文晨, 張講社, 等. 基于貝葉斯理論和在線學習支持向量機的短期負荷預測[J]. 中國電機工程學報, 2005, 25(13): 8-13. Zhao Dengfu, Pang Wenchen, Zhang Jiangshe, et al. Based on Bayesian theory and online learning SVM for short term load forecasting[J]. Proceedings of the CSEE, 2005, 25(13): 8-13.

[9] Lee J, Cho Y. National-scale electricity peak load forecasting: traditional, machine learning, or hybrid model?[J]. Energy, 2022, 239: 122366.

[10] 高亞靜, 孫永健, 楊文海, 等. 基于新型人體舒適度的氣象敏感負荷短期預測研究[J]. 中國電機工程學報, 2017, 37(7): 1946-1955. Gao Yajing, Sun Yongjian, Yang Wenhai, et al. Weather-sensitive load’s short-term forecasting research based on new human body amenity indicator[J]. Proceedings of the CSEE, 2017, 37(7): 1946-1955.

[11] 吳瀟雨, 和敬涵, 張沛, 等. 基于灰色投影改進隨機森林算法的電力系統短期負荷預測[J]. 電力系統自動化, 2015, 39(12): 50-55. Wu Xiaoyu, He Jinghan, Zhang Pei, et al. Power system short-term load forecasting based on improved random forest with grey relation projection[J]. Automation of Electric Power Systems, 2015, 39(12): 50-55.

[12] 王琛, 王穎, 鄭濤, 等. 基于ResNet-LSTM網絡和注意力機制的綜合能源系統多元負荷預測[J]. 電工技術學報, 2022, 37(7): 1789-1799. Wang Chen, Wang Ying, Zheng Tao, et al. Multi-energy load forecasting in integrated energy system based on ResNet-LSTM network and attention mechanism[J]. Transactions of China Electrotechnical Society, 2022, 37(7): 1789-1799.

[13] Tang Xianlun, Dai Yuyan, Wang Ting, et al. Short-term power load forecasting based on multi-layer bidirectional recurrent neural network[J]. IET Generation, Transmission & Distribution, 2019, 13(17): 3847-3854.

[14] 王增平, 趙兵, 紀維佳, 等. 基于GRU-NN模型的短期負荷預測方法[J]. 電力系統自動化, 2019, 43(5): 53-58. Wang Zengping, Zhao Bing, Ji Weijia, et al. Short-term load forecasting method based on GRU-NN model[J]. Automation of Electric Power Systems, 2019, 43(5): 53-58.

[15] 張昆明, 蔡珊珊, 章天晗, 等. 考慮多維時域特征的行業中長期負荷預測方法[J]. 電力系統自動化, 2023, 47(20): 104-114. Zhang Kunming, Cai Shanshan, Zhang Tianhan, et al. Medium-and long-term industry load forecasting method considering multi-dimensional temporal features[J]. Automation of Electric Power Systems, 2023, 47(20): 104-114.

[16] 趙洋, 王瀚墨, 康麗, 等. 基于時間卷積網絡的短期電力負荷預測[J]. 電工技術學報, 2022, 37(5): 1242-1251. Zhao Yang, Wang Hanmo, Kang Li, et al. Temporal convolution network-based short-term electrical load forecasting[J]. Transactions of China Electrotechnical Society, 2022, 37(5): 1242-1251.

[17] Jalali S M J, Ahmadian S, Khosravi A, et al. A novel evolutionary-based deep convolutional neural network model for intelligent load forecasting[J]. IEEE Transactions on Industrial Informatics, 2021, 17(12): 8243-8253.

[18] Yu Yang, Fan Jinfu, Wang Zhongjie, et al. A dynamic ensemble method for residential short-term load forecasting[J]. Alexandria Engineering Journal, 2023, 63: 75-88.

[19] Sajjad M, Ahmad Khan Z, Ullah A, et al. A novel CNN-GRU-based hybrid approach for short-term residential load forecasting[J]. IEEE Access, 2020, 8: 143759-143768.

[20] Forootani A, Rastegar M, Sami A. Short-term individual residential load forecasting using an enhanced machine learning-based approach based on a feature engineering framework: a comparative study with deep learning methods[J]. Electric Power Systems Research, 2022, 210: 108119.

[21] Jiang Lianjie, Wang Xinli, Li Wei, et al. Hybrid multitask multi-information fusion deep learning for household short-term load forecasting[J]. IEEE Transactions on Smart Grid, 2021, 12(6): 5362-5372.

[22] 董雷, 陳振平, 韓富佳, 等. 基于圖卷積神經網絡與K-means聚類的居民用戶集群短期負荷預測[J]. 電網技術, 2023, 47(10): 4291-4301. Dong Lei, Chen Zhenping, Han Fujia, et al. Short-term load forecasting of residential user groups based on graph convolutional neural network and K-means clustering[J]. Power System Technology, 2023, 47(10): 4291-4301.

[23] 張鵬飛, 胡博, 何金松, 等. 基于時空圖卷積網絡的短期空間負荷預測方法[J]. 電力系統自動化, 2023, 47(13): 78-85. Zhang Pengfei, Hu Bo, He Jinsong, et al. Short-term spatial load forecasting method based on spatio-temporal graph convolutional network[J]. Automation of Electric Power Systems, 2023, 47(13): 78-85.

[24] 李云松，張智晟. 考慮綜合需求響應的Trans-GNN綜合能源系統多元負荷短期預測[J/OL]. 電工技術學報, 2023: 1-11. https://doi.org/10.19595/j.cnki. 1000-6753.tces.231267. Li Yunsong，Zhang Zhisheng. Trans-GNN based multi load short-term forecasting of integrated energy system considering integrated demand response [J/OL]. Transactions of China Electrotechnical Society, 2023: 1-11. https://doi.org/10.19595/j.cnki. 1000-6753.tces. 231267.

[25] Woo S, Park J, Lee J Y, et al. CBAM: convolutional block attention module[C]//Proceedings Part Ⅶof Computer Vision-ECCV 2018, Munich, Germany, 2018: 3-19.

[26] Zhu Lingxue, Laptev N. Deep and confident prediction for time series at Uber[C]//2017 IEEE International Conference on Data Mining Workshops (ICDMW), New Orleans, LA, USA, 2017: 103-110.

[27] Gal Y, Ghahramani Z. Dropout as a Bayesian approximation: representing model uncertainty in deep learning[C]//ICML'16: Proceedings of the 33rd International Conference on International Conference onMachine Learning, New York, NY, USA, 2016: 1050-1059.

[28] Zhang Wenjie, Quan Hao, Srinivasan D. An improved quantile regression neural network for probabilistic load forecasting[J]. IEEE Transactions on Smart Grid, 2019, 10(4): 4425-4434.

[29] Wen Honglin, Ma Jinghuan, Gu Jie, et al. Sparse variational Gaussian process based day-ahead pro-babilistic wind power forecasting[J]. IEEE Transactions on Sustainable Energy, 2022, 13(2): 957-970.

[30] 儲晨陽, 秦川, 鞠平, 等. 基于優化稀疏編碼的超短期負荷滾動多步預測[J]. 電工技術學報, 2021, 36(19): 4050-4059. Chu Chenyang, Qin Chuan, Ju Ping, et al. Multi-step rolling ultra-short-term load forecasting based on the optimized sparse coding[J]. Transactions of China Electrotechnical Society, 2021, 36(19): 4050-4059.

Short-Term Load Forecasting for Multiple Customers in A Station Area Based on Spatial-Temporal Attention Mechanism

Zhao Hongshan1Wu Yuchen1Wen Kaiyun1Sun Chengyan1Xue Yang2

（1. Key Laboratory of Distributed Energy Storage and Microgrid of Hebei Province North China Electric Power University Baoding 071003 China 2. China Electric Power Research Institute Beijing 100085 China）

With a large number of customer-side distributed power sources entering the network from low-voltage distribution stations and the widespread use of devices such as smart meters on the customer side, a load forecasting model for multiple users is needed to facilitate point forecasting and probabilistic tasks for a large number of users efficiently and accurately. Traditional methods of customer load forecasting model the temporal characteristics of individual customers and are unable to learn the problems of spatial correlation between customers and the inability to achieve forecasts for multiple customers. Customers in the same region share the same geographic space, weather conditions, holiday information, tariff policies, and other comprehensive factors, and there is often a certain amount of spatial and temporal correlation between customers' electricity consumption behavior. If this spatial-temporal correlation can be fully explored, it will have extremely positive implications for modeling short-term customer loads. A small body of literature has already explored the initial exploration of customer load forecasting, taking spatial-temporal correlation into account. However, the existing spatio-temporal methods can only provide deterministic forecasts, not probabilistic ones. To address these issues, this paper proposes a multi-customer short-term load forecasting model for station areas. Learning spatial-temporal correlation information from historical load data can perform accurate multi-user short-term load point forecasts and probabilistic forecasts for station areas.

Firstly, three modules are embedded for each encoder and decoder by improving the standard Transformer self-attention mechanism: sequence decomposition module, autocorrelation calculation module, and spatial attention module to effectively extract the dynamic spatio-temporal dependencies among highly volatile residential users. Among them, the sequence decomposition module can decompose highly volatile subscriber load curves into relatively smooth multiple sub-series, which helps to extract better the time dependence and period factor of load curves; the autocorrelation calculation is an improved attention mechanism that can mine the time dependence of multiple historical contemporaneous sub-series; and the spatial attention mechanism can extract the dynamic spatial support among multiple users in a station area. The STformer model is then extended to the field of probabilistic forecasting using a Monte Carlo stochastic deactivation method (MC dropout). This method does not require additional modifications to STformer but allows STformer to output both point prediction and probabilistic prediction results. Finally, the STformer model with MC dropout is used to forecast the station customer load, and both point and probabilistic forecasts are output.

In this paper, the model's validity is verified using one-hour-ahead load forecasting and day-ahead load forecasting using accurate station customer load data from a province in the southeast. The proposed STformer model has a MAPE of 4.44% for each user and 2.21% for the total load in station area A. The probabilistic forecast evaluation index pinball is 0.370 1; the average relative error MPE for each user and 3.25% for the total load in station area A is 6.21%. is 3.25%, and the probabilistic forecast assessment index pinball is 0.594 2. This paper also compares the effects of different modules on the experimental results through ablation experiments. This paper also verifies the change in model inference speed brought about by the addition of FFT, comparing the running memory and time of the autocorrelation-based model with that of the self-attentive-based model during the training phase.

The following conclusions can be drawn from the simulation analysis: (1) Compared with other baselines, the STformer model proposed in this paper extracts the temporal variation pattern of users through the temporal attention mechanism and the spatial dependency between multiple users through the spatial attention mechanism, which ultimately achieves the best prediction results in all scenarios. (2) Each module of STformer contributes to the improvement of prediction accuracy and model robustness. The spatial attention module has the greatest impact on the prediction accuracy of STformer, and the Fourier transform method of the autocorrelated model reduces the computational complexity and thus accelerates the computational speed of the model. (3) The prediction intervals of the proposed STformer model with MC dropout have reliable coverage of the true values and provide narrower prediction intervals, especially at some peaks and troughs, which are critical for the temperature operation of power systems.

Multi-customers load forecasting, spatial-temporal correlation, Transformer model

10.19595/j.cnki.1000-6753.tces.230110

TM743

國家電網公司總部科技項目“基于智能量測的低壓高滲透率分布式光伏接入可測可控技術研究”（5700-202255222A-1-1-ZN）資助。

2023-02-01

2023-07-02

趙洪山 男，1965年生，教授，博士生導師，研究方向為電力系統動態分析與控制、電力負荷預測等。E-mail：zhaohshcn@126.com

吳雨晨 女，1998年生，碩士研究生，研究方向負荷預測和人工智能技術。E-mail：wyc@ncepu.edu.cn（通信作者）

（編輯 李 冰）