基于深度學(xué)習(xí)的短期負載預(yù)測算法研究

中圖分類號：H132 文獻標(biāo)志碼：A 文章編號：1003-5168（2025)16-0029-04

DOI:10.19968/j.cnki.hnkj.1003-5168.2025.16.006

A Review of Deep Learning-Based Short-Term Load Forecasting

GE Yilin (School of Computer Science and Technology，Zhejiang Universityof Technology，Hangzhou 310014， China）

Abstract: [Purposes] The purpose of this paper is to explore the fiting degree and accuracy of short-term load forecasting with deep learning models by analyzing the principles of clasic deep learning models，and to discuss the development trends of short-term load forecasting applications based on deep learning models in the future.[Methods]This paper introduces the applications of dep learning models including Artificial Neural Network (ANN)， Recurrent Neural Network (RNN)， Convolutional Neural Network (CNN)，and DepResidual Network (ResNet) in short-term load forecasting and analyzes the strengthsand weaknesses of those models.[Findings] The four models mentioned above allachieve accurate results in short-term load forecasting，with performances better than traditional methods.[Conclusions] Hybrid models addresssome limitations of single models and generally outperform single-model approaches in short-term load forecasting.This will be the future direction of short-term load forecasting algorithms.

Keywords: short-term load forecasting;deep learning; ANN; RNN; CNN;ResNet

0引言

準(zhǔn)確的負載預(yù)測可以對電能的生產(chǎn)、傳輸、分類進行系統(tǒng)的計劃與經(jīng)營。電力工廠的機組配置和日程計劃都與準(zhǔn)確的電力負載預(yù)測緊密相關(guān)。同時，電廠運行成本的準(zhǔn)確預(yù)測也需要準(zhǔn)確的負載預(yù)測作為依據(jù)。短期預(yù)測是指對未來幾小時至幾周的負載進行預(yù)測，未來一天的負載預(yù)測對電廠經(jīng)營和調(diào)控尤為重要，通常通過短期用電量預(yù)測進行獲得。目前，在短期負載預(yù)測的各種研究中，人工智能方法取得較好的預(yù)測結(jié)果，預(yù)測準(zhǔn)確率為95% 。神經(jīng)網(wǎng)絡(luò)的特點在于可以對復(fù)雜的、多類型的輸入數(shù)據(jù)進行特征提取，電力負載數(shù)據(jù)通常形式多變、影響強烈，具有高度的不確定性，而深度學(xué)習(xí)模型可使輸人數(shù)據(jù)不受數(shù)據(jù)復(fù)雜度和多類型的影響。因此，本研究將對短期負載預(yù)測中較為經(jīng)典的4個深度學(xué)習(xí)網(wǎng)絡(luò)進行研究，并分析混合深度學(xué)習(xí)模型在短期負載預(yù)測中的效果，探討未來深度學(xué)習(xí)模型在短期負載預(yù)測應(yīng)用中的發(fā)展方向。

1深度學(xué)習(xí)在短期負載預(yù)測中的應(yīng)用

1.1人工神經(jīng)網(wǎng)絡(luò)

在神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)結(jié)構(gòu)是由神經(jīng)元的組成方式來定義的。在眾多網(wǎng)絡(luò)結(jié)構(gòu)中，多層神經(jīng)網(wǎng)絡(luò)(Multi-layerNeuralNetwork)的應(yīng)用最廣泛。多層神經(jīng)網(wǎng)包括多個神經(jīng)元構(gòu)成的輸入層、一個或多個隱藏層、一個輸出層，且網(wǎng)絡(luò)中每一層之間的輸入值與輸出值的計算受其權(quán)重影響。輸入層的輸入信息同時傳至神經(jīng)元，通過權(quán)重計算，將結(jié)果輸入下一層（即隱藏層）。隱藏層進行權(quán)重計算后將結(jié)果輸入輸出層，最終輸出層輸出預(yù)測結(jié)果。當(dāng)多層神經(jīng)網(wǎng)絡(luò)有足夠的隱藏層、神經(jīng)元和樣本數(shù)據(jù)時，基本可以擬合所有的函數(shù)。圖1為一個兩層前向神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)由一個輸人層、一個隱藏層、一個輸出層構(gòu)成。其中，輸入層神經(jīng)元個數(shù)為 n ，隱藏層神經(jīng)元個數(shù)為 j ，輸出層神經(jīng)元個數(shù)為k。權(quán)重向量為 W_ij ，連接 i 個神經(jīng)元和j個輸入元素。

圖1單層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

在神經(jīng)網(wǎng)絡(luò)中，隱藏層或輸出層的神經(jīng)元輸入由輸人數(shù)據(jù)和 θ_i 線性計算得出。其中， θ_j 為隱藏層神經(jīng)元j的激活函數(shù)。激活函數(shù)在隱藏層和輸出層的每一個神經(jīng)元中起到閥值的作用。如果logistics函數(shù)用作激活函數(shù)，則輸出層 Y_κ 的計算見式（1)。

式中： ?X_i 為輸人， 1?i?n，1?i?m ○

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程即為確定損失函數(shù)值最小時，網(wǎng)絡(luò)的各個參數(shù)值。在訓(xùn)練階段，網(wǎng)絡(luò)通過不斷調(diào)整權(quán)重以獲得最準(zhǔn)確的預(yù)測。目前在神經(jīng)網(wǎng)絡(luò)算法中運用最多的是反向傳輸算法。在前向傳播中，輸入數(shù)據(jù)通過每一層的神經(jīng)元傳遞至下一層，直到輸出層。在輸出后與期望值對比，計算損失函數(shù)，得到預(yù)測誤差，將其反向傳回網(wǎng)絡(luò)，調(diào)節(jié)各層權(quán)重矩陣和偏置向量。最終得到損失函數(shù)符合要求時的網(wǎng)絡(luò)參數(shù)，即神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成。

1.2 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)適合處理輸入信息的同時，通過循環(huán)鏈接（RecurrentConnected)追蹤前期獲取的信息，從而解決模型序列問題，其結(jié)構(gòu)如圖2所示。其中，節(jié)點 S_t 和輸出 O_t 的表示見式（2）和式(3)。

圖2循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

式中： S_t 為網(wǎng)絡(luò)在 Φ_t 時的記憶； U，W，V 分別是在每一層的共享權(quán)重矩陣； X_t 和 O_t 分別是 Φ_t 時的輸入和輸出 ?_:f(t) 和 g(t) 均為非線性函數(shù)。

與ANN通過傳遞來進行權(quán)重估算不同，RNN可通過內(nèi)部記憶模塊來處理輸入的序列。在隱藏階段（HiddenState），通過獲取前一個時間點的信息數(shù)據(jù)，利用當(dāng)前數(shù)據(jù)和前期的記憶數(shù)據(jù)，得出輸出值。

RNN在輸出與其相關(guān)聯(lián)的輸入和接近的時候，可以給出很好的預(yù)測結(jié)果，因為信息是通過前一個節(jié)點傳輸?shù)较乱粋€節(jié)點的。理論上來說，RNN同樣可處理長期的預(yù)測問題，但是在實際的運用中，由于梯度消失問題，當(dāng)時間間隔較長的時候，RNN不能很好地保存前期的信息。為解決這個問題和加強RNN的準(zhǔn)確性，在網(wǎng)絡(luò)中引入通過門控制結(jié)合短期記憶和長期記憶的長短期記憶(LSTM)模型，于是一種特殊的RNN模型在實際場景中應(yīng)運而生。

LSTM模型結(jié)構(gòu)如圖3所示，通常一個單元包括一個記憶單元、一個輸入門、一個輸出門和一個遺忘門。

圖3LSTM模型結(jié)構(gòu)

更新后的記憶單元 C_ι 的計算見式(4)。

式中： i_t 為輸入門 ;f_t 為輸出門； WW_t 為權(quán)重矩陣；b_c 是偏置向量； C_t-1 是前一個記憶單元的狀態(tài)。

輸出門 O_t 和最終輸出 h_t 的計算見式(5)和式(6)。

式中： W₀ 為權(quán)重矩陣； b₀ 為偏置向量。

通過在RNN中引入LSTM算法，不僅比單一使用RNN效果好，而且具有更好的預(yù)測效果[2]

1.3卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種在多個領(lǐng)域廣泛運用的深度神經(jīng)網(wǎng)絡(luò)，可獲取不同區(qū)域出現(xiàn)的相同模板。CNN通過多層結(jié)構(gòu)進行前期的數(shù)據(jù)處理，具有共享權(quán)重的結(jié)構(gòu)，因此對處理高緯度的數(shù)據(jù)更有效[3]。

CNN通常由多個卷積層、池化層、全連接層組成。卷積層將輸入通過一個卷積的操作進行處理，卷積計算的自的是提取輸入中的不同特征，更多的層數(shù)理論上可在原有特征的基礎(chǔ)上提取到更加復(fù)雜的特征。每一個卷積層由一系列卷積單元構(gòu)成，每一個卷積單元的參數(shù)由反饋算法取得最優(yōu)解，通常具有較大維度的特征是在卷積層降維之后獲得的。池化層將在某一層的神經(jīng)元聚類的輸出加入下一層。全連接層是通過結(jié)合所有局部特征到全局特征來計算最終結(jié)果。

為得到更好的預(yù)測效果，有研究將LSTM和CNN進行結(jié)合，得到混合模型(CNN-LSTM)用來預(yù)測短期負載。該混合模型的輸人為前幾小時的本地負載數(shù)值，輸出為預(yù)測的未來負載數(shù)值4。其中，LSTM模型用來獲取長期非關(guān)聯(lián)性，輸入數(shù)據(jù)基于LSTM結(jié)構(gòu)重新調(diào)整矩陣維度，預(yù)測結(jié)果為未來幾小時的最大值。隱藏層的輸出神經(jīng)元數(shù)量與CNN模型相等。在CNN-LSTM模型中，兩個模型的輸出在特征模糊算法之后進行結(jié)合，最終預(yù)測結(jié)果在全連接層生成。

1.4 深度殘差網(wǎng)絡(luò)

深度殘差網(wǎng)絡(luò)(ResNet)最初作為一種深度神經(jīng)網(wǎng)絡(luò)用于處理大規(guī)模的圖像識別，在圖像分類和物品識別中取得很好效果[5]。在神經(jīng)網(wǎng)絡(luò)中，結(jié)構(gòu)的層數(shù)越多，通常可分離和確定的特征越多，從而得到的效果更好。但是隨著網(wǎng)絡(luò)層數(shù)的不斷增加，會出現(xiàn)梯度消失的問題，導(dǎo)致算法不能收斂從而無法得到最優(yōu)解。

ResNet由很多的殘差塊(Residualblock)和稠密塊(DenseBlocks)構(gòu)成，每一個殘差塊可看作一個淺的神經(jīng)網(wǎng)絡(luò)。一個典型的殘差塊包括權(quán)重層、激活函數(shù)和一個跳躍連接（SkipConnection），跳躍連接是ResNet中最重要的特點。典型殘差塊結(jié)構(gòu)如圖4所示，通過一個跳躍連接，輸入可跳過一層或多層網(wǎng)絡(luò)，將數(shù)據(jù)無損失地傳遞到更深層的網(wǎng)絡(luò)。

圖4典型殘差塊結(jié)構(gòu)

殘差網(wǎng)絡(luò)好的預(yù)測表現(xiàn)很大程度上取決于跳躍連接。殘差模塊的表示見式(7)。

式中： x_L 為模塊輸出； x_l 為模塊輸入； F(x_i，W_i) 為非線性變化函數(shù)，包括卷積和激活運算； x_i 為輸人； W_i 為對應(yīng)權(quán)重矩陣。

2 目前存在問題

隨著AI技術(shù)的迅速發(fā)展，大量模型被用于不同規(guī)模的負載預(yù)測。不同的模型針對不同類型的輸入數(shù)據(jù)，通過與不同AI算法的應(yīng)用，可以得到比單一模型更好的預(yù)測效果。為解決單一算法模型過擬合問題，部分研究提出通過結(jié)合不同算法得到混合模型，從而獲得更好的預(yù)測準(zhǔn)確率。其中，效果最顯著的研究就是在CNN模型中加入LSTM算法，通過增強對數(shù)據(jù)的篩選，從而強化保留數(shù)據(jù)的內(nèi)在聯(lián)系，得到更準(zhǔn)確的預(yù)測結(jié)果和更強的模型普適性。

以ANN模型為例，為解決全局最優(yōu)解問題，Mishra[6等使用粒子群算法(PSO)這種隨機搜索最佳參數(shù)組合的算法，可以減少多層神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練時間和損失函數(shù)收斂時間。雖然PSO算法相較于遺傳算法（GA）所使用的訓(xùn)練時間更短，但是預(yù)測誤差卻大于GA算法。Chung等使用門控循環(huán)單元(GURs)來預(yù)測每日的耗電量，有利于時間序列的數(shù)據(jù)預(yù)測。于是，基于GURs的深度網(wǎng)絡(luò)結(jié)構(gòu)被用于預(yù)測短期負載數(shù)據(jù)，相較于LSTM，GURs具有更快的收斂速度和更簡單的結(jié)構(gòu)[8]。

為得到更加準(zhǔn)確的預(yù)測結(jié)果，預(yù)測模型會使用單獨的算法模型對數(shù)據(jù)進行預(yù)處理。Tian等同時還使用CNN和RNN對數(shù)據(jù)進行處理，CNN用于從歷史數(shù)據(jù)中提取豐富的特征，RNN用于動態(tài)變化規(guī)律的建模。該模型用于預(yù)測中國北部某城市的每小時用電量，預(yù)測結(jié)果優(yōu)于單層神經(jīng)網(wǎng)絡(luò)。

除了使用神經(jīng)網(wǎng)絡(luò)模型對數(shù)據(jù)進行處理，有的研究還使用機器學(xué)習(xí)的方法對數(shù)據(jù)進行預(yù)處理。Farfar等[使用混合聚類方法來預(yù)測微型電網(wǎng)的負載，先使用SOM算法來分類歷史數(shù)據(jù)，再使用K-means方法對分類后的數(shù)據(jù)聚類。陳偉偉等使用SVR和LSTM分別對輸入數(shù)據(jù)進行預(yù)測，分別得到預(yù)測結(jié)果后將數(shù)據(jù)進行融合，從而得到最終預(yù)測數(shù)據(jù)，該方法得到預(yù)測結(jié)果優(yōu)于單一模型。

3發(fā)展方向

目前，多數(shù)研究通過使用混合模型的方法，嘗試解決過擬合或網(wǎng)絡(luò)層數(shù)太深導(dǎo)致的訓(xùn)練時間長、模型復(fù)雜度高及梯度消失等問題，研究顯示，混合模型比單一模型具有更好的預(yù)測效果。深度學(xué)習(xí)模型對短期負載預(yù)測的效果在大部分研究中優(yōu)于傳統(tǒng)機器學(xué)習(xí)模型，但是也有研究表明，將深度學(xué)習(xí)算法與傳統(tǒng)機器學(xué)習(xí)模型（如SVR、隨機森林、粒子群算法等)進行結(jié)合，這些混合模型均有較好的表現(xiàn)。隨著算法的發(fā)展，在解決現(xiàn)有問題的基礎(chǔ)上，會有更為高效的混合模型出現(xiàn)，只需使用更短的訓(xùn)練時間，就能得到更為準(zhǔn)確的預(yù)測數(shù)據(jù)。

參考文獻：

[1]CHENBJ，CHANGMW，LINCJ.Load forecasting usingsupportvectormachines:a studyon EUNITE competition 20o1[J].IEEE Transactions on Power Systems:APublication of thePower Engineering Society，2004;19(4):1821- 1830.

[2]ZHENGJ，XUCC，ZHANGZA，etal.Electricload forecastingin smart grid usinglong-short-term-memory based recurrent neural network[J].IEEE，2017.

[3]HUYTHB，VODN，NGUYENKP，etal.ShortTerm load forecasting in power system using CNN-LSTM neural network[C]//2023 Asia Meeting on Environment and ElectricalEngineering（EEE-AM).[2025-07-24].

[4]WANGYY，CHENYB，LIUHH，et al.Day-ahead photovoltaic power forcasting using convolutional-LSTM networks[C]//2021 3rd Asia Energy and Electrical Engineering Symposium(AEEES).2021.

[5]HEKM，ZHANGXY，RENSQ，etal.Deep residual learning for image recognition[J].IEEE，2016.

[6]MISHRA S，PATRA S K.Short term load forecasting usingneuralnetworktrainedwithgeneticalgorithmparticle swarm optimization [C]//First International Conference on Emerging Trendsin Engineering Technology.IEEE，2008.

[7]CHUNGJ，GULCEHREC，CHOKH，etal.Empirical evaluation of gated recurrent neural networks on sequence modeling[J].EprintArxiv，2014.

[8]WAN H.Load forecasting via deep neural networks [J].Procedia Computer Science，2017，122:308-314.

[9]TIANCJ，MAJ，ZHANGCH，etal.Adeep neural network model for short-term load forecast based on long short-term memory network and convolutional neural network [J].Energies，2018，11(12).

[10]FARFARKE，KHADIRMT.Atwo-stageshorttermload forecasting approach using temperature daily profiles estimation[J].Neural ComputingApplications，2018.

[11]陳偉偉，荊世博，邊家瑜，等.基于長短期記憶神經(jīng)網(wǎng)絡(luò)的電力用電量預(yù)測[J].機械與電子，2024，42(5：18-23.