基于改進LSTM的區域綜合能源系統多元負荷短期預測研究

田浩含，張智晟，于道林

（1.青島大學電氣工程學院，青島 266071；2.國網萊陽市供電公司，萊陽 265200）

區域綜合能源系統以小容量、分散式、模塊化的形式近年來受到廣泛應用，實現了能源自給自足、梯級利用，有效緩解了夏季用電高峰，提高了能源利用效率，且清潔環保無污染，是未來能源技術發展的核心，已成為國內外學者的研究熱點[1]。

精確的多元負荷短期預測是區域綜合能源系統運行及調度優化的基礎，對系統的需求側分析也具有重要意義。近年來，由于深度學習算法處理非線性映射的能力突出，其在負荷預測領域逐漸被使用[2]。例如，文獻[3]利用一種基于小波分析和Elman動態神經網絡的方法對電力負荷進行預測；文獻[4]使用粒子群算法與卷積神經網絡結合對電負荷進行預測。深度學習算法中長短期記憶LSTM（long short term memory）神經網絡因對復雜數據的擬合和數據時間相關性分析的優勢，在負荷預測中有較多應用。例如，文獻[5]利用基于深度學習的LSTM神經網絡對電力負荷進行預測；文獻[6]提出了基于改進的長短期記憶神經網絡算法的綜合能源系統多元負荷預測。但是，單一的LSTM神經網絡門控單元多、算法復雜、故訓練速度慢、預測模型穩定性差。為此，文獻[7]提出了基于混合神經網絡和注意力機制的混沌時間序列預測，通過將注意力機制與神經網絡結合，學習原始數據信息，賦予隱含層新的權重進行訓練，提高預測精度和減少訓練時間。

綜上，針對冷熱電負荷預測的時變性、耦合性和多元性等特點[8]，本文提出了改進的LSTM的區域綜合能源系統多元負荷短期預測模型。利用注意力機制算法分析原始數據中的信息，賦予LSTM隱含層不同的權重，提高模型訓練速度和預測精度；加入dropout層對模型進行正則化處理，增加預測模型的穩定性和泛化能力；采用粒子群優化PSO（particle swarm optimization）算法優化模型的超參數。通過算例結果分析表明，本文所采用的模型具有良好的預測精度，驗證了所提方法的可行性。

1 多元負荷及氣象因素相關性分析

區域綜合能源系統中冷負荷、熱負荷和電負荷具有較強的隨機性和耦合性[9]。因此，在進行冷、熱、電負荷短期預測前，應該針對負荷特性做全面分析，把握負荷規律，分析冷、熱、電負荷之間的相關性，以及各影響因素對多元負荷產生的影響[10]。

區域綜合能源的負荷相對電網較小，受影響因素較多，不同的影響因素對冷負荷、熱負荷和電負荷的負荷特性的影響存在差異。本文選取對負荷影響最大的氣象因素作為影響因子，利用灰色關聯度分析GRA（grey relation analysis）方法定量分析各影響因子與冷、熱、電負荷之間的相關性。

1.1 灰色關聯度分析方法

GRA是一種多因素統計分析方法，以各因素的樣本數據為依據用灰色關聯度來描述因素間關系的強弱、大小和次序[11]。目前傳統相關性分析大多選用Pearson法，主要用于分析變量間的線性關系[12]，但冷、熱、電負荷之間及各氣象影響因素相關性分析是多因素統計分析，各因素之間的關系是非線性的。GRA方法原理簡單，適用于分析本文多元負荷及影響因素之間存在的非線性關系，可以很大程度地減少由于信息不對稱帶來的損失，且GRA方法不需要大量數據作基礎，計算量小、運行速度快[13]。

1.2 基于GRA方法的多元負荷及氣象因素相關性分析

對于GRA方法，關聯系數和關聯度的計算是關鍵問題，關聯系數ξi和關聯度γi的計算公式分別為

式中：x0(k)為歸一化氣象因素序列；xi(k)為歸一化負荷序列；ρ為分辨系數，通常取0.5；n為序列個數。

根據曲線幾何的相似程度（即關聯度γi）判斷相關性強弱[14]。本文通過DeST軟件模擬出對某寫字樓進行供能的區域綜合能源系統一年的冷負荷、熱負荷和電負荷，夏季（6月—8月）主要為供冷季，對區域綜合能源系統的冷負荷和電負荷及多元負荷與各氣象影響因素之間的相關性進行分析；冬季（12月—次年2月）主要為供熱季，對區域綜合能源系統的熱負荷和電負荷及多元負荷與各氣象影響因素之間的相關性進行分析。

夏季時，設冷負荷、電負荷及各氣象影響因素序列形成如下矩陣：

式中：xC為冷負荷；xE為電負荷；xR為太陽輻射量；xT為溫度；xM為空氣濕度。

冬季時，設熱電負荷數據及各氣象影響因素數據序列形成如下矩陣：

式中，xH為熱負荷。

設定好數據序列矩陣后，根據式（1）和式（2）求出關聯系數和關聯度，相關性分析結果如表1和表2所示，其中，E表示電負荷；H表示熱負荷；C表示冷負荷；T代表溫度；R表示太陽輻射量；M表示空氣濕度。

表1 夏季相關性分析結果Tab.1 Correlation analysis results in summer

表2 冬季相關性分析結果Tab.2 Correlation analysis results in winter

由表1相關性分析結果可知，夏季時冷負荷和電負荷相關性指標達到0.87，且冷負荷和電負荷與溫度、太陽輻射量和空氣濕度都具有相關性。由表2相關性分析結果可知，冬季時熱負荷和電負荷相關性指標達到0.67，且熱負荷和電負荷與溫度、太陽輻射量和空氣濕度都具有相關性?？梢?，冷熱負荷與電負荷及多元負荷與各氣象影響因素之間存在很高的相關性；夏季的冷負荷和電負荷具有很強的耦合性，相對于此，冬季的熱負荷和冷負荷數據間的相似度較夏季的冷負荷和電負荷數據間的相似度低。原因是夏季電負荷用量主要受空調用電影響，而冷負荷則是由空調產生的，因此夏季冷負荷和電負荷具有相同的變化趨勢與規律，分析結果符合現實情況[14]。

由于電負荷與冷、熱負荷之間的耦合性，因此將三者之間的相關性分析結果作為依據，綜合建模預測能夠提高區域綜合能源系統負荷預測準確率。冷、熱、電負荷與氣象因素之間的相關性結果表明，溫度、太陽輻射量、空氣濕度對預測結果都有著不可忽略的影響，為預測數據集的構造提供了理論依據[15]。因此，本文將各氣象因素設為影響因子，與多元負荷歷史數據共同構成本次預測模型的輸入數據集。

2 基于改進LSTM的區域綜合能源系統多元負荷短期預測模型

2.1 PSO算法

PSO算法構造粒子來模擬鳥群中的鳥，通過群體中個體之間的協作和信息共享來尋找最優解[16]，其在全局尋優方面具有搜素速度快、收斂能力強等優點，廣泛應用于神經網絡的訓練[17]。

本文利用PSO算法優化LSTM模型的超參數，通過設置模型參數為粒子，平均平方誤差為目標函數適應度值，在解空間中搜索，不斷迭代更新粒子的位置和方向找到最優解，確定參數和構建模型。

粒子的速度更新公式為

粒子適應度函數fit為

2.2 LSTM神經網絡預測模型

LSTM神經網絡是循環神經網絡RNN（recur?rent neural network）的一種改進變型，保留有RNN對時間、負荷數據高效處理的能力，并有效解決了RNN中梯度消失、梯度爆炸等問題，提高處理時間序列中間隔或延遲較長樣本的能力，兼具神經網絡處理非線性數據的能力[18]。本文區域綜合能源系統多元負荷預測屬于非線性時間序列預測，維數較多，樣本數據相比單純電負荷預測數據數量大，因此本文選擇LSTM神經網絡做預測。

相較于RNN，LSTM神經網絡在保持基本結構基礎上重新設計了記憶單元，設置了3個控制門，分別是輸入門it、輸出門ot、遺忘門 ft，用來選擇記憶反饋的誤差函數隨梯度下降的修正參數，優化了自循環的權重，保持權重的動態變化，其體系結構如圖1所示[19]。LSTM在t時刻的輸入數據為xt，輸出值為ht，記憶狀態為ct。

圖1 LSTM體系結構Fig.1 Architecture of LSTM system

從圖1可以看出，由上一時刻隱含層傳入當前時刻的值ht-1和當前時刻輸入值xt經過遺忘門后，計算丟棄無用的信息，計算公式為

式中：wf和bf分別是遺忘門里的權重矩陣和偏置向量；σ為激活函數，采用sigmoid函數。

新信息再經過1個sigmoid函數求取需要輸入到記憶單元中的數據，同時經tanh函數創建1個新的候選狀態，計算公式分別為

式中：wi和bi分別是輸入門里的權重矩陣和偏置向量；wc和bc分別為細胞單元狀態里的權重矩陣和偏置向量。

將輸入門計算后的結果it和計算出的新單元狀態值相乘并和遺忘門得出的結果 ft相加就得到當前時刻單元狀態值，即

另外，傳遞給下一時刻的隱含層數據值ht是利用經過tanh函數處理的新單元狀態和經過sig?moid函數分類后的數據ot得到的，即

式中，wo和bo分別為輸出門里的權重矩陣和偏置向量。

2.3 注意力機制

注意力機制AM（attention mechanism）是由Tre?sisman和Gelade提出的一種模擬人腦注意力機制的模型，可以模擬人腦注意力的資源分配機制。人腦在某個特定時刻會將注意力集中在需要重點關注的區域，減少甚至忽略對其他區域的關注，以獲取更多所需要關注的細節信息，抑制其他無用信息[20]。

AM算法能針對輸入序列中影響輸出結果的關鍵部分分配較多的注意力，更好學習輸入序列中的信息，因此該算法使模型具有更好的優化作用，提高預測精度。

注意力結構如圖2所示。其中，k∈[1，l]，l為輸入數據長度；xt表示LSTM神經網絡的輸入；ht表示LSTM模型隱含層輸出；αt表示AM對LSTM隱含層輸出的注意力概率分布值；y為引入AM后LSTM神經網絡的輸出值。

圖2 注意力結構Fig.2 Attention structure

AM算法中注意力權重矩陣α和特征向量v的計算公式分別為

式中：et,k為未歸一化的權重矩陣；ws、bs和us分別為隨機初始化的AM權值矩陣、偏置量和時間序列矩陣。

2.4 基于改進LSTM的多元負荷短期預測模型

本文設計的模區域綜合能源系統多元負荷短期預測模型如圖3所示，模型主要由輸入層、LSTM層、attention層、dropout層和輸出層組成，其中drop?out層中的虛線圓指隨機選取的不參與訓練的神經元。

圖3 區域綜合能源系統多元負荷短期預測模型Fig.3 Multi-load short-term forecasting model of regional integrated energy system

區域綜合能源系統多元負荷短期預測模型中每層描述如下。

（1）輸入層。以夏季負荷預測為例，將歷史負荷數據進行預處理，輸入到預測模型中。輸入數據用第1.2節中矩陣Xs表示。

（2）LSTM層。將輸入層輸入數據Xs作特征向量提取，通過3個“門”結構控制構建神經網絡單元，進而組成單層LSTM神經網絡模型。LSTM層的輸出記為矩陣H=[h1…ht…hn]T。

（3）attention層。引入AM算法放在LSTM層后，輸入為LSTM層輸出矩陣H，通過映射加權和學習參數矩陣賦予LSTM層隱含狀態不同的權重，使網絡專注于其特征關系進而更好地建模，使模型函數接近真實情況。

（4）dropout層。主要作用是防止過擬合，通過隨機抽取模型中一定概率的神經元不參與訓練，避免某些特征只在固定組合下才生效，有意識地讓網絡去學習一些普遍的共性，而不是某些訓練樣本所具有的特性，防止陷入局部最優[21]。

（5）輸出層。輸出層利用softmax函數歸一化，變換成條件概率分布，輸出最后結果。

本文的負荷預測流程如圖4所示。

圖4 負荷預測流程Fig.4 Flow chart of load forecasting

3 算例分析

3.1 輸入樣本數據

本文針對北方地區氣候特點，通過DeST-C軟件模擬出對某寫字樓進行供能的區域綜合能源系統一年的冷、熱、電負荷，并與相應的氣象影響因素構成仿真算例，冷、熱、電負荷數據和氣象影響因素均按照每天24個點記錄，時間間隔為1 h。根據相關性分析結果將冷、熱、電負荷數據與溫度、太陽輻射量、空氣濕度數據作為預測模型的原始樣本集，并對其進行標準化處理后作為模型的輸入。

3.2 模型構建及超參數設定

將輸入數據分為訓練集、驗證集和測試集。訓練集用于模型擬合的數據樣本，一般取輸入樣本的60%；驗證集用于調整模型的超參數和對模型的能力進行初步評估，一般取輸入樣本的20%；測試集用來評估最終模型的泛化能力，即進行預測日的訓練預測，一般取輸入樣本的20%。

使用Adam優化算法代替傳統的隨機梯度下降算法。Adam算法即自適應時刻估計AME（adaptive moment estimation）方法，能計算每個參數的自適應學習率，與梯度下降算法相比，其收斂速度更快，學習效果更加有效。

由第2節冷、熱、電負荷相關性分析結果可知，除了設定溫度、太陽輻射量、空氣濕度和日類型數據4個影響因素為特征向量外，在進行電負荷預測時，應把冷、熱負荷作為影響因素進行訓練建模；在對冷、熱負荷預測時，把電負荷作為1個影響因素進行建模。

通過PSO算法獲得最優的超參數值，設定隱含層中單元數為10，數據訓練周期為200，每次訓練樣本數為15，初始學習率為0.1，學習率衰減度為0.9，dropout層參數設置為0.2。

3.3 區域綜合能源系統負荷預測結果分析

為了驗證本文預測模型的有效性，考慮工作日和休息日負荷模式的差別，選定該寫字樓8月2日為夏季工作典型日、8月3日為夏季休息典型日進行預測分析；選定該寫字樓1月25日作為冬季工作典型日、1月26日作為冬季休息典型日進行預測分析。為探究本文所提出的改進LSTM模型的預測效果，對Elman神經網絡短期負荷預測模型和常規LSTM神經網絡短期預測模型的預測結果與本文預測結果進行對比，這3個預測模型的預測值與實際值曲線對比如圖5～圖8所示，其中，模型1為Elman神經網絡，模型2為不經PSO優化和AM算法改進的LSTM神經網絡，模型3為本文所提出的改進LSTM神經網絡。

圖5 夏季電負荷預測曲線Fig.5 Electric load forecasting curves in summer

圖6 夏季冷負荷預測曲線Fig.6 Cold load forecasting curves in summer

由圖7和圖8可知，在對冬季熱負荷和電負荷的預測中，模型3預測曲線與真實值貼合最好。

圖7 冬季電負荷預測曲線Fig.7 Electric load forecasting curves in winter

圖8 冬季熱負荷預測曲線Fig.8 Heat load forecasting curves in winter

冷、熱電負荷預測誤差如表3所示，其中，負荷預測誤差采用平均絕對百分誤差EMAPE和最大誤差EMAX表示。從表3可以看出，模型3在夏季時冷負荷工作日和休息日的平均絕對百分誤差分別為1.44%和1.63%，低于模型1和模型2，電負荷工作日和休息日的平均絕對百分誤差分別為1.34%和1.57%，也低于模型1和模型2的預測結果，這說明模型3提高了預測精度，展現了更好的預測效果；模型3在冬季時熱負荷工作日和休息日的平均絕對百分誤差分別為1.39%和1.61%，比模型1和模型2誤差小，電負荷工作日和休息日的平均絕對百分誤差分別為1.41%和1.52%，在3個模型行中數值最小。可見，無論夏季還是冬季，模型3具有更好的預測效果，其工作日預測精度均高于休息日的預測精度，這是由于不同日類型在樣本中所占的比例不同影響了模型訓練造成的，符合實際情況。

表3 冷熱電負荷預測誤差Tab.3 Prediction errors of cold，heat and electric loads%

綜合夏季和冬季冷、熱電負荷預測分析結果可知，經過PSO算法優化超參數并在結構中加入AM算法和dropout層改進的LSTM神經網絡預測模型，相較于Elman模型和常規LSTM模型具有更好的多元預測性能，預測精度高，模型合理。

4 結語

本文利用GRA方法分析了多元負荷之間的耦合性，證明了冷、熱、電負荷之間相關性。針對負荷時間序列的非線性和觀測時限性特點，采用改進LSTM模型對冷、熱、電負荷進行預測，加入AM算法和dropout層對LSTM進行改進，使用PSO算法優化模型的超參數，提高預測精度。最后，通過仿真驗證了模型的合理性和有效性。