二次模態分解組合DBiLSTM-MLR 的綜合能源系統負荷預測

陳錦鵬，胡志堅，陳緯楠，高明鑫，杜一星，林銘蓉

（武漢大學電氣與自動化學院，湖北省武漢市430072）

0 引言

為實現能量精確管理，綜合能源系統（IES）應運而生［1］。多種能源在IES 中相互轉換，使得多元負荷存在一定的耦合關系［2］，對負荷預測也提出了更高要求。

傳統方法與機器學習［3-6］預測速度快，但忽略了樣本時序關系［7］。近年來，深度學習有了廣泛應用，典型代表就是長短期記憶（LSTM）神經網絡［8-9］。為簡化模型，文獻［10］通過主成分分析實現數據降維后運用深度雙向長短期記憶（DBiLSTM）神經網絡預測，但主成分分析只能提取數據的線性關系，盡管深度學習能挖掘序列時序特征，但在面對非連續序列時預測精度也有限。

為發揮各種模型優勢，文獻［11］運用受限玻爾茲曼機與遞歸神經網絡的組合模型；文獻［12］運用LSTM 神經網絡和輕梯度提升機進行預測后采用最優加權組合法對結果進行重構；文獻［13-14］采用門控循環單元結合統計學方法，也取得了不錯的效果。

為進一步提升預測精度，文獻［15］采用變分模態分解（VMD）將風速序列分解成多個本征模態分量（IMF）后運用LSTM 神經網絡預測，但VMD 存在所有分量重構后與原序列不一致的缺陷；文獻［16］運用經驗模態分解，雖然各分量重構后與原序列一致，但經驗模態分解存在模態混疊現象，且分解后的高頻分量為強非平穩分量，預測該分量將產生較大誤差；文獻[17]為降低小波包分解產生的強非平穩分量對預測的影響，采用集合經驗模態分解對該分量再次分解，但集合經驗模態分解引入了噪聲，且2 次分解產生的分量眾多，均由神經網絡預測將耗費很高的時間成本；對此，文獻［18］將集合經驗模態分解產生的非平穩分量由門控循環單元預測，平穩分量由多元線性回歸（MLR）預測，節省了很多時間成本，但同樣存在引入噪聲及分解后高頻分量難以準確預測的問題。

針對IES 多元負荷預測，文獻［1-2］通過構建多任務學習模型進行多元負荷預測；文獻［19］結合氣象預測進一步提高多元負荷預測精度；文獻［20］采用卷積神經網絡提取特征后由LSTM 神經網絡進行預測。

目前針對IES 多元負荷預測的研究較少［20］，且對于用戶級IES 來說，多元負荷隨機、波動性相對更強。為此，本文提出一種基于核主成分分析（KPCA）、二次模態分解（QMD）、DBiLSTM 神經網絡和MLR 的多元負荷預測模型。首先，運用自適應噪聲的完全集合經驗模態分解（CEEMDAN）對電、冷、熱負荷進行分解，考慮到高頻IMF 為強非平穩序列，因此運用VMD 再次分解。然后，運用KPCA 將特征集映射到高維空間，保留數據非線性關系后提取主成分實現數據降維；綜合深度學習對非平穩序列學習能力更強以及回歸分析法能保證預測精度下對平穩序列快速預測的特點，將分解得到的非平穩、平穩序列分別用DBiLSTM 神經網絡、MLR 進行預測。算例結果表明，本文所提模型相比其他模型具有更高的預測精度。

1 QMD 原理

1.1 CEEMDAN 原理

CEEMDAN 是一種后驗的、自適應的時頻分解法，適合將非平穩序列平穩化。不同于小波分解須人為設置小波基［21］，CEEMDAN 能夠自適應地將序列分解為有限個不同時間尺度的IMF，記為CIMF。通過在原始信號中加入符號相反的白噪聲，解決了經驗模態分解存在的模態混疊現象和集合經驗模態分解引入白噪聲的問題。

將多元負荷序列進行模態分解，可以降低預測難度。以原始電負荷為例進行分析，CEEMDAN 分解的基本步驟如下。

步驟1:向原始電負荷序列加入M對符號相反的白噪聲，即

步驟2:運用經驗模態分解分別對2 個電負荷新序列進行模態分解，得到2 組CIMF 分量。

步驟3:重復M次步驟2，得到2 組集成的CIMF分量，即

式中:F+和F-分別為加入M次正、負白噪聲后分解獲得的CIMF 分量組平均值；F+τ和Fτ分別為第τ次加入正、負白噪聲后分解獲得的分量組。

步驟4:取F+和F-的平均值即為最終電負荷序列分解結果。

經驗模態分解的基本公式為:

式中:Iη(t)為第η個IMF 分量；A為分解后CIMF數；R(t)為殘余分量。

1.2 VMD 原理

CEEMDAN 分解產生的高頻分量為強非平穩分量，直接預測這部分分量往往誤差較大。

VMD 是一種在2014 年提出的自適應分解方法，適合處理非平穩序列。CEEMDAN 采用遞歸求解方式，其分解產生的所有CIMF 重構后與原始序列一致；VMD 則采用完全非遞歸方式求解，將原始序列分解為多個不同中心頻率的有限帶寬IMF 分量，記為VIMF，每個分量都較平穩，但分解產生的所有VIMF 重構后與原始序列不一致，分解個數越多，重構后與原始序列越相近。QMD 對提高負荷預測精度影響的詳細分析見附錄A 圖A1。對1.1 節中原始電負荷序列經CEEMDAN 分解產生的強非平穩分量運用VMD 再次分解的步驟如下。

1)構造約束變分最優問題

2）利用二次懲罰因子α和Lagrange 乘子λ(t)，將式（6）轉化為無約束問題:

式中:· 表示求內積。

3）利用交替方向乘子算法尋優，不斷更新uk、ωk，獲得指定分解個數的VIMF 分量，詳細求解過程可參考文獻［22］。

2 KPCA 原理

通常模型的輸入會考慮天氣等特征變量。這些特征集的引入導致模型的輸入維度大大增加，使得模型變得更加復雜，同時也增加了模型的訓練時間。

不同于主成分分析只能提取數據的線性主成分，KPCA 通過核函數將一組多維非線性數據映射到高維空間，使其在高維空間中變得線性可分，再利用主成分分析提取主成分，能夠在保留多維數據之間非線性關系的同時降低數據維度。其基本過程如下。

1）設 有 一 組N維 數 據U=[d1，d2，…，dN]，此N維數據在文中即為影響IES 多元負荷的天氣、日歷規則特征集。天氣因素即為與多元負荷相對應的溫度、濕度等氣象因素，日歷規則即為與多元負荷相對應的時間，如第幾月、第幾日、星期幾、第幾小時等。利用滿足Mercer 條件的非線性核函數Φ對U進行高維映射后得到Q:

3）結合Mercer 定理可將式（9）轉化為式（11）求取特征值問題:

式中:H為N×N核矩陣；pH=[pH1，pH2，…，pHN]為對應H矩陣的特征向量；λH=[λH1，λH2，…，λHN]，且λH1＞λH2＞…＞λHN為對應pH的特征值。

4）根據所需的累積貢獻率?，選取前χ個特征值之和rχ使得rχ≥?，選取前χ個特征值對應的特征向量構成一個χ維特征空間，使樣本在χ維空間內進行投影，即為天氣、日歷規則特征集χ個核主成分。rχ的計算式為:

3 MLR 模型

MLR 通過構造一個含多變量的線性方程，可對平穩序列準確擬合，且速度極快。MLR 進行多元負荷預測的回歸模型為:

式中:Ye、Yc、Yh分別為電、冷、熱負荷經QMD 分解后的平穩分量值；εe、εc、εh分別為電、冷、熱負荷的隨機誤差值；T為參與回歸的樣本數量；Xκ為影響多元負荷因素，在本文中即為歷史電、冷、熱負荷值及天氣、日歷規則經KPCA 提取的主成分；κ為影響多元負荷因素數量；βeκ、βcκ、βhκ為分別為電、冷、熱負荷回歸系數。

將上式簡寫為:

式中:Y為多元負荷矩陣；ε為隨機誤差矩陣；X為影響因素矩陣；β為回歸系數矩陣。

采用最小二乘估計求得回歸系數矩陣β的估計量β^，得到回歸預測模型，即

關于MLR 在預測平穩序列上的優勢分析見附錄A 圖A2 和表A1。雖然MLR 在預測平穩序列時表現優異，然而在面對非平穩序列時MLR 往往表現不佳，而諸如LSTM 神經網絡這類預測模型能夠取得不錯的效果。

4 DBiLSTM 神經網絡模型

由于循環神經網絡存在梯度消失等問題，因此LSTM 神經網絡對此進行了改進。LSTM 單元由輸入門、遺忘門、輸出門組成，通過對門的控制排除干擾數據，可有效提高記憶能力，其結構如附錄A圖A3 所示，各門計算公式如下。

1）遺忘門

式中:ft、it、gt、ct、ot、at分別為t時刻各門的特征變量；Wf、Wi、Wg、Wo分別為各門的權重矩陣；bf、bi、bg、bo分別為各門的偏置項；xt為t時刻輸入變量；at-1和at分別為t-1 和t時刻輸出變量；σ和tanh 為激活函數；⊙為哈達瑪積。

LSTM 神經網絡訓練時，通過單向時序輸入對隱含層狀態進行傳遞更新。然而多元負荷當前時刻與前后時段都具有相關性，傳統訓練方式忽略了歷史數據的全局信息，同時若樣本的時間長度較長，也會使LSTM 神經網絡遺忘掉早期學習到的內容。

雙向長短期記憶神經網絡可解決該問題，其本質上由正反2 個獨立的LSTM 網絡組成，每一時步的輸出均由正反兩向LSTM 共同組成，可對歷史數據進行正反兩向訓練，從歷史數據中學到更多有效信息，其基本結構如圖1 所示。

圖1 雙向長短期記憶神經網絡結構Fig.1 Structure of bidirectional long short-term memory neural network

通過構建多層雙向長短期記憶神經網絡隱含層，進而構成DBiLSTM 神經網絡，各隱含層將正反兩向LSTM 神經網絡輸出進行結合作為該隱含層的最終輸出，表達式為:

將電、冷、熱負荷經QMD 分解后的非平穩分量和天氣、日歷規則經KPCA 提取的主成分組成輸入集，運用DBiLSTM 神經網絡進行訓練，選取均方誤差EMSE計算模型損失值，結合Adam 優化算法進行模型的權重更新。EMSE表達式為:

5 多元負荷預測模型

5.1 多元負荷預測模型總體框架

本文結合KPCA、QMD、DBiLSTM 神經網絡及MLR（KQDM）所建立的模型總體框架如圖2 所示。分別對電、冷、熱負荷運用CEEMDAN 進行第1 次分解后，將一次分解產生的強非平穩CIMF 分量再次運用VMD 進行第2 次分解，得到最終的本征模態分量集；對天氣、日歷規則特征集運用KPCA 提取主成分實現降維；考慮到DBiLSTM 神經網絡對非平穩分量的擬合能力更強，結合MLR 對平穩分量所表現出的優異性能，因此將電、冷、熱負荷分解后的非平穩分量與降維后的主成分集作為輸入運用DBiLSTM 神經網絡進行預測，將電、冷、熱負荷分解后的平穩分量與降維后的主成分集作為輸入運用MLR 進行預測，最后將所有預測結果進行重構，得到最終預測結果。

圖2 KQDM 模型總體框架Fig.2 Overall framework of KQDM model

5.2 評價指標

以平均絕對百分比誤差EMAPE和均方根誤差ERMSE對預測結果進行評價，表達式如下。

式中:ρ為參與計算的樣本個數；yt和y^t分別為t時刻的真實值和預測值。

6 算例分析

本文以美國亞利桑那州立大學［23］坦佩校區的IES 數據作為實驗數據，該校區屬于用戶級IES。天氣數據考慮溫度、風速、濕度、太陽垂直輻射、太陽水平輻射、露點和大氣壓，在美國國家可再生能源實驗室官網［24］內的國家太陽輻射數據庫中，選擇與坦佩校區最近的氣象站點進行下載。日歷規則考慮月數、周數、天數、小時數和節假日，天氣、日歷規則數據共12 維。電、冷、熱負荷及天氣數據的波形見附錄A 圖A4。

結合附錄A 圖A4 可知，電、冷負荷曲線走向大致相同，均表現為“夏高冬低”的特征，而熱負荷則相反，呈現“夏低冬高”的特征，表明電、冷負荷與熱負荷呈現很強的季節互補特性。為了直觀刻畫電、冷、熱負荷之間的耦合關系，附錄A 表A2 給出運用Spearman 秩相關系數進行電、冷、熱負荷之間的相關性量度，可見3 種負荷之間相關性均大于0.8，屬于強相關關系，驗證了運用多元負荷預測方法進行預測的優越性。

選 擇2018 年1 月1 日 至2019 年12 月31 日，按8∶1∶1 劃分訓練集、驗證集、測試集，以1 h 為步長進行預測。

實驗硬件平臺為Intel Core i7-8700 CPU，采用NVDIA GTX 1050Ti GPU 進行加速；軟件平臺采用Python 語言，在Tensorflow 框架下實現。

6.1 多元負荷分解與特征集降維

6.1.1 基于QMD 實現電、冷、熱負荷模態分解

利用QMD 對初始負荷數據進行模態分解。分別對3 種負荷進行CEEMDAN 模態分解，得到的電負荷分解結果如圖3 所示，冷、熱負荷分解結果見附錄A 圖A5 和圖A6。

圖3 電負荷CEEMDAN 模態分解結果Fig.3 CEEMDAN modal decomposition results of electric load

采用近似熵［25］對分解產生的模態分量進行平穩性量度。電、冷、熱負荷經過CEEMDAN 分解后產生的CIMF1 分量均為強非平穩分量，運用VMD分別對其進行二次分解。考慮到分解產生的VIMF分量越多，重構后與分解前的CIMF1 越相近，同時由于VMD 二次分解產生的VIMF 分量均為平穩分量，可以由MLR 進行預測，所需耗費的時間很短，因此將3 種負荷的CIMF1 分量均由VMD 再次分解為80 個VIMF 分量，電、冷、熱負荷二次分解結果見附錄A 圖A7 至圖A9，QMD 分解后最終各分量近似熵值見附錄A 圖A10。

6.1.2 基于KPCA 實現特征集數據降維

本文采用的特征集數據共12 維，若與多元負荷數據共同輸入模型就多達15 維，增加了模型的復雜度。因此利用KPCA 對特征集進行數據降維。表1為經KPCA 提取的前6 個主成分，可以看出，前6 個主成分的累積方差貢獻率已高達89.02%，已經包含原來12 維特征集的大部分信息，因此選擇前6 個主成分代替原來12 維特征集，提取后的前6 個主成分波形見附錄A 圖A11。

表1 KPCA 提取的主成分結果Table 1 Extraction results of principal components by KPCA

為體現KPCA 提取的主成分與原始特征集之間的關系，給出KPCA 提取結果，見附錄A 表A3。表中數值越大，表示該主成分中包含該影響因素的比重越大。可知，第1 主成分主要包含溫度、濕度、太陽垂直輻射、太陽水平輻射影響因素；第2 主成分主要包含月數、周數影響因素；第3 主成分主要包含小時數影響因素；第4 主成分主要包含天數、小時數影響因素；第5 主成分主要包含濕度、月數、周數、天數、小時數影響因素；第6 主成分主要包含溫度、露點影響因素。

可以看出，第1 和第6 主成分主要為天氣影響因素，第2 到第5 主成分主要為日歷規則影響因素，前6 個主成分已基本涵蓋多元負荷預測所需的天氣、日歷規則特征集信息。

6.2 模型參數設置

模型的輸入為預測時刻前6 h 的電、冷、熱負荷數據及特征集降維后的6 個主成分共9 維，輸出為待預測時刻電、冷、熱負荷。

DBiLSTM 神經網絡層數2 層，隱含神經元分別為50 個和100 個；學習率為0.01；優化算法為Adam；添加Dropout 為0.3 以防止過擬合；迭代次數為200 次。

6.3 結果分析

6.3.1 模態分解前后對比分析

為分析模態分解對多元負荷預測精度的影響，隨 機 選 取2019 年11 月17 日 至2019 年11 月23 日 預測結果進行對比，以不進行模態分解、進行CEEMDAN 一次模態分解和進行CEEMDAN 及VMD 二次模態分解進行實驗對比，結果如圖4 和表2 所示。其中，電、熱、冷之間單位的關系為:1 MW=3.4 mmBTU/h=284 Ton。

圖4 模態分解前后電、冷、熱負荷預測結果Fig.4 Prediction results of electric, cooling and thermal load before and after modal decomposition

表2 模態分解前后預測精度結果Table 2 Prediction accuracy results before and after modal decomposition

可以看出，不進行模態分解的預測精度最差，電、冷、熱負荷的預測誤差EMAPE分別為2.32%、4.23%、4.12%；進行CEEMDAN 一次模態分解時的預測精度次優，EMAPE分別為1.38%、2.17%、2.11%，精度提升了近1 倍；而進行CEEMDAN 及VMD 二次模態分解時的預測精度最好，EMAPE分別為0.47%、0.95%、0.92%，精度提升了4～5 倍。由于用戶級IES 多元負荷隨機、波動性相對較強，直接預測將產生較大的誤差。雖然進行一次模態分解能夠在一定程度上提高預測精度，但分解產生的高頻強非平穩分量無法進行準確預測，而這部分分量正是包含原始負荷曲線里的隨機波動分量，因此一次模態分解只是提升了對負荷大致趨勢的預測，對于負荷的小范圍波動則無法準確預測；而進行二次模態分解后，VMD 將CEEMDAN 分解產生的強非平穩分量再次分解為多個平穩分量，大大提升了這部分強非平穩分量的預測精度，使最終的預測精度有了較大的提升。

6.3.2 KPCA 提取主成分前后對比分析

考慮KPCA 前后的預測結果如表3 所示。可知，運用KPCA 提取主成分，使模型的輸入維度大為降低，模型結構參數有了一定的減少，因此花費的時間成本更低，相較不運用KPCA 節省了16.03 s。并且，考慮KPCA 提取主成分后進行預測的精度更高，這是因為提取的所有主成分中，風速、節假日等影響因素的比重均很小，由于多元負荷主要受溫/濕度、太陽輻射、天數、小時數等影響，減小風速、節假日等這些弱影響因素的比重，能夠使預測精度得到一定的提升。

表3 考慮KPCA 前后的預測結果Table 3 Prediction results before and after considering KPCA

6.3.3 單一負荷預測與多元負荷預測對比分析

為體現多元負荷預測的優勢，進行單一負荷預測與多元負荷預測結果對比如表4 所示。由于單一負荷預測下，各種負荷獨立預測，相比于多元負荷預測需要耗費將近3 倍的時間成本；同時觀察預測誤差值可知，多元負荷預測的精度更高，結合附錄A表A2 相關性量度可知，IES 中電、冷、熱負荷均為對方的強相關影響因素，使模型能夠更好地學習到多元負荷的更多信息，驗證了IES 負荷預測時采用多元負荷預測方法的優越性。

表4 單一負荷預測與多元負荷預測結果Table 4 Results of single load prediction and multiple loads prediction

6.3.4 不同預測模型對比分析

為驗證本文所提出的模型能夠有效提高多元負荷的預測精度，將本文所提的KQDM 預測模型與幾種模型進行對比，對照模型為:反向傳播神經網絡組合高斯過程回歸（BP-GPR）［26］；KPCA 組合深度信念網絡（KPCA-DBN）；集合經驗模態分解組合門控循環單元、MLR（EEMD-GRU-MLR）［18］；將本文所提KQDM 模型內DBiLSTM 神經網絡替換成LSTM 神經網絡（KQLM），實驗結果如圖5 和表5所示。

表5 不同模型預測結果Table 5 Prediction results of different models

圖5 不同模型的電、冷、熱負荷預測結果Fig.5 Prediction results of electric, cooling and thermal load of different models

結合實驗結果可知，本文所提出的預測模型在預測精度上均高于其他4 種模型，電、冷、熱負荷的預測誤差EMAPE僅為0.47%、0.95%、0.92%。其中，EEMD-GRU-MLR 組合模型表現最差，EMAPE分別達到了3.36%、10.47%、4.46%，比本文模型分別高出7 倍、11 倍、4.8 倍；淺層神經網絡結合統計學方法的BP-GPR 在面對隨機波動性相對較大的時間序列表現也不佳；另外，近年來比較流行的深度信念網絡結合KPCA 相較于上述2 種模型雖然預測精度有所提高，但EMAPE也比本文模型分別高出5 倍、6 倍、4 倍左右；而相較于上述3 種模型而言，KQLM 模型由于結合了QMD 方法的優勢，在預測精度上有了較大程度的提高，但預測精度還是低于本文模型。

表5 還提供了不同模型的訓練、預測時間。其中，BP-GPR 由于模型結構相對簡單，因此訓練時間最短，僅為94.67 s；由于EEMD-GRU-MLR、KQLM與本文所提KQDM 模型需要對分解后的非平穩分量運用神經網絡進行預測，因此時間相對更長；而KPCA-DBN 的訓練時間最長，已經達到了449.76 s。值得一提的是，如果本文模型僅考慮采用QMD、KPCA、DBiLSTM 而不采用MLR 對平穩分量進行預測，由于DBiLSTM 耗費時間較長，該方法下最終訓練的時間成本將遠高于1 h。

對上述結果進行進一步分析，結論如下。

1）EEMD-GRU-MLR 組合模型雖然采用了門控循環單元，能夠在時間序列預測上取得較好的結果，但由于集合經驗模態分解引入了白噪聲疊加在原始序列上，導致所有IMF 重構后不等于原始序列，預測精度受到較大的影響。

2）BP-GPR 組合模型中，反向傳播神經網絡在訓練時容易陷入局部最優，并且容易出現梯度消失等問題，而高斯過程回歸也只適用于預測平穩序列，對此類非平穩序列難以準確預測。

3）KPCA-DBN 組合模型中，深度信念網絡是由底層多層受限玻爾茨曼基和頂層反向傳播神經網絡組成，結構內部缺乏類似于LSTM 神經網絡的記憶結構，性能上略差于LSTM 神經網絡。

4）KQLM 模 型 采 用LSTM 神 經 網 絡，結 合QMD 方法降低了預測難度，在預測精度上有了較大的提高，但由于LSTM 神經網絡只對歷史數據進行單向訓練，沒有學習到歷史數據的全局信息，忽略了前后時間的關聯性，因此性能略差于DBiLSTM神經網絡。

而相對上述4 種模型而言，本文所提的KQDM模型運用DBiLSTM 神經網絡，通過對歷史數據進行雙向訓練，更加詳細地學到歷史數據包含的全局信息，并結合MLR 在平穩序列預測上的優勢，在前期運用KPCA 和QMD 情況下，取得較好的預測結果。

7 結語

本文針對用戶級IES 多元負荷隨機、波動性相對較強的特點，提出一種KQDM 預測模型。該模型運用QMD 和KPCA 方法分別實現多元負荷模態分解和特征集降維，在簡化模型的同時將多元負荷序列分解為多個更平穩的序列進而降低預測難度；然后，分別運用DBiLSTM 神經網絡對歷史數據進行雙向訓練，更好地學習到歷史數據的整體信息，并運用MLR 對平穩分量進行預測，在保證預測精度的同時大大降低了預測時間。同時，本文提出一個性能較優的綜合能源系統多元負荷預測組合模型，主要創新在于首先構建合適的QMD 方法對負荷序列進行二次分解，降低預測難度，然后對分解后的非平穩、平穩分量分別運用DBiLSTM 神經網絡、MLR進行預測，提高預測精度的同時大大減少時間成本。

后續工作可以在本文基礎上，然后考慮價格等因素，合理選擇特征集。此外，由于數據在保存過程中可能會產生壞數據，在訓練之前對壞數據進行辨識處理也值得進一步研究。

附錄見本刊網絡版（http：//www.aeps-info.com/aeps/ch/index.aspx），掃英文摘要后二維碼可以閱讀網絡全文。