基于MMoE-TCN的綜合能源系統短期多元負荷預測＊

王定美，張睿驍，趙龍

（國網甘肅省電力公司電力科學研究院，甘肅 蘭州 730070）

為解決化石能源短缺和環境污染問題，各國紛紛發展多樣化的能源利用形式。以“雙碳”目標為指引，綜合能源系統（Integrated Energy Systems，IES）耦合電、冷、熱等多種能源，提高了系統的可靠性和能源的利用率，得到了社會的廣泛關注并被推廣應用[1]。然而，大量的無序用能必然會對能源網的經濟運行和調度產生沖擊[2]。因此，提高多元負荷預測的精度對指導IES有序用能具有重要意義。

目前，IES多元負荷預測研究雖尚在起步階段，但已有不少研究成果。以往負荷預測主要采用統計學的方法[3]，如向量自回歸法、多元線性（非線性）回歸法等，而目前主要采用深度學習方法[4]。文獻[5]提出負荷耦合形態指標來深度挖掘多元負荷間的耦合關系，結合多目標回歸與Stacking集成學習模型，建立多元負荷協同預測模型。文獻[6]提出一種基于核主成分分析（KPCA）、二次模態分解、深度雙向長短期記憶（DBiLSTM）神經網絡和多元線性回歸（MLR）的多元負荷預測模型。文獻[7]以“硬共享機制+長短時記憶共享層”方式構建多任務學習負荷預測模型。文獻[8]提出一種基于ResNet-LSTM網絡和注意力機制的多任務學習模型，用于擬合多能負荷之間的空間耦合關系和時間耦合關系。這些方法均驗證了深度學習對于解決多元負荷預測問題的有效性。

IES多元負荷預測分為數個單獨任務預測方法或多任務學習方法。多任務學習方法是對數個預測任務共同構建一個模型，并建立對應的子任務，挖掘不同負荷間的耦合特性，實現對多元負荷的預測[9]。目前，多元負荷預測方法大多是基于參數硬共享機制的多任務學習模型，其預測精準的前提是各類負荷相關性強[10]。但是，IES中各類負荷間的相關性往往較弱。若采用硬共享機制的多任務模型共享信息，則難以考慮相關性較弱的子任務差異。當子任務耦合關系較弱時，硬共享多任務學習模型的預測效果較差[11]。另外，IES的多元負荷（如電、冷和熱）特性各異，負荷預測精度的相關影響因素也不同。因此，有必要考慮影響因素與負荷的相關性。相關性分析方法主要有：皮爾遜系數法、灰色相關系數法、最大信息系數（Maximal Information Coefficient，MIC）法等[12]。皮爾遜系數法、灰色相關系數法適用于序列線性相關性分析，MIC法適合于非線性序列相關性分析。由于IES中能源相互耦合，時間序列間呈現非線性關系，故MIC法較適合，但是沒有考慮序列中的冗余情況，因此需要對MIC進行改進。

綜上所述，IES的多元負荷需從多種類型的負荷特性以及負荷間的動態耦合特性出發，采用先進的深度學習網絡和多任務學習方法，建立短期負荷預測模型。

因此，本文提出一種基于改進最大信息系數相關性分析和MMoE-TCN多任務學習的負荷預測方法。首先，采用改進的最大信息系數相關性分析方法篩選目標預測負荷的特征序列集。然后，建立基于參數軟共享機制的MMoE（Multi-gate Mixture-of-Experts） 與 TCN （Temporal Convolutional Neural Network）的多元負荷預測模型。通過專家子網和門控單元合理分配共享特征信息，并結合TCN網絡實現多元負荷預測。最后，以美國亞利桑那州立大學的IES負荷數據為算例，驗證了所提方法的優越性和可行性。

1 輸入數據特征處理

1．1 數據填補和歸一化

考慮到原始數據樣本中可能出現的數據缺失問題，本文使用插值法確保數據的連續性。對數據缺失處使用前后時刻的平均值代替。

式中：dt-1為前一時刻數據；dt+1為后一時刻數據；d＇t和dt分別為修正后和修正前的時刻數據。

綜合能源系統中的電、冷、熱負荷具有不同的量綱，為了統一數據規格、加速神經網絡收斂，將輸入數據按照中心置為0的歸一化公式（2）進行處理。此外，為了分辨不同日期的能源特征，將日歷數據中的工作日定義為1，雙休日和節假日定義為0。

1．2 相關性分析

IES中各類用能行為均受多種因素影響，如多元負荷、天氣因素、日期數據、碳排放水平等。因此需要對特征序列和負荷序列間的相關性進行計算，為預測模型的特征進行初步的選擇。

MIC方法能夠同時考慮線性和非線性關系，對單特征變量與目標變量間的相關性進行判斷。但通過MIC方法選擇的特征子集中往往存在很多的冗余信息，直接剔除這些信息會影響其對時間序列的關鍵判斷。本文在MIC的基礎上添加處罰機制進行改進，其計算如式（3）至式（5）所示：

式中：D（S，y）表示變量 y與特征間的相關度；R（S）表示特征的冗余度；S表示所有特征的特征集合；di表示第個特征序列；m表示選擇后的特征數量；IMICI為特征序列的IMIC值。

該方法通過遞增式選擇確保選擇特征為局部最優，最終求解優化式（4）即可得到計算選擇后的特征子集。針對本文數據集計算的特征子集如表1所示。電、冷、熱負荷為必須的輸入特征，濕度、溫度和太陽輻射對用能需求產生直接影響，碳排放出力和光伏出力反映了IES的能源輸入、輸出信息。該方法在保留這些強相關特征的同時，去掉了冗余的負荷信息及無關的天氣因素，完成了對負荷預測特征的初步篩選。特征篩選的結果如表1所示，各特征序列間的IMIC值如圖1所示。

表1 采用IMIC方法的特征序列選擇表

圖1 特征序列IMIC熱力圖

2 MMoE-TCN多元負荷預測模型

2．1 MMoE多任務學習模型

將多個相關的序列看作模型的子任務，各子任務間通過共享參數，從而提高模型的整體預測效果，這種策略即為多任務學習。傳統的多任務學習策略采用參數硬共享機制，由參數共享層和子任務學習層組成模型。參數共享層將獲取所有輸入特征，之后進行特征提取。在硬共享機制中，如果部分任務的相關性較弱，模型可能會因其它任務的誤導使性能下降。因此，本文使用了基于參數軟共享機制的MMoE多任務學習模型，其模型圖如圖2所示。

圖2 MMoE多任務學習模型圖

圖2中，通過若干專家子網將共享特征參數分割，專家子網以多層感知機構構建，負責挖掘各個任務間的耦合特性，不同專家子網中的參數均為獨立信息。每個專家子網的權重通過門控單元進行計算，使不同任務對專家子網的選擇更加靈活。模型中第k個子任務的輸出yk可用式（6）描述。

式中：n為子網數；i為子網編號；k為任務編號；x為輸入特征；g（kx）i為第個子網在第k個任務中的權重；f（ix）為第i個子網的輸出；為第 i個子網對應第k個門控單元的線性變換矩陣，由網絡訓練得到；softmax（·）表示激活函數。

通過線性變換，門控單元將輸入特征映射到n維，經過激活函數得到每個子網的權重系數，以對任務中專家子網的輸出進行靈活控制。MMoE模型可以在進行多種負荷特征信息共享的前提下，為預測子任務單獨訓練專家子網的權重系數，保證網絡訓練時每個子任務均能學習到最有效的信息，因此其更適合采用MMoE多任務學習模型進行建模。

2．2 時間卷積網絡

TCN是對一維卷積神經網絡的創新和改進[13]。與普通的一維卷積相比，TCN的優勢和創新點在于將因果卷積、擴張卷積和跳躍／殘差連接集成到網絡結構中，使得TCN具有大規模并行處理數據的能力，網絡的訓練和驗證時間更短，膨脹因果卷積圖如圖3所示[14]。另外，通過調整膨脹率，改變卷積核，可以更好地控制模型的存儲長度。

圖3 膨脹因果卷積圖

使用因果卷積的目的在于確保時間步長t的輸出不會使用未來信息，并且只能基于之前時間步長的卷積運算獲得。擴張卷積允許卷積的輸入進行間隔采樣，采樣間隔由擴張率d決定。這使得TCN使用更少的層，獲得更大的感受野。在時間序列X＝｛x1，x2，L，xt｝中，對元素xt進行擴張卷積和因果卷積如式（8）所示：

式中：F＝｛f1，f2，L，fK｝ 表示大小為 K 的卷積核；xt表示時間t的時間序列數據；fK表示卷積運算中的濾波器；d表示膨脹率。

跳躍連接是將下層的特征圖直接連接到上層，并使用1×1卷積來確保要添加的特征圖的維度相同。增加跳躍連接可以有效避免網絡層數增加時梯度消失，增強網絡的穩定性。簡而言之，TCN使用因果卷積和擴張卷積作為標準卷積層，并在每一層中添加權重范數和衰減，以規范網絡。TCN剩余模塊圖如圖4所示，每兩個這樣的層和跳躍連接層被封裝到剩余模塊中。深度網絡是由剩余模塊堆疊而成，配合模型輸入數據的更新，可以不斷地計算并輸出新的預測值。

圖4 TCN剩余模塊圖

2．3 預測模型結構

本文提出的MMoE-TCN預測模型結構示意圖如圖5所示。首先，將采集的各類數據輸入MMoE多任務學習模型，挖掘各類負荷間的耦合特性。然后，通過專家子網和門控單元合理分配子任務的共享特征信息。最后，子任務模型以時間卷積網絡進行構建，進行IES負荷預測任務。

圖5 預測模型結構示意圖

3 預測流程

預測模型流程圖如圖6所示，主要分為三個步驟進行。第一步進行數據預處理，完成缺失數據的填補、各數據序列的歸一化以及通過改進的MIC方法初步選擇特征序列。第二步為多元負荷耦合特性的深入挖掘，通過MMoE多任務學習中的專家子網和門控單元對共享特征信息進行合理分配。第三步使用TCN構建子任務預測模型，結合分配的特征信息完成負荷預測，輸出結果并反歸一化。

圖6 預測模型流程圖

4 算例分析

4．1 實驗設置與評價指標

實驗數據來自Arizona State University的IES。利用校園新陳代謝項目網絡平臺獲得了2021年1月1日至2021年12月31日的電負荷、冷負荷和熱負荷數據，數據采樣粒度為15min。訓練集和測試集按8：2的比例劃分。

多任務學習模型中，設置4個專家子網，神經元置為32，每個子網用于學習輸入特征與三個預測任務的特定關系。由兩層TCN構建子任務層，膨脹系數均采用[1，2，4，8]，網絡優化器采用 Adam，Dropout層的隨機失活比率取0．1，用于防止網絡過擬合，學習率選擇0．001，網絡訓練輪次均為500。

為了驗證模型的有效性和對預測結果進行比較分析，選取均方根誤差（RMSE）和平均絕對百分比誤差（MAPE）作為驗證評價指標，分別見式（9）和式（10）。

4．2 實驗結果分析

門控單元的實質是為各子任務獲取的特征子集分配權重。為驗證MMoE的作用效果，使用Softmax函數提取得到子任務的權重分布結果如圖7所示。結果證明，MMoE的參數軟共享機制能夠針對不同的負荷預測任務，能夠靈活有效地分配共享特征，能夠提升子任務的訓練效果。

圖7 MMoE權重分布結果

為了驗證所提方法的優越性，選取MTL-TCN、MTL-LSTM、LSTM模型作為對比實驗。在該數據集下，5種預測模型經過500輪迭代的損失值對比曲線如圖8所示。

圖8 不同模型訓練損失值曲線

由圖8可知，雖然5種模型在經過500次迭代后損失值均具有較小的損失值，但所提方法的損失值波動更小，且損失值可以降低至0．35以下。可見，MMoE-TCN模型在經過500次迭代后可以達到最好的訓練結果。

五種模型的預測結果如圖9所示。各模型的預測誤差對比值如表2和表3所示。

圖9 五種模型的預測結果

表2 各模型預測MAPE值

表3 各模型預測RMSE值

由圖9可以看出，在早上5點、9點左右以及晚上8點左右出現用電高峰或低谷，此時MTL-LSTM和LSTM的預測值均出現較大幅度的波動。熱負荷從凌晨2點左右開始持續增加，在下午3點左右達到峰值后開始下降，整個變化過程中MMoE-TCN的預測值始終保持最高的擬合度。而熱負荷在一天中始終以較大的波動幅度進行變化，MTL-LSTM和LSTM模型的預測值出現較大的誤差。電負荷在第22點、第35點分別達到最小值和最大值，MMoETCN在這兩點的誤差分別為1．23%和1．21%。而MTL-TCN、MTL-LSTM和LSTM三種模型在這兩點的誤差達到了 1．80%、3．11%、5．75%和 1．29%、3．71%、4．12%。冷負荷在第10點、第60點達到最小值和最大值，MMoE-TCN預測值仍然保持最小誤差，分別為1．82%和 1．33%。在熱負荷方面，MMoE-TCN 的預測誤差始終保持在3%以內，而其它模型的誤差最大達到了6．67%。

由圖9也可以看出，MMoE-TCN與MTL-TCN模型預測的結果曲線均有較高的擬合程度，對比兩條曲線的細節部分，可以看出MMoE-TCN預測曲線在峰谷時刻的擬合效果更好。這是由于兩種多任務學習的特征共享機制不同，傳統的多任務學習（MTL）方法使用參數硬共享機制，任務相關性弱的部分導致模型的性能下降。而基于參數軟共享機制的MMoE通過專家子網和門控單元有效分配了共享特征信息，故模型性能得以提升。

從表2和表3可以看出，MMoE-TCN模型與MTL-TCN模型在電、冷、熱三種負荷的整個時段均具有良好的預測效果，其電、冷、熱負荷的MAPE指標值分別為 1．21%、1．79%、2．86%和 1．28%、2．30%、3．27%。相比傳統的預測模型，本文所提方法在綜合預測精度上提升了41．8%，驗證了該模型在預測多元負荷方面的優越性。

MTL-LSTM與LSTM的預測效果較差，電、冷、熱負荷的 MAPE 值分別為 1．92%、2．35%、3．51%和2．37%、3．47%、4．86%。這表明TCN處理時間序列的能力優于LSTM的一般遞歸體系結構。但MTL-LSTM的整體預測精度稍高于LSTM，說明了多元負荷聯合預測強于多個單任務獨立預測的效果，也證明了多任務學習模型的有效性。

5 結論

本文深入研究了綜合能源系統多元負荷預測問題，針對目前多元負荷預測模型精度不高的問題，提出了一種基于改進最大信息系數相關性分析和MMoE-TCN多任務學習的負荷預測方法。本文提出的IMIC方法，對數據樣本中特征序列進行相關度分析，完成了特征子集的初步篩選。MMoE多任務學習模型中的專家子網和門控單元能夠有效挖掘多元負荷之間的耦合特性，較傳統的多任務學習模型，MMoE能夠更合理地分配共享特征信息，有效提高了模型的性能，達到了更好的預測效果。其所使用的時間卷積網絡相較LSTM也擁有更好的表現，說明了該模型中TCN處理時間序列的能力優于LSTM的一般遞歸體系結構。以美國亞利桑那州立大學坦佩校區的IES負荷數據為算例進行仿真分析，結果表明，相較于其他3種模型，MMoE-TCN在預測精度上有了很大的提升。電、冷、熱負荷的MAPE 指標分別為 1．21%、1．79%、2．86%，其在綜合預測精度上較傳統模型提升了41．8%，驗證了該模型的有效性、可行性和優越性。

本文所研究的對象僅僅是電、冷、熱等時序特征的負荷，在將來的研究中，可以針對電動汽車等具有時空特征的隨機性負荷，在考慮時間、空間等相關性因素的基礎上提出更有效的預測方法。