基于Time2Vec-LSTM-TCN-Attention的天然氣負荷組合預測

摘要針對天然氣負荷序列的復雜性和非線性，本文提出一種基于Time2Vec-LSTM-TCN-Attention的天然氣負荷組合預測模型．首先，采用皮爾遜相關系數進行相關性分析，提取出相關性強的氣象特征;其次，引入時間向量嵌入層Time2Vec，將時間序列轉換為連續向量空間，提取相應的時間特征，提高了模型對時間序列信息的計算效率;然后，將Time2Vec提取的時間特征、皮爾遜相關系數選取出的氣象特征和原始負荷序列輸入到長短期記憶網絡（LSTM）和時間卷積網絡（TCN）中進行負荷預測，充分利用LSTM的長期記憶能力和TCN的局部特征提取能力;最后，將LSTM和TCN通過注意力（Attention）機制組合起來，并根據其重要程度分別賦予不同的權重，得到最終預測結果．實驗結果表明，本文所提出的組合預測模型具有更強的適應性和更高的精度．

關鍵詞Time2Vec;注意力;長短期記憶網絡;時間卷積網絡;組合預測;負荷預測

中圖分類號TP18

文獻標志碼A

0 引言

天然氣負荷預測是系統調度、計劃、規劃等管理部門的重要工作之一．提高天然氣負荷預測技術水平，有利于節煤、節油和降低發電成本，有利于科學地制定能源建設規劃，提升能源系統的經濟和社會效益．因此，天然氣負荷預測已成為實現能源系統管理現代化的重要內容之一［1］．

近年來，隨著科學技術的迅速發展，國內外學者對負荷預測進行了大量的研究，提出了很多改進負荷預測精度的方法．總的來說，負荷預測的方法大致分為三類：以統計模型為基礎的預測方法、基于人工智能的預測方法和組合預測方法．

基于傳統數學統計模型的預測方法包括時間序列法［2］、回歸分析法［3］、指數平滑法［4］、卡爾曼濾波［5］等．這類方法原理簡單、便于掌握、計算速度快，但其較為簡單、魯棒性差．隨著能源系統規模的擴大，負荷的波動與復雜程度日益增加，傳統的統計模型已難以適應能源市場的需求．人工智能算法作為近年來興起的一種新型的算法，具有較強的自我學習能力和較強的數據挖掘能力，已經被廣泛地應用于負荷預測領域中，并取得了較好的效果．目前，常見的人工智能模型主要有極限梯度提升樹（XGBoost）［6］、卷積神經網絡（CNN）［7］、支持向量機（SVM）［8］、長短期記憶網絡（Long Short-Term Memory，LSTM）［9］、時間卷積網絡（Temporal Convolutional Network，TCN）［10］等．

然而，在實際應用中，單一模型的預測準確性往往無法滿足實際需要．為了提高模型的泛化能力和預測精度，組合模型應運而生，它結合了多個單一模型的優勢，往往能夠取得更好的預測結果．將數據分解算法和預測模型串聯起來是常見的組合方法之一．徐巖等［11］通過粒子群算法對變分模態分解（VMD）最佳影響參數組合進行搜尋，針對各子序列分量建立基于GRU（門控循環單元）的預測模型;Jalalifar等［12］使用離散小波（DWT）將時間序列分解為子信號，然后計算子信號的時空自相關性，將子信號作為SAC-ConvLSTM的輸入;畢貴紅等［13］利用奇異譜分解（SSD）和VMD兩種信號分解方法進行分解，獲得兩類多尺度分量，不同模式的多尺度分量可降低原始風速的復雜度和非平穩性，實現了不同模式模態分量規律的互補．這些基于數據分解的組合方法利用數據分解方法和深度學習模型，消除了相關時間序列中的隨機擾動，實現了良好的預測性能，然而，這些方法將時間序列處理與預測分離，導致最終方案不太理想［14］．最近，一個新的時間嵌入層Time2Vec被引入深度學習模型中，使其在處理時間序列方面變得非常靈活．Feroz等［15］將Time2Vec與CNN、RNN、Inception模塊和ResNet結合使用，利用Time2Vec將時間特征轉換為連續向量表示，從而解決了準確表示時間數據的難題;Wen等［16］在嵌入層中使用了時間矢量（Time2Vec）和節點矢量（Node2Vec），以分別獲得時間節點和空間節點的通用表示，并將其組合成空間-時間嵌入（STE）塊;Srihari等［17］提出一種新的混合WSF方法，稱為VMD-Ts2Vec-SVR，將Ts2Vec模型用于從去噪序列中學習所有語義級別的連續上下文表示．另一種常見的方法是融合注意力機制的組合預測方法．注意力機制通常被用于加強模型對重要信息的關注，為不同特征或不同模型分配權重．趙星宇等［18］構建基于貝葉斯優化的LSTNet-Attention模型進行初步預測，利用貝葉斯算法優化模型多個結構參數，并通過注意力機制合理分配特征權重;Bian等［19］提出一種基于VMD-SE和CNN-BiLSTM-Attention融合的新型天然氣負荷預測模型，對不同的特征因素，通過注意力機制賦予相應的權重，突出重要因素的影響;鄭征等［20］提出一種基于多頭注意力的卷積循環神經網絡深度學習模型，相較于單純的時間序列模型，該模型利用卷積和加權機制對電力屬性和有功功率間的局部相關性進行建模．

針對天然氣負荷序列分解將時序處理與預測分離以及組合模型權重難以分配的問題，本文提出一種基于Time2Vec的天然氣負荷組合預測模型．首先，通過皮爾遜相關系數計算各因素之間的相關性，選取相關性強的特征;其次，將經過預處理的原始負荷數據與Time2Vec進行串聯，將時間序列轉換為連續向量空間，提取相應的時間特征;然后，將Time2Vec提取到的時間特征，皮爾遜相關系數選取出的氣象特征與原始負荷序列特征一起輸入到LSTM、TCN模型中進行負荷預測．為防止不合理的權重分配方式造成較大誤差，本文采用注意力機制對LSTM、TCN模型進行組合，根據兩者對于最終預測結果的重要性分別賦予權重，得到最終預測模型，實現對負荷數據的精準預測．

1 主要模型算法

1.1 Time2Vec

Time2Vec是一種可學習的向量表示法．它可以將時間特征轉換為連續向量表示，從而解決了準確表示時間數據的難題．Time2Vec具有同時捕捉周期性和非周期性模式、不受時間重縮的影響、足夠簡單3個重要特征，因此可以與許多模型相結合．

基于以上3個重要的特征，本文提出利用Time2Vector表示時間特征.時間特征定義如下：對于給定的時間標量概念τ，Time2Vec的τ表示為t2v（τ），是一個大小為k+1的向量．Time2Vec定義如下：

其中：1≤i≤k，k是Time2Vector的維度;t2v（τ）［i］是第i個元素;F是周期性激活函數;ωi和φi是可學習參數．鑒于向量表示法在不同任務中的普適性，時間的向量表示法使其很容易被不同的架構所使用．在實驗中選擇正弦函數F，當F=sin時，對于1≤i≤k，ωi和φi是正弦函數的頻率和相移．

1.2 LSTM

LSTM是一種特殊的循環神經網絡（圖1）．與傳統的RNN相比，LSTM更適合對時間序列中跨度較大的重要事件進行處理和預測．LSTM通過引入記憶細胞、輸入門、輸出門和遺忘門的概念，能夠有效地解決長序列問題．記憶細胞負責保存重要信息，輸入門判斷是否要將當前輸入信息寫入記憶細胞，遺忘門判斷是否遺忘記憶細胞中的信息，輸出門則決定是否將記憶細胞的信息作為當前的輸出．這些門的控制能夠有效地捕捉序列中重要的長時間依賴性，并且能夠解決梯度問題．

圖1中各部分的計算公式如下：

1.3 TCN

TCN是一個可以用于處理時間序列的卷積模型．與傳統的卷積神經網絡相比，TCN增加了因果卷積、膨脹卷積及殘差連接3個模塊，不僅具有因果性、并行性等特點，還具有靈活的感受野，所以比卷積神經網絡更適合處理時間序列數據．膨脹卷積內部結構如圖2所示．

TCN模型卷積結構的層與層之間都是相互依賴的，后一層輸出依賴于前一層的輸入，通過間隔采樣的形式，逐層膨脹系數呈指數級增長，從而以較少的層數獲得較大的感受野．

1.4 注意力機制

注意力機制（Attention）是一種分配機制，它的核心思想是突出對象的某些重要特征．根據Attention對象的重要程度，重新分配資源，即權重．其實現的主要思路就是在已有的數據基礎上，找到數據之間的相關性，并突出某些關鍵的特性．

注意力機制的計算過程可分為如下3步：

1）計算注意力分數Si．通過注意力評分函數來計算每個輸入向量與查詢向量的相關性，最常用的評分函數為點積函數，其公式為

Si=XTiq." （8）

式中：Xi為輸入向量;q為查詢向量．

2）計算注意力分布權重αi．使用Softmax函數將注意力分數歸一化到［0，1］范圍內．

3）計算最終的注意力輸出向量F．根據注意力分布權重αi，對輸入數據進行加權平均，得到最終的輸出．

2 基于Time2Vec的天然氣負荷組合預測方法

2.1 特征選擇

影響天然氣負荷預測的特征因素很多，但是考慮到模型復雜性和冗余性等原因，不可能將所有的特征都輸入到模型中進行預測．特征選擇就是從初始特征集中通過某種方式篩選出一部分有效性較高的特征形成最優特征子集，從而達到除去冗余特征、降低計算復雜度的目的．皮爾遜相關系數可以較好地反映兩個變量之間的相關程度．本文利用皮爾遜相關分析方法，對不同影響因子與天然氣負荷之間的相關關系進行分析．

皮爾遜相關性系數公式如下：

式中：E為數學期望;cov（X，Y）為協方差;σ為標準差．

本文相關系數如

圖3和表1中：load表示天然氣負荷;week表示工作日;low表示最低溫度;high表示最高溫度;temp表示平均溫度;humid表示濕度;windlev表示風級;pres表示氣壓;rain表示降水量;condition表示天氣狀況;hot表示悶熱指數．悶熱指數［21］是一種能夠反映人的熱感受的綜合指標，它受到溫度和濕度的雙重限制，是由氣溫和相對濕度兩個要素來共同確定的，可以反映出人與外界熱量交換的程度．

ihot=（1.8t+32）-0.55（1-f）（1.8t-26）." （12）

式中：ihot為悶熱指數;t為攝氏溫度（℃）;f為相對濕度（％）．

相關系數愈接近1，說明兩者之間的關系愈高;愈靠近0，則關聯程度愈低．通常可將其相關性歸納為：相關系數在（0.8，1.0]之間，說明兩個因子的相關性很強;相關系數在（0.6，0.8]之間，說明兩個因子的相關性較強;相關系數在0.2～0.6之間，說明兩個因子的相關性一般;相關系數在（0.0，0.2]之間，說明兩個因子不相關．

從表1和圖3可知：最高溫度、最低溫度、平均溫度、悶熱指數與天然氣負荷的相關系數在0.8以上，說明它們與天然氣負荷的相關性很強;氣壓與天然氣負荷的相關系數為0.67，說明它們與天然氣負荷的相關性較強;其余因素與天然氣負荷的相關性均低于0.2，與天然氣負荷不相關．綜上，從以上10種因素中選取最高溫度（high）、最低溫度（low）、平均溫度（temp）、悶熱指數（hot）、氣壓（pres）與天然氣負荷（load）數據作為輸入變量，以下一時刻的天然氣負荷值作為模型的輸出變量．

2.2 參數設置

考慮到各模型間不同超參數設置會對預測結果有一定影響，在原模型的基礎上經過多次試錯以及以往經驗參考得出針對本文數據集的最佳參數．各模型主要參數設置如表2所示．

表2中：feature_num為特征總數量;kernel size為卷積核大小;LSTM units是LSTM單元內的隱藏層的尺寸;optimizers為優化器;learning rate為學習率;epochs為訓練輪數;batch size為批量大小．

2.3 基于Time2Vec的天然氣負荷組合預測總體研究思路

本文構建了基于Time2Vec的天然氣負荷組合預測模型，具體步驟如下：

1）收集可能影響天然氣負荷的特征因素，采用皮爾遜相關系數來對各特征因素進行特征選擇，去除掉相關程度較低的冗余特征;

2）通過Time2Vec捕捉時間序列中復雜和非線性時間信息，提取輸入序列中的時間特征，與1）中篩選出的特征因素、原始負荷序列一同輸入到模型中;

3）建立LSTM、TCN的單一預測模型進行負荷預測，作為下一步組合預測模型的基模型;

4）使用注意力機制將兩個單一的預測模型進行組合，計算各個模型的權重，將注意力權重與特征相乘得到加權的特征，通過全連接層輸出預測結果;

5）代入實驗數據集進行中期負荷預測，建立評價指標體系，設計對比實驗并對模型進行分析評價．

天然氣負荷組合預測總體研究思路如圖4所示．

3 算例分析

3.1 數據選取

為驗證本文模型預測的有效性，本文選擇陜西省西安市某天然氣站的居民用氣量作為具體研究對象．選取2011年1月1日至2015年6月19日的負荷數據作為原始數據集，共1 631個樣本數據．天然氣負荷數值采樣間隔為1 d，每日采樣一個點，特征數據包括最高溫度、最低溫度、平均溫度、悶熱指數、氣壓共5項指標．將數據集按8∶2劃分，前80％的數據作為訓練集，后20％數據作為測試集進行回歸預測．

3.2 模型評價指標

本文選取均方根誤差（RMSE）、均方誤差（MSE）、平均絕對誤差（MAE）和決定系數（R2）作為天然氣負荷預測模型的效果評價指標．其中：R2用于對模型進行擬合，R2越大表明模型擬合程度越高;RMSE、MSE、MAE則用于對預測模型的準確性進行驗證，它們值越小說明精度越高．具體的計算公式如下：

3.3 仿真實驗及結果分析

為了驗證本文所提出基于Time2Vec和 LSTM-TCN-Attention預測模型的優越性，通過RMSE、MAE、MSE和R2 4種評價指標，將基于Time2Vec和 LSTM-TCN-Attention的預測模型與多種模型進行對比，觀察各模型的擬合效果．將組合模型與主流的機器學習 SVR、Lightgbm、XGBoost以及主流的深度學習GRU、CNN模型進行對比，預測精度對比結果如表3和圖5所示．在此基礎上，增添一組消融實驗，將Time2Vec-TCN-LSTM-Attention（T2V-TLA）組合模型與TCN-LSTM-Attention（TLA）、Time2Vec-TCN-Attention（T2V-TA）、Time2Vec-LSTM-Attention（T2V-LA）和Time2Vec-TCN-LSTM（T2V-TL）模型的天然氣負荷預測精度進行對比，消融實驗模型的預測精度對比結果如表4和圖6所示．

由表3可知，本文提出的Time2Vec-LSTM-TCN-Attention模型的 MSE、MAE、RMSE與R2分別為0.001" 11、0.018 19、0.033 33、0.986 0．將Time2Vec-LSTM-TCN-Attention模型與XGBoost、CNN、SVR、GRU、Lightgbm進行對比，其MSE值分別下降了0.001 02、0.003 16、0.006 29、0.002 13、0.003 01，MAE分別下降0.004 46、0.030 6、0.049 66、0.017 9、0.020 4，RMSE分別下降0.012 79、0.032 03、0.052 68、0.023 59、0.030 89，R2分別提高0.012 8、0.039 8、0.079 2、0.026 8、0.038 0，由此可以驗證Time2Vec-LSTM-TCN-Attention模型可以有效提高對時間序列預測的精度．由圖5可知，CNN與SVR兩模型得到的預測結果與真實值之間的擬合程度較差，GRU擬合程度一般，Lightgbm擬合程度較好，本文模型擬合程度最好，充分驗證了本文模型的有效性．

由表4可知：將本文模型與TCN-LSTM-Attention相比，MSE、MAE和RMSE分別下降0.001 13、0.007 89和0.013 94，R2提高0.014 2，表明Time2Vec可以有效提取相關的時間特征，從而提高后續模型的預測效果;將本文模型與Time2Vec-TCN-Attention、Time2Vec-LSTM-Attention相比，其MSE分別下降0.003 12、0.002 26，MAE分別下降0.031 42、0.016 72，RMSE分別下降0.031 67、0.024 75，R2分別提高0.039 3、0.028 5，表明將TCN和LSTM并聯可以充分利用兩個模型各自的優勢，充分發揮TCN的局部特征提取能力和LSTM的長期記憶能力;將本文模型與Time2Vec-TCN-LSTM相比，MSE、MAE和RMSE分別下降0.009 73、0.059 4和0.070 78，R2提高0.122 6，表明注意力機制能夠有效解決兩個模型的權重分配問題，進一步突出關鍵特征的影響．

由圖6對比曲線可以看出：Time2Vec-TCN-LSTM擬合程度最差，表明Attention機制對模型預測結果起了很大作用，Attention 機制的加入可以為兩個并聯模型分配合適的權重，突出關鍵特征對模型的影響，從而提高模型預測精度;Time2Vec-TCN-Attention和Time2Vec-LSTM-Attention擬合程度較差，表明TCN-LSTM并聯預測對預測結果具有較大的影響，二者并聯充分發揮了兩個模型各自的優勢，形成優勢互補的組合預測模型;比較TCN-LSTM-Attention和Time2Vec-TCN-LSTM-Attention與其他消融實驗的預測結果，可得出這兩種方法具有較強的擬合能力，且本文所提模型的擬合程度最高，表明Time2Vec可以有效捕捉時間序列中復雜和非線性的時間信息，從而提高模型的預測精度．

4 結語

為提高天然氣負荷預測的準確性，本文引入Time2Vec來提取時間特征，通過Attention機制為兩個并聯模型LSTM、TCN分配合理的權重，建立了基于Time2Vec-LSTM-TCN-Attention的天然氣負荷組合預測模型．通過實驗結果和對比分析得到以下結論：

1）本文采用皮爾遜相關性系數對特征進行相關性分析，去除掉相關程度較低的冗余特征，保留相關性強的特征，從而減少了模型的輸入維度，構造出復雜度更低、預測精度更高的預測模型．

2）為解決復雜和非線性的時間特征難以提取的問題，本文引入Time2Vec來提取時間特征，結果表明，Time2Vec能夠有效地捕捉復雜和非線性的時間特征，捕捉周期和非周期數據，從而有效提高了模型的預測精度．

3）為防止不合理的權重分配問題導致預測誤差較大，本文引入Attention機制來對兩個并聯模型進行權重分配，突出重要模型的影響，結果表明，通過Attention機制來對兩個基模型分配權重可以有效降低實驗誤差．

4）通過對各個模型進行對比分析，表明本文所提出的基于Time2Vec-LSTM-TCN-Attention的天然氣負荷組合預測模型可以結合各個模型的優點，具有較強的擬合能力和較高的預測精度．

參考文獻References

［1］牛東曉，曹樹華，趙磊，等.電力負荷預測技術及其應用［M］.北京：中國電力出版社，1998

［2］ Nepal B，Yamaha M，Yokoe A，et al.Electricity load forecasting using clustering and ARIMA model for energy management in buildings［J］.Japan Architectural Review，2020，3（1）：62-76

［3］ Madhukumar M，Sebastian A，Liang X D，et al.Regression model-based short-term load forecasting for university campus load［J］.IEEE Access，2022，10：8891-8905

［4］ 吳迪，馬文莉，楊利君.二次指數平滑多目標組合模型電力負荷預測［J］.計算機工程與設計，2023，44（8）：2541-2547

WU Di，MA Wenli，YANG Lijun.Power load forecasting with quadratic exponential smoothing multi-objective combination model［J］.Computer Engineering and Design，2023，44（8）：2541-2547

［5］ 陳培垠，方彥軍.基于卡爾曼濾波預測節假日逐點增長率的電力系統短期負荷預測［J］.武漢大學學報（工學版），2020，53（2）：139-144

CHEN Peiyin，FANG Yanjun.Short-term load forecasting of power system for holiday point-by-point growth rate based on Kalman filtering［J］.Engineering Journal of Wuhan University，2020，53（2）：139-144

［6］ 孫超，呂奇，朱思曈，等.基于雙層XGBoost算法考慮多特征影響的超短期電力負荷預測［J］.高電壓技術，2021，47（8）：2885-2898

SUN Chao，L Qi，ZHU Sitong，et al.Ultra-short-term power load forecasting based on two-layer XGBoost algorithm considering the influence of multiple features［J］.High Voltage Engineering，2021，47（8）：2885-2898

［7］ Hong Y Y，Chan Y H.Short-term electric load forecasting using particle swarm optimization-based convolutional neural network［J］.Engineering Applications of Artificial Intelligence，2023，126：106773

［8］ 丁宏，陶曉峰，陸春艷，等.基于RWT-SVM的臺區配電網日前負荷預測研究［J］.南京信息工程大學學報（自然科學版），2023，15（3）：330-336

DING Hong，TAO Xiaofeng，LU Chunyan，et al.Day-ahead load forecasting of distributed power grids based on RWT-SVM［J］.Journal of Nanjing University of Information Science ＆ Technology （Natural Science Edition），2023，15（3）：330-336

［9］ 那幸儀，賈俊鋮，趙曉筠，等.基于小波變換和LSTM模型的城市天然氣負荷預測［J］.計算機應用與軟件，2021，38（12）：61-66

NA Xingyi，JIA Juncheng，ZHAO Xiaojun，et al.City natural gas load forecasting based on wavelet transform and LSTM model［J］.Computer Applications and Software，2021，38（12）：61-66

［10］ 趙洋，王瀚墨，康麗，等.基于時間卷積網絡的短期電力負荷預測［J］.電工技術學報，2022，37（5）：1242-1251

ZHAO Yang，WANG Hanmo，KANG Li，et al.Temporal convolution network-based short-term electrical load forecasting［J］.Transactions of China Electrotechnical Society，2022，37（5）：1242-1251

［11］ 徐巖，向益鋒，馬天祥.基于粒子群算法優化參數的VMD-GRU短期電力負荷預測模型［J］.華北電力大學學報（自然科學版），2023，50（1）：38-47

XU Yan，XIANG Yifeng，MA Tianxiang.VMD-GRU short-term power load forecasting model based on optimized parameters of partical swarm algorithm［J］.Journal of North China Electric Power University （Natural Science Edition），2023，50（1）：38-47

［12］ Jalalifar R，Delavar M R，Ghaderi S F.SAC-ConvLSTM：a novel spatio-temporal deep learning-based approach for a short term power load forecasting［J］.Expert Systems with Applications，2024，237：121487

［13］ 畢貴紅，趙鑫，李璐，等.雙模式分解CNN-LSTM集成的短期風速預測模型［J］.太陽能學報，2023，44（3）：191-197

BI Guihong，ZHAO Xin，LI Lu，et al.Dual-mode decomposition CNN-LSTM integrated short-term wind speed forecasting model［J］.Acta Energiae Solaris Sinica，2023，44（3）：191-197

［14］ Ma Z J，Mei G.A hybrid attention-based deep learning approach for wind power prediction［J］.Applied Energy，2022，323：119608

［15］ Feroz Mirza A，Mansoor M，Usman M，et al.Hybrid inception-embedded deep neural network ResNet for short and medium-term PV-wind forecasting［J］.Energy Conversion and Management，2023，294：117574

［16］ Wen Y J，Li Z H，Wang X Y，et al.Traffic demand prediction based on spatial-temporal guided multi graph Sandwich-Transformer［J］.Information Sciences，2023，643：119269

［17］ Srihari P，Kiran T，Vishalteja K.A hybrid VMD based contextual feature representation approach for wind speed forecasting［J］.Renewable Energy，2023，219（P1）：119391

［18］ 趙星宇，吳泉軍，展晴晴，等.基于貝葉斯優化注意力機制LSTNet模型的短期電力負荷預測［J］.科學技術與工程，2023，23（15）：6465-6472

ZHAO Xingyu，WU Quanjun，ZHAN Qingqing，et al.Short-term load forecasting based on Bayesian optimized LSTNet with attention mechanism module［J］.Science Technology and Engineering，2023，23（15）：6465-6472

［19］ Bian G Q，Yang Y，Guo X S，et al.Natural gas load forecasting based on the fusion of VMD-SE and CNN-BiLSTM-Attention［J］.Journal of Physics：Conference Series，2023，2504（1）：012048

［20］ 鄭征，譚磊，周楠，等.基于多頭注意力卷積網絡的電力負荷預測［J］.南京信息工程大學學報（自然科學版），2022，14（5）：535-542

ZHENG Zheng，TAN Lei，ZHOU Nan，et al.Power load prediction based on multi-headed attentional convolutional network［J］.Journal of Nanjing University of Information Science ＆ Technology （Natural Science Edition），2022，14（5）：535-542

［21］ 廖春花，羅瀟，謝睿恒，等.基于氣象因子的長沙市日最大電力負荷預測對比研究［J］.自然災害學報，2023，32（1）：183-190

LIAO Chunhua，LUO Xiao，XIE Ruiheng，et al.Comparative study on the forecast of the maximum daily electric load in Changsha city based on meteorological factors［J］.Journal of Natural Disasters，2023，32（1）：183-190

Combined forecast of natural gas load based on

Time2Vec-LSTM-TCN-Attention

Abstract To tackle the complexity and nonlinearity inherent in natural gas load sequences，this paper proposes a combined forecasting model that integrates Time2Vec，LSTM （Long Short-Term Memory），TCN （Temporal Convolutional Network），and attention mechanism.Initially，the Pearson correlation coefficient is used to conduct the correlation analysis to extract the meteorological features that exhibit strong relevance.Subsequently，the time vector embedding layer of Time2vec is introduced to convert the time series data into a continuous vector space，thus enhancing the model’s computational efficiency in processing time series information.Then the temporal features extracted by Time2Vec，alongside the meteorological features selected using Pearson correlation coefficient，are fed into both the LSTM and TCN models for prediction，exploiting the long-term memory capability of LSTM and the local feature extraction capability of TCN.Finally，these two models are combined through attention mechanism，and assigned different weights according to the importance of the two to obtain the final prediction results.The experimental results show that the proposed Time2Vec-LSTM-TCN-Attention model outperforms other combined models in terms of adaptability and accuracy for natural gas load forecasting.

Key words Time2Vec;attention;long short-term memory （LSTM）;temporal convolutional network （TCN）;combined forecasting;load forecasting