基于集成深度學習算法的燃氣負荷預測方法①

王曉霞,徐曉鐘,張 彤,高超偉

(上海師范大學 信息與機電工程學院,上海 201400)

近年來,天然氣作為一種安全高效,經濟環保的綠色能源,現在已經被廣泛地應用于國民生活和生產等各個領域.為了能夠合理且高效的使用燃氣資源,這就需要燃氣運營企業對燃氣負荷量有較為準確的預測.因此,如何根據歷史負荷數據以及可能影響因素,充分地利用數學和計算機知識選擇、建立合適的預測模型,并不斷提高燃氣預測精度已經成為一項急需解決的技術問題,也是學術與工業領域重要的研究課題,具有極強的現實與工程意義.

在過去幾十年來,對負荷預測領域的研究總的來說主要集中于使用人工神經網絡[1],支持向量機[2],專家系統[3],模糊邏輯[4],自回歸移動平均[5]等基本方法.緊接著研究方向紛紛從最初的使用單一的預測模型轉向后來的各種組合預測模型,可以從各項研究案例中看出,負荷的預測精度的確得到了有效的提升.

而近年來,隨著深度學習技術的興起,學者們便逐漸地開始嘗試使用各種深度學習算法及其各種優化的集成算法來進行預測.Cortez B等[6]使用LSTM來對緊急事件進行預測.Yang YT等[7]提出了一種新型的 CFCCLSTM模型來對海平面溫度進行預測,該模型的結構包括一個全連接的LSTM網絡層和一個卷積層.并且通過實驗驗證了該模型的有效性.根據以往的研究成果來看,同樣地,單一的深度學習模型并不能夠很好的解決問題,因此,專家們便開始對深度學習算法的各種集成算法來展開研究.Qiu XH等[8]提出了一種EMD和深度學習算法DBN的集成模型,該方法既使用了EMD強大的信號分解能力,又利用了DBN良好的特征提取能力,最終得到了期望的預測性能.因此,深度學習算法的優勢顯而易見.那么,有針對性的使用不同的深度學習算法并將其進行算法集成便是一個很好的研究思路.Gensler A等[9]通過組合不同的深度學習算法來證明其在太陽能預測領域的預測性能確實優于標準的MLP和其他的預測模型.

基于這種研究思路,進一步提高燃氣負荷預測的精度,本文提出了一個新穎的集成深度學習算法模型,主要通過EEMD,AutoEncoder和LSTM網絡的集成來進行多步驟的燃氣負荷預測.該模型采用集合經驗模式分解算法,加入隨機的高斯白噪聲,改進傳統經驗模式分解模態混疊的問題.并且將燃氣負荷的影響因子首先通過AutoEncoder進行深層特征提取,避免了人工選擇特征的盲目性和繁瑣性,便于后續模型進行預測.最終使用LSTM網絡作為基本的模型來對燃氣負荷數據進行預測,充分利用了LSTM循環神經網絡在時間序列數據方面的良好的預測性能.本文首次通過將EEMD算法,AutoEncoder和LSTM神經網絡集成起來對燃氣負荷數據進行多步預測,使得LSTM模型更能把握歷史負荷數據的內在規律,預測更加有針對性,更加精準.

1 集成深度學習算法

本文所采用的EEAE-LSTM集成深度學習算法的特點主要有：使用LSTM神經網絡進行基本模型搭建,利用記憶因子的設置來自適應的尋找數據序列在時間尺度上的聯系和特征；在此基礎上,使用自動編碼器原理來對LSTM網絡的輸入數據不斷迭代訓練找到數據序列中在空間尺度上的深層次特征,簡化LSTM網絡的訓練負擔,舍去噪聲特征,增加網絡的預測精度；由于燃氣負荷數據受多種因素的影響,所以算法中的第一步就要對數據進行EEMD分解,找到不同因素影響下的序列,分別對其進行預測最后重構結果.這樣可以避免數據整體預測的模糊性,提高準確性.

1.1 LSTM神經網絡簡介

LSTM[10-13]是一種特殊的循環神經網絡,其核心設計就是在循環神經網絡隱藏層的神經單元中增加一個記憶因子,如圖1所示.它通過神經單元中的4種“門”結構來控制在每個時間步t對記憶因子的修改,決定是否需要將信息繼續傳遞下去.“門”結構的選擇記憶功能主要由sigmoid函數和點積操作來計算完成.它主要包括“遺忘門”,“輸入門”,“候選門”以及“輸出門”.各種門結構的介紹和計算公式如下.

圖1 LSTM神經單元結構在時間上展開的示意圖

遺忘門：它決定需要從信息流中丟棄多少信息.通過sigmoid函數實現得到一個0～1之間的閾值.當閾值越接近1,表示保留的信息就越多；反之則表示丟棄的信息越多.如式(1).

輸入門：它決定了當前時刻的輸入it被添加到記憶信息流中的信息量,同樣通過一個激活函數來實現.如式(2).

候選門：它用來計算當前的輸入與過去的記憶所具有的信息總量.計算公式如式(3).

輸出門：它決定著將被繼續傳遞到下一時刻神經單元中的信息量.計算如式(5).

其中,ot是一個大小在0和1之間的權重值,具體計算如式(6).

1.2 自動編碼器與集合經驗模式分解算法

1.2.1 自動編碼器簡介

自動編碼器(AutoEncoder)[14-17]是深度學習算法的一種常見形式,是最基本的特征學習方式.傳統的自動編碼器是一種無監督形式的單隱層神經網絡結構,由輸入層、隱藏層和輸出層構成.其核心設計就是它的目標向量等于輸入向量,而在此基礎上自動編碼器會通過不斷地網絡編碼和解碼過程對輸入向量的內在特征進行學習,最終得到其深層表征方式.其網絡結構如圖2所示.

圖2 自動編碼器結構圖

在圖1中,原始輸入數據經過編碼和解碼處理,若重構的輸出誤差在限定范圍內,即可認定編碼過程是對輸入樣本數據的有效表達.自動編碼器可以將高維數據轉換為的低維表示.對于輸出層,假設輸入數據x={x1,x2,···,xn},且xi∈[0,1],自動編碼器首先將x映射到一個隱藏層,利用隱藏層對其進行表示為h={h1,h2,···,hm},且hm∈[0,1],這個過程被稱為編碼.它是整個自編碼網絡的核心,能夠反映具有嵌套結構的高維數據集的本質規律,并確定高維數據集的本質維數.隱藏層的輸出h的具體形式為：

其中,δ為一個非線性映射,如sigmoid函數.

隱含層的輸出h被稱為隱含的特征變量,利用其隱含的變量來重構.在這里,輸出層的與輸入層的輸入x具有相同的結構,這個過程被稱為解碼.輸出層的輸出的具體形式為：

同時,自動編碼器學習目的是將輸入數據x通過轉換得到其隱藏層的表示h,然后由隱藏層重構,還原出新的輸入數據.而其訓練目標就是使得重構后的數據能夠盡量還原輸入數據x.由此,對于連續的數值型數據來說,構建自動編碼器的損失函數則通常采用均方誤差來定義：

利用梯度下降等最優化算法,可以求解出模型的最優參數w,b和c.

1.2.2 集合經驗模式分解算法簡介

經驗模態分解[18,19]是一種自適應的對數據序列或信號的平穩化處理方法.其關鍵是它能使復雜信號分解為有限個IMF,而所分解出來的各IMF分量包含了原信號的不同時間尺度的局部特征信號.當使用EMD算法進行時間序列分析時會產生模態混疊的問題,使得每一個IMF分量包含不同時間尺度特征成分.為了解決以上問題,使用集合經驗模態分解算法,其中加入了噪聲輔助信號處理的方法.EEMD[20]算法具體步驟如下：

其中,N為迭代次數,wi(t)為第i次加入的白噪聲序列,Xi(t)為第i次加入噪聲后的復合序列；

Step 2.對復合數據序列X(t)進行EMD分解,得到各階IMF分量,此時：

其中,n為分解后IMF的階數,ci(t)為第i階IMF分量,rn(t)為剩余分量；

Step 3.迭代執行Step 1,Step 2,在每次迭代中,白噪聲序列都是隨機生成的,最終得到多對IMF分量；

Step 4.利用高斯白噪聲頻譜的零均值原理,消除高斯白噪聲作為時域分布參考結構帶來的影響.原始數據序列對應的最終IMF分量cn(t),以及剩余分量rm(t)可以分別表示為：

Step 5.最終原始數據序列x(t)可以分解為：

式(14)中,cn(t)為最終EEMD分解后各階IMF分量,rm(t)為剩余分量.

1.3 集成深度學習算法

1.3.1 算法原理介紹

人工神經網絡已經廣泛應用于燃氣負荷預測中,而由于人工神經網絡存在著網絡結構難以確定,易陷入局部最小,無法從時間尺度上把握到時間序列數據的波動趨勢.文獻[21]使用了自動編碼器和LSTM網絡的組合,將其成功應用與金融時間序列的分析研究中,而本文提出一種EEAE-LSTM集成深度學習算法的燃氣負荷數據預測方法.其關鍵是能夠從多種維度去把握數據序列的特征,結合這些維度下的特征來對數據做出一個比較準確的預測.

首先,本文考慮到燃氣負荷數據是一種非線性非穩態的序列型數據,而且影響因素復雜多變,如果直接對其進行預測,并不能夠準確把握其固有特征,因此,算法中采用集成經驗模式分解來將原始負荷數據自適應地分解為不同頻域下的IMF分量.其中不同的IMF分量對應的則是不同數據序列在特定影響因素下的組成分量,代表了數據一個固有的震動模態,可以使數據特征在不同分辨率下顯示出來.

其次,本文針對傳統神經網絡無法捕捉到燃氣數據在時間域上的特征,提出使用LSTM神經網絡來進行基本模型的構建,充分利用了LSTM網絡特有的記憶結構對時間序列數據的友好性和適用性,同時又解決了一般循環神經網絡長期依賴的問題.并且網絡結構綜合考慮了當前數據與前面數據的關系,使用記憶因子自適應的保留了有價值的信息,進有選擇的進行信息傳遞.體現了數據序列在時間尺度上的聯系和內在特征.

最后,由于燃氣數據受天氣、氣溫、濕度、日期類型等多種復雜因素的影響.在預測時不得不考慮所有可能影響因子,而目前的人工選擇特征卻有不可避免的盲目性和繁瑣性.因此,本文考慮對多種可能影響因素進行自動化特征提取.而自動編碼器可以對一些無標注的數據不斷地進行重構,最終學習到數據的深層特征表示.自動編碼的過程簡便且高效,可以較為理想的提取到多個影響因子的深層次特征.具體如算法1.

算法1.自動編碼算法主要參數：Nstd=0.2；NE=100；batch_size=20；Time_steps=10；Dropout=10%輸入：負荷序列,影響因子序列images/BZ_54_1535_2180_1718_2213.pngimages/BZ_54_1290_2216_1390_2266.png][輸出：訓練完成的EEAE-LSTM集成模型1.數據的EEMD算法分解(1)在 中反復加入高斯白噪聲images/BZ_54_1918_2420_1968_2453.png得到images/BZ_54_2039_2420_2252_2453.png,i=1,2,…,N；images/BZ_54_1380_2420_1563_2453.png(2)對 進行EMD分解得到images/BZ_54_1728_2515_2016_2585.png,i=1,2,…,N；images/BZ_54_1371_2531_1438_2565.png(3)對N次迭代后的 結果求平均可以得到EEMD分解后最終的IMF分量為images/BZ_54_1500_2632_1733_2707.png,images/BZ_54_1743_2632_2012_2707.png.2.影響因子的自動編碼器提取(1)確定自動編碼器網絡結構；(2)選擇網絡中激活函數及優化器等超參數；[images/BZ_54_1591_2591_1658_2624.png(3)將 輸入到網絡中進行編碼和解碼操作；images/BZ_54_1368_2857_1764_2907.png](4)自動編碼器網絡訓練結束得到最終的特征因子序列.images/BZ_54_1290_2975_1403_3004.png3.將步驟1和步驟2得到的結果組成不同IMF分量的訓練矩陣,；images/BZ_54_1290_3076_1315_3105.pngimages/BZ_54_1324_3067_1515_3105.pngimages/BZ_54_1962_2171_2262_2221.pngimages/BZ_54_2175_2925_2262_2954.png

4.LSTM神經網絡的預測(1)確定LSTM網絡結構及設置超參數；(2)定義損失函數Loss；(3)搭建LSTM模型并將 作為輸入數據進行訓練；images/BZ_55_571_601_596_630.png(4)將各個訓練矩陣 所得到預測值進行重構得到最終的預測結果images/BZ_55_498_652_523_681.png

1.3.2 集成深度學習算法框架

本文所提出的集成深度學習算法完整的算法框架如圖3.

圖3 深度學習算法框架

基于EEAE-LSTM集成深度學習算法的燃氣負荷預測步驟如下：

Step 1.分析燃氣負荷數據序列的波動趨勢,數據特點,相關影響因素以及數據是否完整、干凈等,對數據中存在的異常數據進行預處理等.

Step 2.使用集合經驗模式分解算法將負荷序列分解為多個IMF分量和余項.

Step 3.將燃氣負荷數據的影響因素輸入到自動編碼器(AutoEncoder)中進行特征提取并做非線性降維處理.

Step 4.將EEMD分解得到的每個子序列分別與AE提取到的特征序列組成不同的訓練矩陣.然后,針對不同的子序列對應的訓練矩陣建立相應的LSTM模型,分別進行預測,最后對各個預測結果進行先行重構得到最終預測結果.

2 仿真分析

2.1 數據描述

實驗所需要的數據集為2014～2017年上海市市北每日居民生活用氣數據,共有1261條,每條數據包含日期類型,最高溫度,最低溫度,平均溫度,天氣類型,歷史負荷值等字段.為了驗證本文所提出方法的準確性,健壯性及泛化能力,將該數據分為4個數據子集,如表1所示,且下述實驗將分別在這4個子集上進行模型的訓練和測試.

表1 實驗數據子集劃分

2.2 EEMD分解結果

針對燃氣負荷數據的時序非線性,非平穩性以及一定的周期連續性,采用EEMD算法可以有效的對原始數據進行平穩化處理.示例使用上海市市北2017年1月1日～2017年12月27日一年的生活用氣進行EEMD分解算法,將原始的燃氣負荷數據分解結果如圖 4～圖 12.

圖4 原始負荷序列

圖5 EEMD分解結果-IMF1

圖6 EEMD分解結果-IMF2

圖7 EEMD分解結果-IMF3

從圖中可以看出,原始的燃氣負荷序列通過EEMD算法被分解為7個IMF分量和一個剩余項.IMF1～2為高頻分量,負荷具有一定的隨機性,可能為氣候等隨機影響因子,規律難以捕捉.IMF3～4為中頻分量,負荷具有一定的周期性,可能影響因素為用戶工作,生活習慣等.IMF5～7為低頻分量,負荷具有明顯的周期性,可能影響因素為溫度,歷史負荷值等.Residual為剩余項,反映了負荷的總體變化趨勢,可能影響因素為季節,日期類型等.通過EEMD分解,可以將燃氣負荷數據中真實存在的不同尺度波動或趨勢逐級分解出來,產生一系列具有不同特征時間尺度的數據序列,分別反映了各自時間尺度上的內在特征.

圖8 EEMD分解結果-IMF4

圖9 EEMD分解結果-IMF5

圖10 EEMD分解結果-IMF6

圖11 EEMD分解結果-IMF7

圖12 EEMD分解結果-Residual

2.3 影響因子特征提取

通過將影響因子向量輸入到自動編碼器中,可以提取到其深層特征因子,如圖13所示.明顯可以看出,特征因子序列有一定的規律性.影響因子數值大概在0.4～1.2之間以5個單位值的周期來波動.可見,自動編碼器能夠很好地捕捉到燃氣負荷數據影響因子的深層特征.該特征因子序列用于下一步與各個IMF分量組成LSTM預測模型的訓練矩陣,進而進行很好地預測燃氣日負荷值.

圖13 自動編碼器的影響因子特征提取結果

2.4 負荷預測

在負荷預測階段,將第一步中EEMD分解得到的每個子序列分別與第二步中AutoEncoder提取到的特征序列組成不同IMF分量的訓練矩陣.然后再針對不同的IMF分量對應的訓練矩陣建立相應的LSTM模型,分別進行預測,最后對各個預測結果進行線性重構得到最終的預測結果.

這部分給出了本文所提出方法EEAE-LSTM以及其他3個對比模型LSTM,AE-LSTM,EEMD-LSTM的燃氣負荷預測結果.

如圖14是在數據集DataSet1下的燃氣負荷預測曲線,圖15是在數據集DataSet1下的燃氣負荷預測誤差圖,表2則具體給出了各個模型在不同數據子集下的誤差情況.由于篇幅有限,這部分只參考DataSet1數據子集作為展示研究成果的示例.

從實驗結果可以得到,該部分主要研究了不同模型在不同的數據子集下的預測結果和誤差情況.然而為了燃氣負荷預測方法的進一步研究,在本文的這部分部分則僅采用DataSet1數據子集作為模型的對比和分析的數據依據,同樣能夠代表模型算法之間的差異性和通用性.

從圖14和圖15以及表2中可以看出：

(1)在MAPE(%)誤差圖中,AE-LSTM與EEMDLSTM的誤差接近,分別為1.852%,1.738%,但也均低于單一的LSTM模型,為2.120%.而本文所提出方法EEAE-LSTM相對于AE-LSTM,EEMD-LSTM,LSTM的MAPE誤差分別降低了17.8%,12.5%以及28.3%.證明了其有效性,在燃氣負荷預測方面具有不錯的預測表現.

(2)在詳細的MAPE,RMSE誤差表中,相對于單一的LSTM模型,其他集成模型的MAPE降低了12.6%～28.3%,而RMSE則降低了12.4%～21.3%.從數據角度分析,深度學習的集成算法在預測精度方面確實要比單一的深度學習模型要好.

(3)AE-LSTM和EEMD-LSTM的預測表現接近,說明不管是使用AutoEncoder還是EEMD,均能夠很好的在數據進入模型預測之前捕捉到原始負荷數據序列的內在特征.

(4)本文所提出的EEAE-LSTM多步預測算法的預測表現確實要明顯優于AE-LSTM和EEMD-LSTM,說明所提出的方法在不同模型的集成方面的可行性以及有效性.主要是考慮到原始負荷序列的非平穩化的特性,先使用EEMD算法進行逐級分解,找到在不同時間尺度上,負荷序列真實的變化趨勢,接著再使用自動編碼器對影響因子進行特征提取.兩種方法的有效結合,更能把握到數據的真實特性和深層次的特征表示.

(5)分析表2數據,由于每個數據集的數據量不同,所以僅選擇從縱向對比各個算法的時間復雜度最為合理.表中可以看出通過不同算法的集成預測,在時間復雜度上顯然要大于單一的LSTM神經網絡,而本文所提出的的EEAE-LSTM算法是所有對比模型中最大的.因為多種模型的集成必將不可避免的導致模型復雜度的增加,從而增加模型預測的時間復雜度.而對于燃氣負荷數據,如何提高預測精度是目前狀況下首要解決的問題,本文提出的集成深度學習算法是一種用效率換性能的預測方法.

表2 各個模型在不同數據集下的MAPE和RMSE

3 結論與展望

針對現有燃氣負荷預測精度難以提升的情況,本文提出了一種新型的集成深度學習算法來對燃氣負荷進行多步預測.該算法首次通過將EEMD,AutoEncoder和LSTM神經網絡集成起來對燃氣負荷數據進行多步預測,分別從時間尺度和空間尺度把握了燃氣數據的內在特性,使得預測更加有針對性,更加精準.討論實驗結果,并且證明了該方法在燃氣負荷預測方面的預測精度的確有所提高.