融合時間序列趨勢的Dual-ESN機組負荷預測模型

樊建升，吳海濱，劉澤軍

（1.山西焦煤能源集團股份有限公司，太原 030006；2.山西大學資源與環境工程研究所，太原 030006；3.古交西山發電有限公司，太原 030020）

現階段，我國形成了以火電機組供電為主，新能源發電為輔的多元化新型能源結構[1]。受新能源裝機容量的持續增加和用電負荷的間斷性影響，電網發供電實時平衡主要依靠燃煤電廠進行調節，燃煤機組的負荷變化區間進一步增大，變化速率要求不斷提高。為保證機組運行的安全性和經濟性，需要探索機組負荷和多變量之間的演化關系，建立實時精確的機組負荷預測模型[2]，以供工作人員參考負荷變化并及時調參。經典預測方法如指數平滑、回歸分析和時間序列等，通常要求負荷數據具有良好的規律性，得到的預測模型簡單[3]，無法適應現階段機組負荷數據復雜多元、預測模型精度要求高的需求。

基于大量歷史數據，智能化方法越來越多地被應用在機組負荷預測的研究中。神經網絡建模作為一種數據驅動的自適應方法，成為了主流的建模工具。前饋神經網絡BP（back propagation neural network）、循環神經網絡RNN（recurrent neural network）等已被廣泛應用于機組負荷預測建模研究中[3-7]。然而，靜態BP無法利用時間序列信息的問題，造成了結構性缺陷。RNN框架具有局部或者全局反饋連接，能夠以“時間”先后次序處理工業數據，從而擁有更優越的動力學特性。但傳統RNN迭代學習中存在梯度下降和消失的缺陷[8]。ESN摒棄了RNN中迭代學習的網絡模型，只通過輸出權值以類似回歸方法求解，避免了上述缺陷。ESN應用于多種負荷預測，提高了預測精度[9-10]。

在真實工廠環境中，工程人員為了準確預估負荷的變化，通常更為關注相關變量和負荷本身的演化曲線，而不是單一數值。此行為的本質是，利用趨勢和數值信息的互補依賴關系進行工況推論，來挖掘過程知識的潛在價值。在工業過程運行數據中，關鍵過程變量的趨勢描述了數值隨時間增長、變化的關系，體現了運行狀況的變化趨向和速度，因此，數值信息和趨勢信息對于預估過程運行狀態都具有重要作用。綜上，已存在的網絡模型都是單一利用原始數據進行負荷預測，無法感知深層次的過程動態知識，從而影響整體框架的預測性能。

鑒于此，本文提出一種融合時間序列趨勢的Dual-ESN機組負荷預測模型。該框架首先引入最小二乘法對有關的多元歷史數據進行局部的線性段擬合，按照單位時間跨度劃分為相應的斜率趨勢序列。其次，原有的數值和趨勢序列并行送入兩個儲備池結構中，形成高維空間向量。進一步，所有的高維向量融合進入偽逆解的回歸層實現聯合預測。此模型致力于捕獲原有數值和潛在趨勢之間的交互依賴關系，以融合學習的模式實現機組負荷的高精度預測。最后，基于山西某工廠660 MW機組正常運行工況下的數據集進行方法驗證。結果表明，Dual-ESN所提出的框架存在更廣闊的感知范圍，可以適應復雜系統相對的動態變化，具有卓越的預測性能。

1 回聲狀態網絡和多元時間序列

1.1 經典網絡框架

相較于傳統的RNN結構，ESN不同之處在于利用了稀疏連接的儲備池結構代替傳統的隱含層，其內部復雜的狀態空間是對非線性時間序列潛在特性的表征。圖1展示了ESN的連接結構，固有連接采用實線箭頭描述，虛線箭頭表示可以選擇有或者無，整體工作流程解析如下。

圖1 ESN結構Fig.1 Structure of ESN

首先，設定左邊輸入層、中間儲備池和右邊輸出層分別存在M、N、L個神經元模型。在t時刻，網絡對應輸入為U(t)，儲備池對應輸入為X(t)，輸出為y(t)。

其次，初始化所有網絡權值矩陣。其中Win∈?N×M為輸入層與隱含層的連接權值向量；Wres∈?N×N為儲備池狀態更新的自連接權值向量；Wout∈?L×(N+M)為儲備池與輸出層的連接權值向量，此外內部還可能存在輸出層對儲備池的影響權值向量Wback∈?N×L。

隨著序列數據的時間推進，儲備池狀態更新為

其中，Win和Wback通過多次隨機計算得出，并在整個工作過程中保持不變。儲備池中神經元的激活函數F(·)一般使用tanh或sigmoid進行嵌入。而在輸出層的活性函數Fout可以是線性函數或者其他，最終可得ESN的輸出狀態方程為

ESN可以被視為將數據于低維向高維進行空間映射，而后進行特征交互推演，在利用Wout得到預測輸出。依賴類線性回歸問題的解決思路，將輸出與目標值的差距最小化可以計算得出Wout矩陣。此外譜半徑SR歸為（0，1）是回聲狀態網絡穩定運行的必要條件，其目的是保正儲備池架構的具體完備的回聲特性，對應了連接權矩陣Wres最大特征值的絕對值。

由于ESN訓練過程相對簡潔，相關隨機權值基于任務數據環境的改變而隨之變化，最優的超參數需要多次經驗測試才可確認。重要超參數包括譜半徑、儲備池中神經元個數、嶺回歸系數等[11]。由于回聲狀態網絡特有的稀疏特性，其網絡規模要比一般的網絡大很多，儲備池中其連接作用的神經元個數表征了整體網絡的計算復雜程度。此外，工業時間序列的潛在特征變化可以用輸出層權值的變化描述，也被視為短期記憶能力，越小則適用于相對穩定的工業數據環境，反之則可用于頻繁變化的系統模型。

1.2 多元時間序列

過程運行數據主要以離散數值的形式被保存，這種數據本身只揭示了淺層且抽象的信息，例如，負荷450 MW，數值本身缺乏一定的實際意義。而時間序列的局部趨勢涵蓋了過程數據的動態信息，可以被視為數值變化的空間行為狀態，即時間序列的向上或向下模式，如圖2所示，其常見表征方式是斜率和持續時間[12]。但是實際生產運行中產生的大多是非線性動態的序列數據，無法利用斜率進行準確擬合。基于此，引入了最小二乘法[13]，以直代曲的微積分思想實現趨勢提取。

圖2 機組負荷趨勢序列辨識Fig.2 Unit load trend sequence identification

在上述理論的支持下，可以獲得多元時間序列的局部趨勢，在圖2中，展示了真實負荷數據點上的線性端擬合結果，可以清晰地看到變量指標整體的演化走向。此趨勢模式也必然影響了未來的變化程度。由此，多元趨勢序列可以表征為一個二元信息組〈duration，slope〉。

2 融合時間序列趨勢的dual-ESN機組負荷預測模型

受到工程師觀測演化曲線推論未知工況的啟發，斜率趨勢和原有的數值被并行輸入Dual-ESN框架以實現融合學習。此操作模式最大化地利用了相關聯多元時間序列的過程動態信息，以提升機組負荷預測模型的性能。圖3展示了Dual-ESN預測模型樣例，其采用了典型的3層結構，即輸入層、隱含層和輸出層。首先，對工作原理進行闡述。擬定當前處于t時刻，網絡的輸入信號可以表示為

圖3 Dual-ESN預測模型Fig.3 Dual-ESN prediction model

式中：vm(t)和sm(t)分別為t時刻的具體數值和趨勢信息；m為輸入的多元變量維度；Uv(t)和Us(t)分別為時間跨度內對應的輸入向量；nv和ns為兩者嵌入的時間跨度。由于在提取局部信息的斜率趨勢時，已經進行了時間跨度融合。故在相同的計算復雜度底層結構中，nv＞ns代表的感知視野。

相應地，儲備池的狀態向量X(t)描述為

式中：Xv(t)和Xs(t)分別為數值和趨勢信息對應儲備池的狀態向量；R和E分別為2個儲備池中的神經元數量。以預測步長為k步的任務為例，模型的輸出可以表示為

在上述設定下，儲備池狀態在t+1時刻的更新過程為

式中：I為單位矩陣；ρ為正則項系數；Q和T分別為在訓練樣本下的儲備池狀態矩陣和目標教師信號。此外，Dual-ESN不需要迭代訓練，學習過程簡單易行，從而不會面臨梯度消失和爆炸的問題，而且時間消耗遠小于經典的RNN框架，保持了負荷時序預測需求的實時性。

總結上述工作原理，得到本文提出的機組負荷預測方法流程，如圖4所示。

圖4 流程圖Fig.4 Flow chart

主要包含以下步驟：

步驟1從DCS或者霍尼韋爾的PHD數據庫導出和機組負荷有關的多元歷史數據，利用灰關聯算法[14-15]和機組負荷動態過程知識進行多元變量的篩選，以排除相對的無關變量，從而提高工作效率。所使用灰關聯算法其核心理論為根據曲線間相似程度來判斷變量間的關聯程度，因此廣泛用于非線性系統的變量相關性分析。

步驟2對篩選后的數據進行預處理和歸一化操作，完成數據準備，有

步驟3基于最小二乘法對預備的多元時間序列進行局部趨勢識別，憑借設定的時間跨度獲得工業過程變化的趨勢序列。

步驟4根據實際的工程預測任務，選擇契合的網絡超參數，建立相適應的Dual-ESN模型。

步驟5并行輸入趨勢和數值序列，擬合預測目標完成模型訓練。

步驟6對完備的Dual-ESN框架用于在線的時間序列預測，將預測輸出反歸一化可得出真實的工業數據。

3 實例研究

以太原某火電廠的5#660 MW超超臨界機組[15]為研究對象，進行機組負荷預測。該廠采用了超超臨界、三缸四排汽、一次中間再熱、單軸、直接空冷凝汽式汽輪機。其回熱系統包含1臺除氧器、4臺低壓加熱器和3臺高壓加熱器。其運行過程如下：首先，通過鍋爐給水、煤和風，燃燒后產生蒸汽；然后，將蒸汽送往汽輪機，在汽輪機中調節閥門開關度，帶動發電機運轉，獲得所需的發電量，即機組負荷。圖5所示為機組負荷的主要過程變量工藝。本文中選用的主要過程變量見表1。

表1 機組負荷的主要過程變量Tab.1 Main process variables of unit load

圖5 機組負荷主要過程變量工藝Fig.5 Process of main process variables of unit load

選擇該電廠5#機組在2021年冬季無檢修、無故障停運的負荷數據，從歷史數據庫中導出相應多元時間序列，按照每分鐘為采樣節點收集10 000組樣本作為實驗數據，并按照6∶2∶2分為訓練集、驗證集和測試集。在此工業背景下，將ESN、Multilayer Perceptron（MLP）、Dual-MLP和所提出Dual-ESN完成對比實驗，以驗證模型有效性。

3.1 實驗環境和評價指標設置

實驗是在一臺配備英特爾i7-7700中央處理器（3.50 GHz）和8.0 GB內存的個人電腦上進行的。Dual-ESN和其他神經網絡算法都是基于Python 3.6.4和Keras環境下所搭建的。

通過2個常用于評估時序預測的指標，即均方根誤差RMSE（root mean square error）和平均絕對誤差MAE（mean absolute error），對機組負荷預測模型進行分析。兩誤差表示為

式中：yi為機組負荷實際輸出值；為模型預測值；n為數據個數。在輸入數據相同的情況下，對每個模型進行20次測試，取其平均值作為最終的預測誤差。

3.2 時間序列趨勢提取

首先依據灰關聯算法得到所涉及變量的關聯影響程度，相應的關聯度熱力分析如圖6所示。

圖6 主要過程變量之間的灰色關聯分析Fig.6 Grey correlation analysis between main process variables

從中可以清晰地看出，機組負荷（UL50）分別與機前壓力（P501）、凝結水流量（F501）、鍋爐給水流量（F502）產生的灰關聯度都在0.9以上，交互關系更為緊密。選擇上述3個變量與機組負荷本身的歷史數據作為神經網絡模型的輸入，執行符合實際需求的機組負荷短期預測。進一步，引入最小二乘算法對4個輸入變量的歷史時間序列進行趨勢提取，結果如圖7所示。

圖7 過程變量的趨勢序列辨識Fig.7 Trend sequence identification of process variables

設定固定的時間跨度，可以得到關于斜率的時間序列，可以從圖7中的趨勢走向推斷下一時刻的工況狀態，為精確地負荷預測提供了過程信息支持。此外，每一個線性段的趨勢可以視作更多采樣時間點的共生的潛在特征，如果在底層框架輸入于預測模型，可以在不增加計算負擔的情況下，提升Dual-ESN對于數據知識獲取的感知范圍。

3.3 實驗對比

憑借Dual-ESN在訓練集和驗證集的表現，根據經驗試錯法選擇網絡的超參數，其中2個儲備池規模都設置為300，權值矩陣Win在（-0.5，0.5）上隨機分布采樣，Wres的譜半徑設為0.86。

選取機組不同運行時間內的機組負荷數據，以30個采樣點為一組測試集，對比ESN和Dual-ESN在機組負荷測試集上的預測分布和殘差估計。圖8和圖9分別展示了不同運行時間內的負荷預測分布和殘差結果。從中可以明顯地看出，Dual-ESN在多個時間階段中都具有優越性。為了全面地分析趨勢嵌入對預測性能的提升，額外補充了MLP和Dual-MLP的對比實驗。其中，Dual-MLP為2個并行的前饋網絡模型，同Dual-ESN類似，分別嵌入趨勢和數值信息于終端進行特征融合。

圖8 ESN和Dual-ESN對于機組負荷的預測結果Fig.8 Prediction results of unit load by ESN and Dual-ESN

圖9 ESN和Dual-ESN對于機組負荷的預測殘差Fig.9 ESN and Dual-ESN prediction residuals for unit load

表2給出了所有模型的RMSE和MAE指標情況和訓練時間。MLP利用了迭代學習的BP算法，但其靜態的結構使得計算花銷很低，和非迭代學習的ESN模型差距較小，相應的訓練時間為30.6 s和21.2 s。根據RMSE指標分析，由于MLP無法利用時間序列“順序”的重要信息，因此和ESN模型有的性能較大差距，結果分別為12.483 MW和7.832 MW，這對于工業的實際判斷性操作參考的影響是非常巨大的。此外，值得注意的是，趨勢信息的并行輸入對于MLP網絡同樣有性能提升，在表2中，傳統ESN的相應誤差指標為7.832 MW和6.571 MW，相較于Dual-MLP的誤差9.584 MW和7.562 MW，展現了一定的優勢。在一定程度上可以說明，所提出的理論在不斷更新的深度學習模型中具備推廣意義，但是要注意各自模型的缺陷，以免限制了底層數據質量的利用。Dual-ESN模型相應的誤差為5.957 MW和4.624 MW，具有全面的性能優勢。在另一方面，Dual-ESN的相對的訓練時間只有27.8 s，相對于Dual-MLP的44.5 s有明顯的區分，這一差距在多層網絡中還會加深。因此，在Dual-ESN預測模型對復雜工業特征保持較高的學習速率同時，實現了機組負荷的精確預測。

表2 不同模型對于機組負荷的預測精度Tab.2 Prediction accuracy of different models for unit load

4 結語

本文提出了一種融合時間序列趨勢的Dual-ESN機組負荷預測模型。通過太原某工廠實例數據證明了所提出的模型具有如下優勢：

（1）引入了最小二乘法對于影響機組負荷的多元時間序列進行趨勢識別，充分提取了相關因素的潛在特征，獲得了相應的過程趨勢信息；

（2）通過嵌入多元趨勢和原有數值信息，建立了完備的Dual-ESN模型，利用了預測目標對于當前趨勢的依賴關系，實現了更高質量的特征傳遞；

（3）與傳統的ESN、MLP以及擬定的Dual-MLP機組負荷預測模型相比，本文所提方法進行了趨勢信息填充，能提供更長（寬）的歷史數據信息，因而可以感知更寬廣的歷史視野，預測性能更為卓越。