基于大容量樣本挖掘及貝葉斯堆棧泛化集成算法的電站鍋爐NOx穩態建模

朱宇坤，喻 聰，張梯華，劉紅嬌，司風琪

（1.江漢大學智能制造學院，湖北 武漢 430056；2.東南大學能源熱轉換及其過程測控教育部重點實驗室，江蘇 南京 210096）

“十四五”規劃及2035遠景目標指出[1]，推進能源革命，構建清潔、低碳、安全、高效的能源體系是新時代的必由之路。在電力系統中，火電機組具備調峰調壓的能力，是較為穩定的能源供應方式，但其也存在高污染的問題。因此，控制燃煤電站鍋爐氮氧化物（NOx）等污染物的排放量尤為重要。這就需要建立準確的預測模型，對爐內燃燒方式進行優化控制。

目前爐內燃燒生成NOx質量濃度的預測方法大致分為機理建模和數據驅動建模2種。機理建模主要是采用計算流體力學方法建立鍋爐燃燒及換熱過程的數值模型，這種方法能夠獲得爐內流場、化學氛圍、溫度等信息的分布特征，從而分析燃燒調整方式與污染物生成量的內在關系[2-4]。然而，大型電站鍋爐的數值模型往往會基于一些理想的假設條件建立，爐內積灰、結渣、管內氧化膜的分布和變化等實際環境中的復雜因素無法全面考慮。此外，機理建模方法需要迭代求解大量偏微分方程，計算耗時較長[5]，這也限制了數值模型在現場實時燃燒優化過程中的應用。

隨著計算機的快速發展，大量工業運行數據的收集和保存促進了數據驅動模型的發展。數據驅動模型能直接從運行數據中學習參數間的關系，擬合能力強，且模型訓練完成后，一般具有較快的預測速度。Zhou[6]、Zheng[7]、劉延泉等[8]分別利用人工神經網絡、支持向量機和最小二乘支持向量機建立了NOx的排放特性模型，并結合智能算法優化了模型的超參數。這些模型均能取得較好的預測效果，但模型多是基于試驗數據建立，樣本數量有限，而電站鍋爐的建模是涉及多變量的高維問題，這會使模型在某些遠離試驗工況的空間中沒有足夠的訓練樣本，從而使泛化能力降低。筆者曾將試驗數據中得到的先驗知識融入NOx的數據驅動建模中[9]，但模型學習的依然只是試驗數據中的知識。周昊等[10]也指出采用人工選擇的小樣本建模可能造成模型泛化能力的下降及有用信息的丟失。

近年來，學者們逐步開始研究基于歷史運行數據的電站鍋爐大容量樣本建模方法。Tan等人[11]利用長短時記憶（long short-term memory，LSTM）神經網絡建立了NOx的預測模型，并通過調節學習率和隱藏節點數等超參數優化了模型的性能。唐振浩等[12]采用融合誤差校正的極限學習機建立NOx質量濃度動態預測模型。Wang等人[13]在LSTM模型中加入注意力機制，并采用網格搜索和Adam算法確定了模型最優的超參數，對NOx質量濃度進行了預測。劉菡等[14]基于互信息-圖卷積神經網絡建立了燃煤電站NOx排放質量濃度的預測模型，這些時序預測模型能在鍋爐動態變化的過程中，實時準確地預測當前及未來某時刻的NOx質量濃度，可應用于電站煙氣在線監測系統（con-tinuous emission monitoring system，CEMS）測點的故障診斷，但模型的重點不是描述鍋爐調節變量和NOx質量濃度的靜態關系。

本文以某660 MW機組燃煤電站鍋爐72 000條歷史運行數據為樣本，提出了適用于燃燒優化調整的NOx靜態特性模型。首先利用孤立森林算法和R-Values檢驗算法處理離群點及非穩態數據，獲得高質量的穩態樣本集；在此基礎上，采用遞歸特征消除法對影響生成NOx的關鍵變量進行特征選擇，進而考慮單一模型的局限性，提出了以支持向量機、極端隨機樹、梯度上升樹為基模型，以線性回歸為二級模型，以堆疊策略為集成方法，以貝葉斯優化為尋優算法的NOx預測模型。

1 算法簡介

1.1 模型框架

圖1為本文提出的NOx靜態預測模型框架，該模型主要步驟如下。

步驟1 大容量樣本挖掘。從電站廠級監控信息系統（supervisory information system，SIS）中獲得歷史運行數據。采用R-Value檢驗法[15]為每個數據標記穩態標簽（0為穩態數據，1為非穩態數據），采用孤立森林[16]（isolation forest，IForest）算法為每個數據標記離群點標簽（0為非離群點，1為離群點），為每個數據標記停滯點標簽（0為數值正常變化的數據，1為因傳輸故障而停滯不變的數據）。對于每條樣本，若樣本中每個維度的數據的穩態標簽、離群點標簽、停滯點標簽均為0，則這條樣本為正常穩態樣本，存入穩態樣本庫，反之剔除，最終得到蘊含系統穩態信息的高質量穩態樣本庫。

步驟2 特征選擇。考慮到特征提取算法是從原始特征中創建無實際物理意義的新特征，難以直接用于鍋爐可調變量的燃燒優化調整。本文采用隨機森林遞歸特征消除（random forest-recursive feature elimination，RF-RFE）算法[17]對步驟1得到的高質量穩態樣本庫進行特征選擇，并經過歸一化處理得到模型的訓練集和測試集。

步驟3 基模型的訓練及超參數優化。電站鍋爐NOx質量濃度的預測是高維、非線性的回歸問題，訓練時容易過擬合。考慮到支持向量回歸機（support vector regression，SVR）具有較好的泛化能力，極端隨機樹（extremely randomized trees，ET）算法[18]能夠針對特征隨機的分裂行為避免模型的訓練陷入局部最優，梯度上升樹（gradient boosting decision tree，GBDT）算法[19]能夠發現特征間的高階關系，選擇這3個模型作為集成學習的基模型。在此基礎上，確定各個基模型中參數優化的范圍及優化算法的終止條件，并利用貝葉斯優化（Bayesian optimization，BO）算法[20]搜索基模型的最優超參數。

步驟4 基模型的集成及二級模型的訓練。為進一步增強模型泛化能力，采用堆棧泛化集成學習模型（stacking generalization ensemble model，SGEM）[21]對3個基模型的預測結果進行融合，并采用線性回歸（linear regression，LR）作為二級模型完成對NOx質量濃度的預測。

1.2 基于R-Value的穩態診斷

R-Value檢驗算法因其流程簡單、精度良好而被廣泛應用于工業過程數據的穩態判定。對于某個時刻的數據Xf,i，通過計算和構建穩態判定的檢驗指標R，計算公式為：

式中：λ1、λ2、λ3的值分別為0.2、0.1、0.1。

1.3 基于IForest算法的異常點診斷

IForest算法是由大量孤立樹（isolation tree，iTree）構成，它是利用群體表決的方法進行離群點的判定。算法主要包括2個部分：第1部分是生成樹，建立孤立森林；第2部分是對被檢測的樣本計算異常分值。

1）建立孤立森林

步驟1 從訓練數據中隨機選擇ψ個樣本作為樣本子集，然后放入該樹的根節點。

步驟2 隨機指定一個特征，在此節點的數據中隨機產生一個切割點p，該切割點必須位于所選擇特征中所有數據最大值和最小值之間。

步驟3 通過該切割點延展成一個超平面，然后將當前節點的數據空間分割成2個子空間。在所指定的特征中，將數值小于p的數據放在當前節點左邊，大于p的數據放在當前節點右邊。

步驟4 通過不斷遞歸步驟3和步驟4，直到滿足其中一個終止條件：1）各子空間數據不可分；2）iTree樹的深度已達到了log2ψ。

2）計算異常得分

獲得由n棵iTree組成的孤立森林后，利用IForest評估測試數據，即遍歷每棵iTree，獲得樣本在每棵樹的深度，然后計算出該數據點在森林中的平均深度，最后將平均深度進行相應的數據變換就可以得到該數據點所對應的分數。異常得分與深度相關，深度越大，異常得分越小，反之亦然。計算異常得分的公式為：

式中：h(x)表示被檢測樣本在iTree中節點所處的深度；E[·]表示取平均值；c(ψ)表示ψ個樣本點所構建的二叉樹的平均路徑長度；h(k)=ln(k)+ζ，ζ為歐拉常數；s(x)得分越靠近1，數據異常的可能性越高；s(x)得分越靠近0，數據正常的可能性越高。

1.4 基于RF-RFE的特征選擇

RF-RFE算法是首先構建隨機森林回歸模型，計算每個特征的重要性并排序，再引入基于后向迭代的特征評價標準，刪除重要性較小的特征，繼而重復上述操作，直到特征只剩下1個，最后根據均方誤差的大小選擇最優的特征組合。

1.5 基于BO-SGEM的NOx預測

利用貝葉斯優化算法對SVR、ET、GBDT 3個基模型進行調參，再利用SGEM融合基模型預測結果，最后以線性回歸為二級模型對NOx質量濃度進行預測。

1.5.1 SVR

SVR模型可定義為：

式中：w為權重；b為截距；?(x)為將樣本映射到高維空間的映射函數。

為了求解w和b，引入松弛變量iξ、*iξ和懲罰系數C，得到模型的訓練問題：

將式(8)轉變為其對偶優化問題：

式中：αi和均為拉格朗日乘子；K(xj,xi)為核函數。

求解式(9)，得到SVR的回歸函數：

1.5.2 ET

ET算法是隨機森林算法的一個變種。相較于隨機森林，ET算法是隨機選取原始訓練集的子集作為訓練集，并根據基尼系數等指標選擇最好的特征進行劃分，ET算法中每棵決策樹都采用原始訓練集訓練，而在劃分特征時隨機選擇1個特征來劃分決策樹。由于ET算法不是選取最優特征進行分裂，ET算法中樹的規模比隨機森林更大，但模型的方差更小，在某些時候的泛化能力比隨機森林要好。

1.5.3 GBDT

GBDT的算法流程如下：

步驟1 假設模型訓練的樣本集合T為：T={(x1,y1), (x2,y2), … , (xn,yn)},xi∈X?Rn,yi∈Y?R。

初始化弱學習器：

式中：L為損失函數；n為樣本總數。

步驟2 開始最大次數為N的迭代求解。首先計算當前損失函數的負梯度，并以此作為樣本殘差的近似值：

步驟3 將步驟2所計算的殘差作為新的數據，擬合1棵回歸樹，得到與之對應的葉子節點的集合為Rjt，j=1, 2, 3 ,…,J。

步驟4 對每個葉子區域j=1, 2, 3 ,…,J，求極小化的損失函數：

步驟5 利用前一模型的預測結果更新當前模型的預測結果：

步驟6 完成迭代，得到最終GBDT模型：

1.5.4 SGEM

SGEM的訓練過程如圖1所示，步驟如下。

步驟1 首先將原始數據集劃分為訓練集（train）和測試集（test）。再采用K折交叉驗證法將訓練集分為K份，本文K=5，故將訓練集分為5個子集，分別記為TD1、TD2、TD3、TD4和TD5。

步驟2 將TD1—TD5中的任意4組作為訓練數據，剩余1組作為測試數據，對每種基模型分別訓練5次。對于一種基模型，利用5次訓練得到的模型分別對5組測試數據和1組測試集進行預測，分別得到Pre1、Pre2、Pre3、Pre4、Pre5和P1、P2、P3、P4、P5。

步驟3 將每種基模型預測得到的Pre1、Pre2、Pre3、Pre4、Pre5堆疊在一起，組成新的訓練集。將每種基模型預測得到的P1、P2、P3、P4、P5分別取平均，得到各自的Pre6，堆疊在一起作為新的測試集。

步驟4 以新的訓練集和新的測試集為樣本，以線性回歸為二級模型，建立NOx的預測模型。

1.5.5 BO

BO是一種近似逼近的方法，在全局優化方面效果較好。它是基于貝葉斯公式(16)對目標函數f進行評估，找到一個能使全局提升最大的下一個參數組合結果，從而快速逼近最優解，找到最佳的超參數組合。其計算公式為：

式中：f為目標函數；D為已觀測的集合D={(x1,y1),(x2,y2), …, (xt,yt)}；xt為決策變量；yt=f(xt)+ζt為觀測值；ζt為觀測誤差；p(f|D)為f的后驗概率分布；p(f)為f為的先驗概率分布，即對未知目標函數狀態的假設；p(D|f)為f的邊際似然分布。

2 NOx靜態預測模型的建立

2.1 數據預處理

選擇某660 MW機組四角切圓燃煤電站鍋爐的72 000個歷史運行數據為分析樣本，采樣間隔為30 s。其中機組負荷的變化范圍為330～660 MW，涵蓋了負荷上升、下降、穩定等各種工況范圍，具有很強的隨機性和代表性。

基于R-Value法計算每條樣本的穩態因子，通過對比不同穩態閾值的合理性，得到每條樣本的穩態標簽。在此基礎上，計算每條樣本的停滯點標簽及離群點標簽。通過標簽剔除非穩態樣本、離群點樣本、停滯點樣本后，剩余6 985條高質量穩態樣本作為NOx預測的樣本集。隨機選擇樣本集中70%的樣本（4 889條）作為訓練集，其余30%（2 096條）作為測試集。

采用式(17)對各維變量進行歸一化，消除不同變量量綱之間的差別對建模的影響：

式中：x為原始數據；xn為歸一化后的數據；xmax和xmin分別為原始數據的最大值和最小值。

2.2 NOx的預測

鍋爐的設計、運行調整和燃用煤種對NOx的生成有很大影響。對于設計參數已經固定的鍋爐，運行方式和燃煤特性是影響NOx生成的重要因素。電站大多數燃煤根據期望的要求混合良好，其特性在一段時間內保持大致穩定，本文鍋爐長期使用淮南煙煤，煤質成分和熱值變化不大。此外，燃煤特性可以通過運行參數反映。因此，本文排除燃煤特性的影響而只關注運行參數。以選擇性催化還原（selective catalytic reduction,SCR）脫硝反應器A、B入口平均NOx質量濃度作為預測目標，以機組負荷、總煤量、一次風壓、總風量、氧量、給水流量、SOFA風門擺角、5層SOFA風門開度、2層CCOFA風門開度、18層一、二次風門開度作為影響NOx質量濃度的32個初始變量。

3 結果及分析

3.1 數據預處理

3.1.1 穩態判定

圖2為采用R-Value算法對氧體積分數和總風量在一段連續時間內的數據進行穩態判定的結果。

圖2 基于R-Value算法的穩態判定結果Fig.2 The steady-state determination result based on RValue algorithm

由圖2可見，該算法基本能將數據中平穩段識別出。剔除非穩態數據后，數據由72 000條變為8 218條。

3.1.2 離群點剔除

圖3對比了LOF[22]、OCSVM[23]、ABOD[24]、KNN[25]、IForest[15]、HBOS[26]、MCD[27]、PCA[28]和Feature Bagging[29]9種算法在相同數據集下識別離群點的結果。由圖3可知，OCSVM、KNN、IForest、HBOD和MCD對模型邊界識別較好，其中IForest和HBOS誤分類個數為0。然而，HBOS對于小樣本容量和較少特征參量的情況預測效果更好，隨著數據量和數據維度的增大，IForest的優勢更為明顯，不僅識別速度快，識別精度也更高。考慮到本文是大容量樣本、高維度的建模問題，因此選用IForest算法進行離群點診斷。剔除非穩態數據后，繼續剔除離群點和停滯點共1 235條，最終得到高質量穩態樣本6 985條。

圖3 9種算法識別離群點結果Fig.3 The outlier point identification results using nine algorithms

3.1.3 特征選擇

32維與NOx質量濃度相關的輸入變量間包含大量冗余、共線和重疊的信息。利用所有變量建模不僅耗時，同時噪音和無用信息也會影響模型精度和魯棒性。為了得到能反映絕大部分信息的特征，本文采用RF-RFE進行特征選擇，代入經非穩態值和異常值剔除后的6 985條樣本，得到不同特征個數下的交叉驗證得分，結果如圖4所示。

圖4 選擇特征數與交叉驗證準確性的關系Fig.4 Relationship between the number of selected features and the accuracy of cross-validation

由圖4可見，當選擇特征數為22時，得分最低，效果最好，因此最終選擇機組負荷、一次風壓、給水流量、氧量、SOFA-I開度、SOFA-II開度、SOFA風擺角、CCOFA-I開度、CCOFA-II開度、AA開度、AB開度、CD開度、BC開度、C開度、D開度、DE開度、E開度、BI/BII開度、AI/AII開度、EI/EII開度、F開度、FI/FII開度22個變量作為NOx預測模型的輸入參數。機組負荷和煤量存在相關性，煤量和風量的比例又能決定氧量。經RF-RFE特征選擇后，存在重疊關系的這2個變量被約簡為機組負荷和氧量2個變量，這也證明了該算法的合理性。

3.2 預測結果分析

得到6 985條高質量穩態樣本及確定模型22維輸入特征后，采用BO對SGEM 3個基模型SVR、ET和GBDT的參數進行尋優，最大迭代次數均設置為500，圖5、圖6、圖7分別為SVR、ET和GBDT算法的超參數迭代過程。其中BO算法尋優的目標值為均方根誤差，該值越小越好。由圖5可知，當SVR算法超參數C在1～1 000、gamma在0.001～1時，目標值達到最小。由圖6可知，當ET算法的超參數min_samples_leaf在0附近時，目標值明顯收斂到最小，而max_depth和n_estimators在各個數值范圍均能使目標值達到最小，說明這2個參數對本文所建ET模型的精度影響不大。由圖7可知，當GBDT算法中的超參數max_depth在0～100、n_estimators在200～300、min_samples_leaf在200～400時，目標值收斂到最小，說明GBDT模型3個超參數的取值均對模型的精度有著重要影響。

圖5 SVR算法的超參數迭代過程Fig.5 The hyper parametric iterative graphs for SVR algorithm

圖6 ET算法的超參數迭代過程Fig.6 The hyper parametric iterative graphs for ET algorithm

圖7 GBDT算法的超參數迭代過程Fig.7 The hyper parametric iterative graphs for GBDT algorithm

尋優得到的基模型最優超參數見表1。為了進一步驗證BO算法的效果，將經過貝葉斯優化后的模型參數代入SGEM模型，并與未調參的SGEM模型進行比較，結果見表2。

表1 BO-SGEM模型參數Tab.1 Parameters of the BO-SGEM model

表2 BO-SGEM與SGEM模型比較Tab.2 Comparison between the BO-SGEM model and the SGEM model

由表2可知，BO-SGEM模型在訓練集的R2和δMAE分別為0.963和2.995，優于SGEM模型在訓練集上的δMAE（0.958）和R2（3.265）。測試集上BO-SGEM模型的R2和δMAE也比SGEM模型好。因此，經過BO模型參數尋優后，SGEM模型的性能變優。

為了分析SGEM算法的效果，本文對比SGEM集成模型和SVR、ET、GBDT模型對相同數據集的預測結果。圖8給出了SGEM集成模型和基模型對測試集NOx質量濃度預測結果。由圖8可知，從整體來看，4種模型的預測趨勢對測量值的變化趨勢均跟蹤較好，SGEM模型的預測結果與真實值更加接近，其變化趨勢也更符合真實情況。同時，SGEM模型的性能更為穩定，GBDT模型在這2個區間出現了波動，在某些區域與真實值相差過大。由于測試集包含了機組負荷在330～660 MW的不同工況，SGEM模型預測結果均較好，可認為SGEM模型能有效處理復雜變化環境中的NOx預測問題。

圖8 SGEM和基模型對測試集NOx質量濃度預測結果Fig.8 The predicted results of testing sets NOx mass concentration by SGEM and base models

圖9為4個模型的誤差分析結果。由圖9a)可知，4種模型的相對誤差均近似呈現以0為均值的正態分布。相較于ET和SGEM模型，SVR和GBDT模型預測結果偏離真實值的點明顯更多。而相較于其他3個算法，GBDT模型的相對誤差大于5的頻率最高。

圖9 4種模型相對誤差分布和實際、預測的NOx質量濃度比較Fig.9 The relative error distribution diagram of four models and the actual and predicted values of NOx mass concentration

SVR、ET和SGEM模型相對誤差小于5的頻率分別為0.750、0.687和0.765，且相對誤差小于3的頻率分別為0.524、0.481和0.529，結果表現出SGEM模型最優，SVR模型次之，兩者均優于ET模型。綜上所述，SGEM模型的性能優于SVR、ET和GBDT模型。

4 結 論

1）提出了基于大容量樣本挖掘及貝葉斯集成算法的NOx靜態預測模型，并以660 MW機組四角切圓燃煤鍋爐為對象對該模型進行了驗證。

2）基于R-Value和IForest算法計算樣本非穩態點標簽、離群點標簽、停滯點標簽，從海量、混雜歷史運行數據中提取了高質量穩態樣本。

3）采用RF-RFE算法將32維輸入特征約簡成22維，降維結果與鍋爐燃燒機理知識吻合。

4）通過堆棧泛化集成思想將SVR、ET和GBDT模型3個單體泛化能力較強的基模型融合，并采用BO算法進一步提高了基模型的精度和泛化能力。所建BO-SGEM模型的泛化能力和魯棒性優于SGEM、SVR、ET、GBDT模型，能夠有效預測鍋爐復雜變化環境中的NOx生成量。