基于BWOA-GAM-BiGRU的火電廠SCR系統出口NOx排放預測

馬永光，郭浩宇

（華北電力大學 自動化系，河北 保定 071003）

0 引言

燃煤電廠是氮氧化物（NOx）等大氣污染物的重要排放源之一。在燃煤電廠生產過程中，目前廣泛使用選擇性催化還原（Selective catalytic reduction，SCR）方法來降低 NOx的排放。SCR反應過程具有大延遲、大慣性、非線性特點，且NOx濃度測量設備也存在一定的時間延遲；這導致噴氨量無法迅速調整以匹配NOx濃度變化[1]。

因涉及復雜的內部機理過程，使用傳統的機理分析建模方法很難建立一個準確的模型來描述對象間的非線性關系。隨著數據驅動建模與人工智能方法的成熟，越來越多的研究者將解決該問題的思路轉向智能建模領域[2]。

文獻[3]設計了基于彈性網絡（Elastic net）與最小二乘支持向量機（Least squares support vector machine，LSSVM）的SCR出口NOx預測模型，用Elastic net對特征變量進行選擇，用LSSVM進行預測。相比傳統LSSVM，該模型預測誤差減少8.45%，但測試集的均方根誤差（Root mean square error，RMSE）仍高達 7.555 8；所以，模型預測精度有待進一步提高。

文獻[4]使用深度循環神經網絡（Deep recurrent neural network，DRNN）結合長短期記憶（Long short-term memory，LSTM）的 DRNNLSTM模型預測SCR出口NOx排放量。所建立的模型雖然取得了較高的預測精度，但是該模型只能利用序列數據單一方向的信息，且未考慮特征變量的時延特性。

文獻[5]提出了一種含有多層結構的深度雙向LSTM 模型。相較其他模型，該模型預測誤差下降了5%，模型泛化能力好；但該模型結構較為復雜，同樣未考慮特征變量的時延特性。

注意力機制（Attention mechanism，AM）[6]通過對模型的輸入特征賦予不同的權重的方法來突出關鍵影響因素[7]，進而輔助模型做出準確的判斷。

文獻[8]針對航空發動機剩余壽命預測，使用了基于特征注意力機制并融合生成對抗網絡（Generative adversarial network，GAN）與門控循環單元（Gated recurrent unit，GRU）網絡的混合模型，得到了比傳統模型更高的預測精度。

文獻[9]建立了一種結合時序注意力機制與LSTM 的混合預測模型 AM-LSTM。所建立的模型預測精度高，泛化能力強。

文獻[10]使用含有特征注意力和時序注意力的雙注意力機制，并結合GRU網絡，對電力短期負荷進行預測。與其他多種模型對比結果表明，所提出的模型預測精度最高。

雖然注意力機制在文本處理、機器翻譯、負荷預測等諸多領域取得了廣泛應用，但是其應用于火電生產領域的相關研究較少。另外，在上述研究中，幾乎所有深度神經網絡模型最優超參數都是靠經驗手動設置的，所以模型具有很強的主觀性，未能實現模型性能最大化。

針對以上問題，結合SCR出口NOx排放預測，本文提出一種基于數據驅動且充分考慮變量時延特性的、結合了全局注意力機制（Global attention mechanism，GAM）與雙向門控循環單元（Bidirectional gated recurrent unit，BiGRU）深度神經網絡的模型：充分利用BiGRU可以深度挖掘數據序列前后2個方向的時間依賴特性能力，以及 GAM 可以自動分配神經元隱藏狀態輸出權重的優勢，突出重要信息的影響作用，從而提高模型預測精度；采用正則化技術（Dropout）與Adam結合的優化算法來提高模型收斂速度并防止過擬合；使用黑寡婦優化算法（Black widow optimization algorithm，BWOA）對超參數進行自動尋優，以克服網絡超參數依靠個人經驗手動調整帶來的不利影響，最大程度發揮模型的性能，提高預測精度。

1 模型原理

1.1 GRU網絡

GRU是LSTM的一種簡化結構，是一種專門用來處理時間序列的循環神經網絡（Recurrent neural network，RNN）。GRU內部只有更新門和重置門 2個門結構，在保持了 LSTM效果的同時，又具有比 LSTM 有更少的參數和更好的收斂性的優勢[11]。GRU網絡神經元細胞結構如圖1所示。

圖1 GRU神經元結構圖Fig. 1 Neuron structure diagram of GRU

GRU網絡具體計算過程如下：

式中：xt為當前時刻輸入；ht–1為神經元上一時刻隱狀態；rt和zt分別為當前時刻重置門和更新門的輸出；W為權重矩陣；b為偏置項矩陣；為神經元當前時刻候選隱狀態；ht為當前時刻最終狀態輸出；“?”表示矩陣對應元素相乘；tanh和sigmoid為激活函數。

1.2 BiGRU網絡

BiGRU對傳統GRU網絡進行了改進。BiGRU由2層方向相反的GRU網絡組成，可以獲取序列數據前后2個方向的信息。BiGRU網絡結構如圖2所示。

圖2 BiGRU結構圖Fig. 2 Structure diagram of BiGRU

1.3 GAM

與 Bahdanau注意力機制相比，GAM[12]的結構設計更加合理，其評分函數也進行了擴展：在經典編碼器–解碼器（Encoder-decoder）結構基礎上構造一個注意力層（Attention layer），通過計算神經元歷史隱藏狀態與當前時刻隱藏狀態之間的關聯程度，將更多的注意權重分配到關聯程度大的部分，從而實現對數據特征的自適應關注。

GAM計算過程如下：

式中：ats為歷史時刻（s時刻）神經元輸出隱狀態對當前時刻（t時刻）輸出的注意力權重；score為評分函數；是神經元歷史輸出隱狀態；ht是神經元當前時刻輸出隱狀態；ct是中間變量；是經注意力加權計算后的神經元當前時刻最終輸出。

1.4 黑寡婦優化算法

BWOA[13]模擬了黑寡婦蜘蛛的繁殖行為。相比于其他優化算法，該算法在尋找全局最優解時收斂速度更快、精度更高。BWOA計算步驟為：

（1）初始化。確定黑寡婦蜘蛛（均為雌性蜘蛛）種群數量、最大迭代次數，確定每只黑寡婦蜘蛛代表的待優化參數數量及范圍，確定適應度函數。

（2）位置更新。根據適應度函數值確定當前最優黑寡婦蜘蛛位置，之后進行位置更新。黑寡婦蜘蛛在網格內按照線性和螺旋2種方式進行運動，位置更新如（9）式所示。

式中：Xi(t+ 1 )為更新后的黑寡婦蜘蛛位置；Xbest為當前最優黑寡婦位置；m為[0.4,0.9]區間的隨機數；β為[–1,1]區間的隨機數；rand為[0,1]區間的隨機數；Xr1(t)為隨機選擇的種群內第r1個黑寡婦的位置；Xi(t)為當前黑寡婦蜘蛛位置。

（3）計算信息素。如式（10）所示。信息素在蜘蛛的求偶過程中起著非常重要的作用。當信息素值等于或小于0.3時，代表該雌性黑寡婦蜘蛛是饑餓的蜘蛛（雌性蜘蛛會吃掉雄性蜘蛛）。求偶過程中它將不會被雄性選中，但將被另一個雌性蜘蛛取代。按式（11）更新此時黑寡婦蜘蛛位置。

式中：ph(i)為第i個黑寡婦蜘蛛信息素；fitmax和fitmin分別為最優和最差適應度函數值；fit(i)為第i個黑寡婦蜘蛛適應度值；Xi(t)為低信息素值黑寡婦蜘蛛的位置；r1和r2為種群數量內的隨機數(r1≠r2)；Xr1和Xr2分別為第r1和r2個黑寡婦位置；σ為隨機二進制數，為0或1。

（4）重新評估適應度函數值，并更新最優黑寡婦的位置及最優適應度函數值。

（5）重復步驟（2）—（4），進行迭代運算，直到滿足停止條件（達到最大迭代次數或允許誤差），輸出最優黑寡婦位置和最優適應度函數值。

2 數據預處理與變量篩選

原始數據取自某2×300 MW火電廠分散控制系統（Distributed control system，DCS）連續7 d的運行歷史數據，涵蓋高、中、低負荷范圍。數據樣本共10 080條，采樣間隔1 min。

2.1 數據清洗

數據驅動建模對數據精度十分敏感，對數據品質有較高的要求。建模之前首先對數據進行清洗，以消除其對模型精度的影響。

對于離群值，本文使用箱線圖（Box-whisker plot）方法進行篩選，然后使用均值填充法對異常值進行修正。箱線圖結構如圖3所示。

圖3 箱線圖結構Fig. 3 Structure diagram of box-whisker plot

根據圖3，箱線圖法計算步驟如下：

（1）計算上四分位數（Q3）、中位數、下四分位數（Q1）。

（2）計算四分位距（Interquartile range，IQR），即：IQR=Q3–Q1。

（3）介于Q1–3IQR與Q3+3IQR之間的數為可接受數值，范圍之外的數據劃為離群值。

以SCR出口NOx濃度為例，經箱線圖法篩選后，離群值分布情況如圖4所示。

圖4 SCR出口NOx濃度離群值分布Fig. 4 Distribution of NOxconcentration outliers at SCR outlet

本文采用小波半軟閾值去噪算法，解決硬閾值去噪帶來的信號局部抖動以及軟閾值去噪峰值信噪比低的問題。

去噪過程為：首先對原始信號進行小波多尺度分解，得到各尺度系數；對得到的小波系數進行閾值處理；經小波逆變換重構，得到平滑且誤差小的信號。

本文采用Mallat算法，以db3小波作為母波，對原始信號進行3層分解，得到1個近似分量和3個細節分量。半軟閾值函數f(x)及閾值λ選擇為：

式中：N為信號長度。

3種去噪方法的NOx測量信號信噪比（Signalto-noise ratio，SNR）對比結果如表1所示。

表1 SNR對比Tab. 1 SNR comparison

由表1可以看出，使用半軟閾值去噪后的SNR值最大，去噪效果最好。

NOx測量信號去噪前后時域波形對比如圖5所示。

圖5 NOx測量信號去噪前后對比Fig. 5 Comparison of NOxmeasurement signal before and after denoising

各個變量量綱的不同，在去除異常值和噪聲后，還要對數據進行標準化處理，將其轉化為無量綱的表達式。

本文使用Z-Score方法對數據進行標準化。

式中：μ為數據樣本均值；σ為標準差；x為原數據；x′為標準化數據。

2.2 變量篩選與延遲時間估計

在對原始數據進行處理后，通過對SCR系統運行機理分析并結合現場人員的實際經驗，共找出7個影響SCR出口NOx排放量的主要因素，將其作為模型輸入變量。

另外，由于SCR催化還原反應過程緩慢，且各個輸入特征變量的測量和NOx測量值之間存在不同的時間延遲，所以DCS記錄的同一時刻運行數據中的各相關參數之間未形成準確對應關系[14]。因此，建模之前還需要校準輸入變量與輸出 NOx之間的時間延遲。

基于信息熵理論，利用互信息（Mutual information，MI）可找出2個隨機變量之間的關聯程度。離散隨機變量X與Y之間的互信息為：

式中：p(x,y)為X與Y的聯合概率分布；p(x)，p(y)分別為X與Y的邊緣概率分布。

設輸入變量矩陣為X(t)，有：

式中：n為X(t)維度，即變量個數。

令 SCR系統出口 NOx排放量為輸出Y(t)，τi∈[τmin, τmax]為變量Xi(t)與Y(t)之間的時間遲延，i∈(1,n)，則X(t)可以重構為：

式中第i個變量xi(t)重構為：

根據 SCR系統實際運行情況，變量延遲時間范圍一般在 0～5min之間。考慮采樣周期為 1 min，因此選擇τmin=0 min，τmax=5 min。為了求出每個輸入變量X(t)的最佳延遲時間，計算過程為：

（1）分別計算式（19）中等號右側矩陣每一列與輸出Y(t)之間的互信息值，其中互信息值最大的那一列對應的τ就是該變量的延遲時間估計。

（2）重復步驟（1）得到所有變量的延遲時間。

輸入變量的延遲時間計算如表2所示。

表2 變量延遲時間估計Tab. 2 Estimation of variable delay time

在得到各輸入變量的時間延遲后，對原始數據序列進行重構，實現輸入變量與輸出NOx之間在時間維度上的對齊。

為了進一步提高模型預測的準確性，考慮到數據序列的時間依賴特性，在所選7個變量歷史時刻數據的基礎上，又加入了SCR出口NOx排放量歷史時刻數據。以這8個變量的歷史時刻數據形成模型最終輸入，輸出為未來時刻（未來1個采樣間隔）SCR出口NOx排放量。

3 模型構建

3.1 BWOA-GAM-BiGRU模型結構

BWOA-GAM-BiGRU模型結構如圖6所示。參數優化與預測輸出具體步驟為：

圖6 BWOA-GAM-BiGRU結構圖Fig. 6 Structure diagram of BWOA-BiGRU

步驟1：初始化黑寡婦種群數量，最大迭代次數；設定網絡學習率l、隱層神經元數量k、小批量值b、Dropout系數d這4個參數取值范圍。在所設定范圍內，隨機初始化種群內黑寡婦蜘蛛位置X= [l,k,b,d]。

步驟2：將原始數據進行預處理并按照一定比例劃分訓練集、驗證集、測試集。訓練集數據用于更新GAM-BiGRU網絡連接權重；用驗證集通過訓練好的網絡進行預測；將預測輸出均方根誤差（Root mean square error，RMSE）作為 BWOA適應度函數，優化目標為尋找最優超參數值使RMSE值最小。在循環停止條件中，設定允許誤差的大小。

步驟3：根據RMSE大小確定初始種群最優黑寡婦位置，然后開始迭代運算。使用式（9）更新黑寡婦位置，使用式（10）計算信息素，使用式（11）更新低信息素黑寡婦位置；然后，重新評估RMSE值，確定此時最優黑寡婦位置，重復迭代，直到滿足循環停止條件（達到最大迭代次數或滿足允許誤差）。

步驟4：達到循環停止條件后，輸出的最優黑寡婦位置Xbest即為所求超參數最優值。

步驟5：將得到的4個網絡超參數最優值重新輸入GAM-BiGRU網絡。用“步驟2”中訓練集數據訓練網絡，用測試集數據測試模型最終預測能力。

3.2 模型參數設置

本文實驗環境為MATLAB R2020b。BWOA優化過程參數及GAM-BiGRU網絡待優化參數取值設置如表3所示。

表3 模型參數設置Tab. 3 Settings of model parameters

4 實驗對比

4.1 數據集劃分

選擇清洗后的數據前10 000組作為最終建模數據。訓練集、驗證集、測試集劃分比例為7:2:1。

4.2 評價指標

為了定量分析模型的預測能力，本文選擇對稱平均絕對百分比誤差（Symmetric mean absolute percentage error，SMAPE）、RMSE、決定系數（R-square，R2）作為檢驗模型準確性的評價指標。

4.3 實驗結果與分析

使用BWOA對GAM-BiGRU網絡超參數尋優，得到最優超參數值如表4所示。

表4 最優超參數計算結果Tab. 4 Calculation results of best hyperparameters

表4中，用BWOA優化算法得到的“小批量大小”為模型輸入數據的時間段最優值，含義為“模型采用輸入變量的前6個時刻對NOx排放量進行預測”。

BWOA-GAM-BiGRU模型預測結果如圖7所示。為了更好地說明所提出模型的有效性，使用相同實驗數據，選擇另外3個典型預測模型即BP神經網絡（BPNN）、BiGRU、卷積長短期記憶神經網絡（CNN-LSTM）進行對比實驗，結果如圖8所示。

圖7 BWOA-GAM-BiGRU預測結果Fig. 7 Prediction results of BWOA-GAM-BiGRU

圖8 各模型預測結果對比Fig. 8 Comparison of prediction results of four models

各模型的量化評價指標對比如表5所示。

表5 模型評價指標對比Tab. 5 Comparison of model evaluation indexes

圖7中，BWOA-GAM-BiGRU模型NOx預測值與實測值之間差距極小，曲線幾乎完全重合。

圖8中，BWOA-GAM-BiGRU、BiGRU、CNN-LSTM這3個模型的NOx預測值都可以很好地跟蹤實測值變化，且BWOA-GAM-BiGRU模型最貼近實測數據，BPNN相對較差。

表5中，BWOA-GAM-BiGRU的SMAPE和RMSE值最小，這說明該模型的預測精度最高；該模型的R2系數最大，說明該模型的數據跟蹤能力最好。

各模型的線性擬合結果，如圖9所示。

圖9 各模型直線擬合結果對比Fig. 9 Comparison of linear fitting results of four models

由 9可以看出：NOx預測值和實測值構成的散點基本都分布在擬合直線兩側，擬合直線均比較接近理想直線x–y=0；BWOA-GAM-BiGRU模型最接近理想直線；BPNN散點分布較為散亂，擬合效果一般。

5 結論

針對SCR系統大遲延、大慣性的特點，以及現有NOx預測模型超參數依靠手動調節、不能自適應關注重要信息的問題，本文對SCR系統歷史數據進行了深度挖掘，估計了變量的時間延遲，提出了一種結合全局注意力機制與BiGRU網絡，并使用黑寡婦優化算法對網絡參數自動尋優的SCR出口NOx排放預測模型。

實驗結果表明，與另外幾種典型預測模型相比，所提出模型的預測結果RMSE值僅為1.228，且R2值達到0.996。該預測精度最高，誤差最小，說明模型泛化能力最好。

下一步研究方向：對多個時刻NOx排放量進行預測，以檢驗模型的長期預測能力；根據結果對模型結構進行更深層次的優化，進一步提高模型預測精度。