基于AE-LSTM混合神經網絡模型的NOx排放預測①

蘇盈盈， 張氣皓， 羅妤， 周昊， 何亞平， 閻壘

重慶科技學院 電氣工程學院，重慶 401331

從環境保護的角度考慮,垃圾焚燒廠需要建立一個能夠反映鍋爐燃燒變量和排放尾氣NOx濃度之間關系的模型,以便能夠快速響應對NOx尾氣的控制.NOx是垃圾焚燒發電廠的主要排放物之一,對環境和人類健康有害[1].人們已經考慮采用不同的技術來減少NOx的排放,例如低NOx燃燒技術[2]、選擇性催化還原(Selective Catalytic Reduction,SCR)和非催化還原(Selective Non-Catalytic Reduction,SNCR)技術[3-4]．

隨著機器學習的不斷發展,許多研究者開始利用神經網絡(Artificial Neural Network,ANN)[5]對NOx濃度進行建模和預測.其中,文獻[6]引入了一個具有外部輸入神經網絡的非線性自回歸模型,以建立一個動態模型來預測NOx的排放.文獻[7]使用人工神經網絡開發了一個預測210MW煤粉鍋爐滿負荷條件下NOx排放的模型,并發現所提出的方法可用于生成可行的運行條件.除了人工神經網絡,支持向量機(Support Vector Machine,SVM)[8-9]和極限學習機(Extreme Learning Machine,ELM)[10-11]也被引入用以模擬燃煤電廠NOx的排放.這些預測模型和方法都是在原有模型上進行的改進,雖然預測精度有所提高,但是同時也帶來了更大的時間開銷．

由于淺層網絡模型的泛化能力不強,不能很好地適用于多種對象,因此,通過加深網絡深度可優化淺層網絡模型.文獻[12-13]建立了最小二乘支持向量機LS-SVM預測模型,實現排放量等多種參數的軟測量,隨后將建立的模型與BP(Back Propagation,BP)神經網絡模型進行對比,結果表明基于最小二乘支持向量機的網絡模型的預測結果和運行速度均優于BP神經網絡模型.文獻[14]采用風驅動算法和基于混沌分組教與學算法優化極端學習機的NOx模型,通過參數調整及模型優化方法對NOx的預測提供了指導.文獻[15]采用混沌分組教與學優化算法對NOx的預測建模,該模型具有較好的辨識與泛化能力,可以為解決工程實際問題提供思路.文獻[16]在超臨界機組的基礎上,提出了一種改進的差分量子粒子群(Differential Evolution Quantum Particle Swarm Optimization,DEQPSO)算法,將其與極限學習機ELM相結合從而達到對NOx的排放預測.文獻[17]提出了一種改進的最優覓食算法,并用該算法對鍋爐NOx的排放特性進行建模.然而,上述運用傳統的方式搭建的神經網絡注重于數據的內部時序特征,卻忽略了數據內部的空間特征聯系,導致其模型對NOx的濃度預測精度低．

為了提高模型預測精度,本研究提出了一種基于自動編碼器(AE)和長短期記憶神經網絡(LSTM)的預測模型.首先,對原始數據進行標準化處理,剔除掉數據的異常值和缺失值; 然后,使用AE自動編碼器來提取數據深層次的多維信息特征; 最后,將標準化后得到的數據輸入LSTM網絡中進行建模,并優化網絡參數,建立基于AE-LSTM的NOx濃度預測模型.最終,以重慶市某垃圾焚燒廠某鍋爐的燃燒數據作為研究對象來驗證該預測模型的準確性．

1 LSTM網絡模型

長短期記憶(Long Short Term Memory,LSTM)網絡是一種具有記憶機制的神經網絡,可以處理不同時間步的序列長度,以及能夠學習到時間序列的關系等特點,因此可以非常有效地進行時間序列的建模．

LSTM與循環神經網絡(Recurrent Neural Network,RNN)最主要的不同就是LSTM有多個門控機制,如圖1所示的LSTM細胞圖結構,其中,紅色圓圈代表Sigmoid函數,藍色圓圈代表Tanh 函數,輸入門可以控制數據信息通過該門進入到LSTM細胞中; 遺忘門可以決定LSTM細胞對數據的遺忘程度,即保留或者丟棄數據信息; 輸出門則控制LSTM細胞的輸出．

圖1 LSTM細胞結構

為了獲得這2個值,第一,需要計算3個門的狀態和單元輸入的狀態:

1) 輸入門Input gate

(1)

(2)

2) 遺忘門Forget gate

遺忘門決定應丟棄或保留“哪些信息”．

(3)

其中,ft為0～1之間的數,ht-1為上一單元的輸出,xt為當前時刻的輸入．

3) 輸出門Output gate

(4)

第二,計算單元的輸出狀態:

(5)

第三,計算隱藏層的輸出:

ht=ot·tanh(Ct)

(6)

單元的輸出定義為

(7)

其中,W2是2個元素之間的權重,b為輸入層和輸出層的偏置．

LSTM網絡模型如圖2所示,包含輸入層、2個隱含LSTM層、2個Dropout層和一個Dense全連接層,共6個部分組成.該模型是用于NOx數據處理的,數據首先經過輸入層后進入第一層隱含LSTM層,LSTM單元計算處理后得到輸出狀態和隱藏狀態.為了避免過擬合,經過一個Dropout層進行正則化處理后,數據再次輸入到第二層隱含LSTM層,得到新的輸出狀態和隱藏狀態.在這之后,數據再經過一個Dropout層進行正則化處理,以進一步減少過擬合.最后,正則化后的數據輸入到Dense全連接層,計算預測值,并輸出NOx濃度的預測結果．

圖2 LSTM 網絡模型結構

2 AE-LSTM混合神經網絡模型

2.1 AE-LSTM網絡結構

自動編碼器(Autoencoder,AE)是一種網絡模型,對于神經網絡的發展起到了促進作用,尤其在對高維復雜數據的特征提取方面具有重要作用.自動編碼器的網絡結構圖如圖3所示.它是一種單隱含層的無監督學習模型,自動編碼器通過對內在特征的不斷持續學習,對輸入層和輸出層進行誤差計算,使得兩者之間的誤差盡可能小,從而得到高維數據的特征輸出.這個過程起到了數據降維的作用,其作用類似于主成分分析法、因子分析法等.與傳統的數據降維方法相比,自動編碼器能夠更有效地提取新特征．

圖3 自動編碼器結構圖

h=S(W·x+b)

(8)

其中,h為自動編碼器的編碼函數輸出,也稱之為隱含層的特征變量,S為自動編碼器編碼過程的激活函數,一般使用Sigmoid函數,W為輸入層到隱含層的網絡連接權重,b為網絡偏置.通過解碼過程得到輸出層數據,再通過解碼與編碼的過程重構原始數據,保留原始數據中的重要特征.解碼過程為

x′=S(WT·h+b′)

(9)

其中,x′為解碼器的重構信息,S為自動編碼器解碼過程的激活函數,該激活函數使用Sigmoid函數,WT為隱含層到輸出層的網絡連接權重,b′為網絡偏置．

趨勢二：京津同城化將成為更加有效地推進京津冀協同發展，進而建立環渤海協同發展新機制的重大戰略支點。以北京、天津為中心更加強調京津聯動，加快實現京津同城化發展。同城化是區域經濟一體化和城市群建設過程中的一個重要階段，是區域城市間經濟和社會發展到一定程度的必然趨勢。推動京津同城化，關鍵是要實現京津基礎設施一體化、產業發展一體化、市場一體化、公共服務一體化、資源配置一體化等，共同發揮高端引領和輻射帶動作用，成為推動京津冀協同發展，建立環渤海協同發展新機制的重大戰略支點。

經過自動編碼器的編碼和解碼過程后,輸入數據x映射為隱含層的特征h,再將特征h重構后輸出為x′.為了確保最后的輸出特征能夠有效地代表原始數據,保留有原始數據的大部分信息,所以需要計算輸入數據和輸出數據的誤差,對于自動編碼器的誤差損失函數通常為均方誤差,公式如下:

(10)

自動編碼器能夠自動將高維數據特征提取至低維數據特征,同時還能保留原始數據的大量信息,保證數據的有效性不受破壞.這些低維數據特征可以被輸入到LSTM神經網絡中,LSTM網絡通過不斷學習權重參數來獲得收斂,降低網絡的預測復雜性,從而提高了預測的性能.AE-LSTM神經網絡的結構如圖4所示,該網絡結構由兩部分組成,第一部分是自動編碼器,利用自動編碼器將輸入數據的高階特征轉換為低階特征,并保留原始數據的信息.第二部分是LSTM神經網絡,該部分將自動編碼器輸出的低階有效數據輸入到網絡中,并對NOx進行預測,從而得到預測值．

圖4 AE-LSTM 模型結構圖

2.2 AE-LSTM模型預測設計框架

AE-LSTM模型的預測過程如圖5所示.首先,預處理好的數據集被劃分為訓練集和測試集.訓練集用于訓練模型的內部參數,得到收斂的預測模型,而測試集用于監測模型的預測性能.具體而言,原始數據首先輸入自動編碼器中,通過自動編碼器的編碼和解碼過程得到低維度數據特征,然后將此數據輸入LSTM網絡中,經過LSTM網絡的學習和調整,得到收斂的AE-LSTM網絡.最后,將訓練好的模型用于測試集上,得到預測值和真實值,并使用準確率和誤差等指標來評估模型的性能．

1) 將處理好的數據矩陣劃分成訓練集與測試集;

2) 將數據輸入AE中得到低維數據特征;

3) 確定AE-LSTM網絡的結構;

4) 計算網絡神經元的LOSS;

6) 達到迭代次數,網絡訓練結束,獲得收斂的AE-LSTM網絡;

7) 將測試集輸入收斂的網絡中,輸出預測值,并計算準確率和誤差,模型結束．

圖5 AE-LSTM 模型預測流程

3 基于AE-LSTM的NOx排放預測

3.1 研究對象

工業預測的有效性很大程度上取決于數據的質量,因此數據預處理工作非常重要.本文使用的變量相關數據集來自于重慶市某垃圾焚燒廠的鍋爐垃圾焚燒系統,如下表1所示.通過數據挖掘技術對原始數據中的異常值、缺失值進行處理,再消除數據共線性,最后對數據進行標準化處理,這些操作可以獲得有效和可用的數據,有利于提高預測模型的性能．

表1 某垃圾焚燒廠燃燒過程的各工況變量

3.2 數據異常值和缺失值的處理

根據數據缺失的機理,可以將缺失值分為以下3類: 完全缺失、隨機缺失和不完全缺失.通過對每個變量定義合理的取值范圍,檢查數據是否符合實際工況要求,并消除原始數據中的噪聲,可以提高原始數據的質量.在數據預處理中,本文使用了樣本均值來填充缺失鎮,以提升數據的完整性.如表2為通過數學統計的方法來對數據進行的分析,分別計算每個變量的平均值、中位數、最大值、最小值、1stQu(25%值)和3stQu(75%值).另外,本文的數據集會用平均值對缺失值進行填充．

表2 數據的分析

3.3 數據共線性的消除與標準化

垃圾焚燒鍋爐中相關的工藝變量共89維,變量間存在普遍的相關關系即共線性會影響模型的運行,降低預測精度.為了提高NOx預測的精度,計算各變量的相關系數,以消除共線性.通過反復測試,發現當刪除相關性系數大于0.9的數據后,能夠在線性范圍內消除數據之間的共線性,使得模型精度最佳.因此最終得到了56維的工藝變量．

標準化是一項重要技術,通常在許多機器學習模型之前作為預處理步驟執行.本文的研究對象為垃圾焚燒NOx預測,采用Z-score標準化的方式對數據的量綱進行統一的去量綱處理,該處理方法對于模型的學習速度和訓練速度都有所提升.利用Python 軟件對現場采集的數據進行 Z-score 標準化處理,標準化后數據集中共有56×3612維數據．

4 實驗及結果分析

AE-LSTM的初始參數設置如表3所示,對于自動編碼器,主要由編碼層和解碼層兩部分組成,其中解碼層會將輸入的數據進行壓縮并提取特征,再對特征重新構造.由于自動編碼器具有成鏡像的對稱結構,所以通過實驗可得到最優的自動編碼器結構,前面對原始數據預處理中得到56維變量,進而可以確定輸入層節點為56個.為了減少權重的相互依賴,使用 Sigmoid 函數作為激活函數,損失函數使用均方誤差,優化函數為 Adam 函數．

表3 AE-LSTM模型最優參數

通過十折交叉檢驗,得到基于AE-LSTM的NOx平均預測準確率如表4、圖6和圖7所示,其中圖7為截取的圖6部分片斷以便觀察.表4展示了不同模型的平均預測準確率和RMSE指標,其中,AE-LSTM網絡的預測準確率為85.1%,高于CNN-LSTM網絡的預測準確率83.8%和LSTM網絡的預測準確率79.7%.AE-LSTM網絡的RMSE為0.705,低于CNN-LSTM 網絡的RMSE 0.725和LSTM網絡的RMSE 0.833.可見AE-LSTM在NOx預測方面表現最優．

圖6 基于AE-LSTM 模型的NOx預測結果

圖7 截取的部分NOx預測效果

表4 AE-LSTM與LSTM、CNN-LSTM模型對比

5 結語

通過建立有效的NOx濃度預測模型,可以幫助垃圾焚燒廠提前做出規劃,減少NOx排放.本文提出了一種基于自動編碼器和長短期記憶神經網絡的預測模型,針對垃圾焚燒NOx數據的空間特征,實現對長短期記憶神經網絡的改進.長短期記憶神經網絡主要關注數據的內部時序特征,而忽略了數據內部的空間特征聯系,引入自動編碼器可提升模型對數據內部的空間特征聯系和數據多維度特征的提取能力.本文以重慶市某垃圾焚燒廠鍋爐的燃燒數據為研究對象,首先利用LSTM網絡進行建模,并進行了網絡參數優化,再使用自動編碼器對數據深層次多維信息特征進行提取,建立改進的AE-LSTM的NOx濃度預測模型.研究表明,相比LSTM模型,AE-LSTM模型在時序特征、空間特征強的數據集方面,表現出較好的預測精度和泛化能力.本文開展NOx濃度預測研究,有望為下一步如何調控工藝變量操作指標,優化工藝參數,達到NOx濃度減排目標奠定重要的理論依據．