基于工廠數據的注意力LSTM 網絡辨識方法

王雅欣，徐寶昌，徐朝農，董秀娟，許立偉

（1 中國石油大學（北京）信息科學與工程學院，北京102249； 2 中國石油北京天然氣管道有限公司，北京100012）

引 言

近年來，化工企業過程裝置控制的復雜性不斷提高，先進控制理論的應用日益廣泛，內模控制[1]、自適應控制[2]和模型預測控制[3]等一系列先進控制方法被相繼提出，其帶來的安全和經濟效果十分顯著。控制理論的實際應用不能脫離描述系統行為的動態模型，然而在多數情況下，被控對象的模型是未知的，或在正常運行期間模型參數會發生改變，辨識被控對象的動態模型是控制理論在解決實際問題時的關鍵[4]。隨著系統的日益復雜化，對模型精度要求的提高以及系統非線性等問題，系統辨識方法已由經典的階躍響應法、脈沖響應法、頻率響應法、最小二乘法等發展到集員辨識[5]、基于遺傳算法的系統辨識[6]、神經網絡系統辨識[7]、模糊邏輯系統辨識[8]、小波網絡系統辨識[9]等現代辨識方法。

在化工領域，工業先進控制軟件用于預測控制模型的辨識方法較為普遍的仍是基于階躍響應的傳遞函數矩陣模型辨識方法[10-11]。該辨識方法通常需要在實際生產過程中進行階躍測試實驗，并且測試信號要足夠強才能保證辨識精度，因此可能會導致工藝過程不穩定運行，輕則影響生產，重則引起嚴重安全事故。且一次階躍響應實驗只能得到適用于描述一個工作點附近若干個輸入輸出通道的動態特性的傳遞函數模型，獲取多個工作點的模型則需要耗費大量時間進行多次階躍響應實驗。這使得先進控制器難以長期高效投用，對于復雜變工況的情況存在很大局限性[11]。

隨著化工企業智能化的不斷發展以及內存價格的下降，分散控制系統（DCS）海量工廠日常運行數據被存儲在工廠歷史數據庫中[12]，這些數據往往涵蓋各類不同工況點下系統的變化和運行狀態，其中可能包含有足夠充分的用于辨識的信息。神經網絡是一種模擬人腦大數據分析機制的計算方法。隨著深度神經網絡的出現，基于神經網絡的大數據分析方法在各領域都取得了巨大成功[13]。與傳統辨識方法相比，神經網絡對于大數據具有強大的特征提取與抽象能力，對數據質量的要求較弱，可以脫離數據可辨識性的約束，利用強大的學習算法有效地獲取描述對象動態的神經網絡模型。

然而神經網絡模型缺乏特定的物理意義，并且往往無法直接應用到諸如預測控制等先進控制方法。因此，本文致力于研究如何在此大數據背景下，利用深度神經網絡模型建立可以反映系統動、穩態非線性特性的數字化虛擬裝置，作為實際裝置的孿生體。在虛擬裝置上可以不受約束地施加各種人工測試信號以獲取適用于先進控制算法應用的傳遞函數模型，有重要的工程應用價值。

圖1 描述這一思想：在樣本數據足夠充分且涵蓋不同工作點的條件下，利用神經網絡辨識，得到能描述各工況下系統動態行為的非線性動態模型，在該模型上給定工作點，加入變化豐富的輸入信號，可預測到相對應的輸出。而后傳統辨識算法便可利用神經網絡模型仿真實驗數據獲得在先進控制器實施控制時需要的某一工作點下各操作變量與被控變量間的傳遞模型函數，這種在神經網絡模型上進行離線實驗實現的模型預測避免了先進控制為獲取對象模型而進行的階躍測試對實際生產帶來的影響。

圖1 基于工廠數據的過程模型辨識框架Fig.1 Process model identification framework based on plant data

Narendra 等[14]最早提出了基于人工神經網絡的系統辨識算法。有別于其他系統辨識方法，神經網絡本身就是一種辨識模型，是系統的一種物理實現，因此無須再對系統的結構進行建模。利用神經網絡能以任意精度逼近任意非線性函數的能力，可得到本質非線性系統的模型[15]。文獻[16]提出用循環神經網絡辨識非線性系統，在線性條件下網絡隱藏層采用線性核函數，非線性條件下采用ReLu或tanh核函數，模型擬合效果好。文獻[17]利用前饋神經網絡建立對象的非線性模型預測系統輸出和矯正線性模型用于DMC 預測控制。耿志強等[18]將帶有注意力機制的深度學習算法應用于對苯二甲酸生產裝置乙酸消耗量的預測分析中。另外，神經網絡學習算法的收斂速度只與所選擇的網絡結構以及學習規則有關，不受辨識對象的影響。神經網絡輸入與輸出層神經元個數不是固定的，可以隨著實際系統的變化而變化，且不用考慮各輸入之間的內在聯系，可以應用到多變量系統的辨識，適用于化工裝置的高階、非線性、生產過程高度連續、高度自動化復雜過程。

Hochreiter 等[19]提出的LSTM 網絡是深度學習中最流行的網絡之一，被廣泛用于語音識別[20]、時間序列預測[21]、自然語言處理[22]等許多領域。作為一種循環神經網絡，LSTM 通過增加三個單元門：遺忘門、輸入門和輸出門來有效地控制過去狀態的記憶，避免了傳統循環神經網絡梯度消失/爆炸的問題[23]。近年來，由于LSTM 對高度時間相關性、高維、強耦合數據有較強的適應性，也逐漸被應用在化工領域中。文獻[24]利用LSTM 處理序列數據的能力提出一種基于LSTM 的故障識別方法。文獻[25]利用LSTM 深度神經網絡的結構作為處理硫磺回收裝置的一種軟測量方法。

本文提出利用工廠中DCS 存儲的日常運行數據訓練LSTM 網絡得到描述對象動態特性的神經網絡模型，并在神經網絡模型上施加各種人工測試信號以獲取適用于先進控制算法應用的傳遞函數模型。考慮到分別采用不同類型的數據在線訓練LSTM 網絡和離線辨識傳遞函數模型，因此，要求LSTM 網絡必須具備較強的魯棒性和泛化能力。因此，本文引入當前在文本處理、圖像識別及語音識別等領域中廣泛應用的注意力機制[26-28]的思想提升模型的泛化能力，提出通過利用不同輸入與輸出之間的相關系數計算不同輸入量的注意力權重，對與輸出相關性高的輸入分配更多的注意力，從而提高模型泛化能力。最后，以辨識Tennessee-Eastman（TE）[29]過程的反應器壓力與其操作變量關系的模型為例，驗證本文提出方法的有效性。

1 LSTM神經網絡模型

雖然在時間序列預測任務中，循環神經網絡（RNN）已經被證明是有效的，但由于循環神經網絡在多層上的梯度傳播引起的梯度爆炸和梯度消失問題致使其仍然在學習長期依賴時存在困難。LSTM 作為一種改進的循環神經網絡，通過引入細胞狀態門控實現了對過去狀態的過濾，選擇出對當前更有影響的過去狀態，避免了RNN 中存在的長期依賴問題和梯度消失/爆炸問題。

LSTM 結構如圖2 所示，含有d 個變量的長度為T 的多變量時間序列表示為X =(x1,x2,…,xT)，其中xt(t = 1,2,…,T)代表第t時刻觀測變量。

圖2 LSTM結構圖Fig.2 Architectures of LSTM

LSTM 模型的主要特點是引入了單元狀態（cell state）ct，它包含了時間步t 時在該步獲得的觀測信息。除單元狀態外，LSTM 還引入了門控結構（gate），一 般 包括遺 忘門（forget gate）ft，輸入門（input gate）it和輸出門（output gate）ot三種。通過多個門的控制，可根據門的狀態保持或更新單元狀態。此外，還引入了輸入調制門c～t用于描述當前輸入的單元狀態。門和單元在t 時刻的更新和輸出定義如下：

遺忘門ft

輸入門it

輸入調制門ct

輸出門ot

單元輸出ht

式（1）～式（6）即為LSTM 前向計算的全部公式。其中符號·表示按元素乘；Wf、Wi、Wc、Wo分別是遺忘門、輸入門、輸入調制門和輸出門的權重矩陣；bf、bi、bc、bo分別為遺忘門、輸入門、輸入調制門和輸出門的偏置項；[ht-1,xt]表示把兩個向量連接成一個更長的向量。門（gate）的激活函數σ 定義為sigmoid函數，σ與其導數σ′的關系為

輸出的激活函數為tanh 函數，tanh 與其導數tanh′的關系為

2 結合注意力機制思想的LSTM 辨識算法

本文將注意力機制的思想與LSTM 算法結合，并應用于基于工廠數據的化工裝置非線性動態模型辨識。目前大多數注意力模型都伴隨在Encoder-Decoder 框架下，但注意力機制本身可以看作一種不依賴于特定框架的通用的思想——選擇出對目標任務更關鍵的信息，分配更多的注意力。

為了更好地學習輸入序列中的信息，使辨識模型的準確度提升，本文以輸入與輸出變量間的spearman 相關系數[30]為參考，相關系數越大注意力系數越大，為輸入序列分配合理注意力系數，體現不同輸入變量對輸出變量的影響。注意力系數ak的計算公式為

其中m 表示一共有m 維輸入變量，Xk表示第k維輸入變量，Y 表示輸出變量。s(·,· )為spearman相關系數，是衡量兩個變量間依賴性的非參數指標，可用于總體分布未知的連續變量。

LSTM 需要學習8組參數，分別是遺忘門的權重矩陣Wf、遺忘門的偏置項bf、輸入門的權重矩陣Wi、輸入門的偏置項bi、輸入調制門的權重矩陣Wc、輸入調制門的偏置項bc、輸出門的權重矩陣Wo、輸出門的偏置項bo。LSTM的訓練算法為反向傳播算法，主要有三步。

（1）前向計算每個神經元的輸出值，即向量ft、it、ct、ot、ht的值，計算方法如第1節所示。

（2）反向計算每個神經元的損失函數。

本文損失函數為均方根誤差（root mean squared error，RMSE），反映了真實值與預測值之間的偏離程度。RMSE計算方式如下：

（3）根據相應誤差項，計算權重梯度。

訓練過程采用DFP 算法[31]代替傳統梯度下降（gradient descent，GD）算法作為網絡權重更新的優化算法。DFP 算法只需計算一階偏導數，避免了牛頓法對二階偏導數及其逆矩陣的復雜計算，對目標函數的初始點選擇無嚴格要求。

結合注意力機制思想的LSTM 算法的整體流程如圖3所示。

圖3 結合注意力機制思想的LSTM算法流程圖Fig.3 Flow chart of LSTM algorithm combined with attention mechanism

圖4 結合注意力機制思想的LSTM網絡結構圖Fig.4 LSTM network structure combined with attention mechanism

3 算例分析

TE 過程包括反應器、冷凝器、壓縮機、分離器和汽提塔5 個單元，生產過程包括41 個被控變量(XMEAS(1)～XMEAS(41))和12個操作變量(XMV(1)～XMV(12))，是控制領域常用的檢驗控制、建模、故障檢測算法性能的模型之一，本文以TE過程反應器壓力為辨識對象，仿真數據來自華盛頓大學過程控制研究室利用MATLAB 的SIMULINK 環境改寫的TE模型（http://depts. washington. edu/ control/ LARRY/TE/download.html#MATLAB_5x）。

3.1 數據集描述

實驗選取A物料流量、D物料流量、E物料流量、A/C 混合流量、放空閥、分離器液體流量、汽提塔液體流量、反應器冷凝水流量、反應器壓力工作點9個變量的時間序列作為神經網絡的輸入，反應器壓力值時間序列數據作為神經網絡的輸出，其中工作點的具體數值為前一時刻反應器壓力值。

選取TE 過程反應器壓力涵蓋2810 kPa、2820 kPa、2830 kPa 三個工作點附近的30 h 正常生產數據，共9000 組輸入輸出數據，本文采用固定劃分方式將其中6000組數據作為訓練樣本，3000組數據作為測試樣本。

3.2 數據預處理

因本文實驗數據由TE仿真模型產生，未存在數據缺失和異常，本文采用min-max 標準化方法直接對樣本數據進行歸一化處理，將數據集矩陣每個變量的元素值映射至[0,1]內。

DCS 采集的數據會受到傳感器、信號傳輸或現場環境等因素影響而產生部分數據缺失、異常的問題。因此在利用深度學習構建高可靠性模型前首先應當對原始數據進行預處理。對于數據的異常值，采取的處理方法是將異常值作為缺失值。數據缺失的處理方法有直接刪除缺失記錄、取前點、均值插補、回歸插補、極大似然估計等。為減少不同特征的數量級和量綱對辨識結果的影響，補齊后的數據需要再進行歸一化處理。

3.3 模型訓練

在win10 系統，MATLAB R2016b 環境下構建神經網絡模型，網絡參數設置如表1所示。

表1 網絡模型參數Table 1 Parameters of network model

設置學習率0.2，最大迭代次數1000，誤差閾值10-6。根據以上參數初始化模型并進行訓練，圖5為2810 kPa 工作點2000 組訓練數據分別采用梯度下降法和DFP 算法作為權重梯度優化算法時模型訓練的誤差曲線，兩種算法均能較好地學習TE 模型，但是以DFP 算法為權重梯度優化算法的學習迭代步數有明顯改進。

圖5 DFP算法與梯度下降算法訓練誤差Fig.5 Training error of DFP algorithm and gradient descent algorithm

3.4 結果分析

輸出數據反歸一化后得到結合注意力機制思想的LSTM 網絡與常規LSTM 網絡測試結果，圖6 為反應器壓力在三個工作點附近的擬合曲線。

圖6 模型預測結果對比Fig.6 Comparison of model prediction

分別以常規LSTM 網絡模型和結合注意力思想的LSTM 網絡模型作為離線辨識實驗對象模型，在三個工作點處E 流量輸入中加入人工測試噪聲信號，得到模型輸入輸出數據。圖7 所示為工作點2820 kPa處離線實驗擬合曲線。

模型測試結果采用平均絕對百分比誤差（mean absolute percentage error,MAPE）作為評價指標

圖7 工作點2820 kPa處離線實驗結果對比Fig.7 Comparison of off-line experimental results at 2820 kPa

表2 模型測試與離線實驗結果Table 2 Model test and off-line experimental results

由表2 可知結合了注意力機制思想的LSTM 網絡泛化能力比常規LSTM 更高，所以在模型測試和離線實驗中得到的輸出值更準確。值得注意的是，與模型測試不同，離線實驗中LSTM 網絡輸入中的工作點，也就是前一時刻反應器壓力值是由LSTM網絡計算得到的，而非直接由給定測試數據集的輸入數據中獲取，前一時刻輸出的誤差會影響當前時刻的輸出，因此神經網絡模型輸出的誤差比模型測試時大。

利用結合注意力思想的LSTM 網絡模型的輸入輸出，在MATLAB 的system identification 工具箱計算得到2820 kPa工作點處反應器壓力與E流量的傳遞函數及其階躍響應曲線如圖8所示，其中s表示復變量，可知由此得到的傳遞函數模型能反映對象的局部線性動態特性，將結合注意力機制思想的LSTM 模型作為被控對象的數字化虛擬模型是可行的。

4 結 論

圖8 傳遞函數模型及其階躍響應曲線(s表示復變量)Fig.8 Transfer function model and its step response curves

本文基于工廠大數據背景，提出采用LSTM 神經網絡結合注意力機制思想，利用工廠日常運行數據辨識化工過程裝置的非線性動態模型（數字化虛擬裝置），在虛擬裝置上進行辨識、控制等實驗可避免為獲取用于先進控制的傳遞函數模型而在實際裝置中加入測試信號對生產的影響。由于離線實驗的準確性與神經網絡模型的泛化能力直接相關，本文將LSTM 結合注意力機制的思想以提高網絡模型泛化能力。算例分析表明，神經網絡模型可以克服工作點變化的影響，擬合出不同工作點下非線性動態系統的輸出，且結合了注意力機制思想和DFP優化算法的LSTM 網絡收斂速度更快，模型精度比常規LSTM 模型更高。利用該模型可實現用于獲取先進控制對象局部線性模型的離線辨識實驗及仿真控制過程等功能。本文方法為實現基于工廠數據的非線性動態模型辨識提供了一種有效的思路。