LSTM-RNN在連鑄下渣預測系統中的應用

李福進，劉尚瑜，史 濤

（華北理工大學電氣工程學院，河北 唐山 063210）

1 引言

連鑄是鋼鐵工業生產過程中的重要環節，其中鋼包下渣檢測是連鑄生產的重要技術之一。它對保證鋼水純凈度，防止過量下渣、提高鋼水收得率等至關重要。但由于鋼包下渣過程中環境及操作流程等因素的影響，導致鋼包下渣的突變信號在整個頻率段上很難分辨[1]。本研究將為設計和構造連鑄鋼包下渣智能預測系統提供新的思路和方法。

2 連鑄下渣智能預測系統的建立

2.1 連鑄下渣智能預測系統的實現原理

現有的主要下渣檢測技術為電磁檢測和振動檢測，它們都需要對鋼包澆注系統結構進行改造，或額外添加檢測設備才能進行下渣檢測[2-3]。而隨著神經網絡的發展，智能控制技術為解決連鑄鋼包下渣預測系統提供了一種有效途徑。2010年，曾提出利用RBF神經網絡模型控制鋼包精煉爐的研究[4]。2011年，文獻[5]提出過利用BP神經網絡具有的并行信息處理以及自學習能力對鋼包下渣進行預測的方法。但在較長的時間周期下，BP神經網絡模型的預測效果并不理想。考慮到鋼包下渣過程是一個動態的時間序列，提出一種具有自主學習和時間序列記憶效應的LSTM網絡進行改進。

由鋼水的作用力引起保護澆注承支結構振動，分析鋼流作用力的變化與鋼包中鋼水重量變化、長水口的閥門開度、鑄坯截面的面積以及拉速與振動數學模型的關系[6]。將采集的信號傳至上位機，通過LSTM智能預測系統對下渣時刻進行預測。

2.2 LSTM神經網絡模型

LSTM（長短時記憶神經網絡）是由文獻[7]提出的，遞歸神經網絡RNN變體的一種。自2014年以來，LSTM已經成為深度學習框架中非常熱點的研究模型，得到大量的關注和研究[8]。在標準的RNN中一般只有一個非常簡單的節點，LSTM繼承了RNN模型大部分特性的同時，解決了梯度反傳過程由于逐步縮減而產生的梯度消失問題。具體到實際應用中，LSTM十分適合用于處理與時間序列高度相關的問題[9-11]。

圖中框內代表一個具有窺視孔連接的LSTM隱藏層單元，如圖1所示。圖中輸入門、遺忘門和輸出門3個控制門的輸出分別連接到一個乘法元件上，從而控制信息流的輸入、輸出以及細胞單元的狀態。xt為一個輸入節點，可對應一個特征參數，特征參數由連鑄的中控設備采集到的澆注流數、大包重量以及中間包重量等信號，經由數據預處理提取得出。ht為一個輸出節點，可對應一個輸出狀態，輸出狀態顯示當前鋼渣含量，可分為無渣和混渣兩種。

圖1 具有窺視孔連接的LSTM單元Fig.1 LSTM Unit with Peephole Connection

存儲單元的運行原理用以下公式表示：

式中：Ct—t時刻記憶細胞的計算方法；ht—t時間點LSTM單元的所有輸出；W—系數組成的矩陣，包含輸入和循環連接的權重；b—偏置向量。式（1）～式（3）分別為三個門控信號，式（4）為輸入模塊，式（5）為存儲器單元，式（6）為隱藏單元的激活公式。

2.3 算法描述

由于數據中存在異常值會影響建模精度，為降低異常值影響，提出一種局部加權回歸和LSTM結合的算法，該算法為異常值分配的權值很低。使用的算法如下：

算法1：提出的方法

參數初始化：反饋延遲δfd，隱藏層單元δh，學習率ɑ，學習率下降周期δdp，訓練函數δtf，，隱藏層中的神經元δhn，訓練百分比δtr，驗證百分比δvd，框架結構參數Sp

輸出：參數確定的模型

2.4 評價指標

將訓練數據與驗證步驟中的實際值進行比較，這里使用平均絕對誤差（MAE）、均方根誤差（RMSE）和相關系數值（R值）作為比較預測效果的三個評價指標。其中R值代表實際值和預測值之間的相關性，范圍介于（0～1）之間。R值越大，預測效果越好。指標的計算公式，如式（7）～式（9）所示。

式中：x—實際值；y—預測值；—x的平均值；—y的平均值；n—樣本數量。

3 實驗分析

實驗的主要流程，如圖2所示。通過對某鋼廠實際采集的數據進行分析，采用一種結合LOWESS的LSTM模型進行下渣預測訓練。實驗主要由三個部分組成，即數據特征提取、模型參數設置、數據訓練以及測試對比驗證。

圖2 鋼包下渣預測訓練流程Fig.2 Ladle Slag Prediction Training Process

3.1 數據采集及特征提取

數據采集使用DAM-3000分布式模塊對某鋼廠的實際鋼包連鑄過程進行連續的信號采集。采集的信號包括大包重量、中間包重量、拉速、溫度等。使用所采集到的連續一周的信號數據，進行訓練測試。由于實際澆注過程中會產生的信號波動，選取出具有代表性特征的樣本。將數據分為兩個部分，200個時間點的數據作為一個訓練樣本，延后時間的200個數據用于驗證。在訓練模型之前為避免因原始數據中包含的異常波動對結果造成影響，使用Robust-LOWESS對原始數據進行過濾處理。再將處理后的特征變量輸入ARIMA、RNN、LSTM-RNN三個深度學習模型中以進行訓練。

3.2 參數設置

鋼包下渣預測的基本模型使用ARIMA（p，d，q）模型，將其中的預測模型的時序數據滯后數p設置為1，d差分的階數d設為2，q移動平均模型的階數q設為1。RNN模型選擇非線性自回歸模型（NAR）。目前并沒有可以得到最優模型的具體公式和方法，因此需要遵循經驗調整模型參數。在NAR框架中，測試了所給出的參數調整，如表1所示。

表1 用于開發RNN預測模型的參數Tab.1 Parameters to Develop RNN Prediction Model

使用同樣的一組參數調整方案來構建LSTM模型，如表2所示。其中，求解器選擇Adam Optimizer和SGDM，兩者的準確度很大程度上取決于數據集的規模，最優選擇標準只能由給定的數據集而確定。

表2 用于開發LSTM預測模型的參數Tab.2 Parameters to Develop LSTM Prediction Model

將每種調參方案的結果與實際值進行比較，在式（7）～式（9）中定義的指標下進行評估。對每個模型的各種參數值進行多次測試，確定出RNN模型的參數最優值為反饋延遲3，隱藏層2，神經元數量18，訓練函數使用貝葉斯正則化。LSTM-RNN模型的參數最優值為隱藏層單元250，初始學習率0.0032，學習率下降周期為25，求解函數為SGDM。這些參數使模型的MAE、RMSE值達到最小，R值達到最大。

3.3 實驗結果和討論

大包和中間包的平均重量速率變化的原始時間序列圖，如圖3所示。使用Robust-LOWESS對數據進行過濾后，得到平滑的時間序列曲線，如圖4所示。所有模型均選用200個時間點的數據進行訓練，而延后的30個步長的數據則用于驗證。經過數據預處理后的LSTM-RNN模型的回歸圖以及R值，如圖5所示。其中虛線代表最佳擬合，實線代表預測值與實際值間的實際擬合。通過3種模型的評價指標對比，如表3所示。結果顯示LSTM模型在鋼包下渣預測方面有顯著改善。MAE和RMSE值表明使用預處理數據開發的LSTM-RNN模型的誤差最小。基于預處理數據開發的LSTM-RNN模型的MAE值為0.049，與現有的基準模型相比顯示出3.2%的改善。同樣，RMSE顯示出約6%的改善。六個模型的結果也在R值方面進行比較：R值越高，實際值和預測值之間的相關性越高。基于預處理數據的LSTM-RNN模型具有0.97的最高R值。這表明實際值和預測值之間存在很強的相關性，預測的準確度很高。

圖3 原始重量變化率Fig.3 Original Weight Change Rate

圖4 應用平滑功能后的重量變化率Fig.4 Weight Change Rate After Applying Smoothing Function

圖5 預測模型的回歸圖及R值Fig.5 Predictive Model Regression Graph and R Value

表3 預測模型的指標比較Tab.3 Comparison of Indicators for Predictive Models

4 結論

在這一項目實驗中，采用了局部加權回歸作為平滑函數，結合LSTM模型的方法來預測鋼包下渣，實驗證明在做預測訓練之前對原始數據進行平滑處理有助于提高準確度。實驗使用MATLAB作為仿真工具，使用RMSE、MAE和相關系數R值作為評價指標。研究結果表明，與現有的預測方法相比，精確度有了顯著提高，為下渣預測的研究提供了新的思路，也為深度學習在工業上的應用提供了參考價值。