層級時序記憶算法的連鑄下渣預報方法研究

史 濤，陳 炫，任紅格

（華北理工大學電氣工程學院，河北 唐山 063210）

1 引言

為了提高鑄坯質量，增加連鑄生產的成批次數，必須避免爐渣進入中間包。近年來，很多學者對鋼包下渣檢測方法做了大量研究，文獻[1]提出了采用小波分析理論對傳感器采集的振動信號進行特征提取，并結合人工神經網絡的方法對下渣振動信號進行分析處理，實現對鋼水狀態的自動檢測。但是由于澆注周圍環境惡劣，振動信號易受環境因素影響，使得檢測精度和工作穩定性降低。文獻[2]設計了一種基于視頻圖像的連鑄大包下渣檢測系統，實現對連鑄大包下渣過程的實時在線監控。文獻[3]設計了基于紅外測溫原理的下渣檢測系統，控制鋼包中鋼渣的含量，較好的滿足了鋼水爐外精煉的要求。盡管上述方法在實際生產中得到了成功的應用，但傳統電磁檢測系統壽命短、系統改造和維護費用較高使其推廣受到很大限制，振動檢測易受周圍環境影響，識別精度和穩定性不高，而紅外線檢測存在時間滯后缺陷，在大量鋼渣下落后才能檢測出鋼渣，導致部分鋼渣進入中間包。目前，連鑄下渣檢測通常采用計算機控制，對傳感器采集到的物理信號進行預處理，并通過相應的算法識別出鋼液澆注狀態。主要對傳感器采集的時序數據進行預處理，并進行在線時間序列預測，挖掘出序列變化特征[4-6]。

針對傳統下渣檢測精度，解決時間滯后等問題，提出基于HTM算法的連鑄下渣預報方法。使連鑄機在不改造結構的條件下，對現有的連鑄生產參數進行在線無監督學習，對輸入序列進行預測和殘差分析，實現下渣預報。

2 基于HTM連鑄下渣預報

2.1 HTM網絡原理

層級時序記憶（Hierarchical Temporal Memory，HTM）是一種以模擬新大腦皮層的結構與算法特性為目標的機器學習技術。用逼真的神經元模型連續在線無監督學習時間序列［7］，可以快速適應數據中不斷變化的時序數據，并且已被證明可以很好地用于許多實際問題，包括離散和連續序列預測，異常檢測，以及序列識別和分類［8-9］。

HTM算法流程，如圖1所示。空間池化（Space Pooling，SP）將輸入（底部）以連續在線方式將輸入轉換成稀疏分布表征（Sparse Distributed Representation，SDR）［10］。SP是由N個SP列組成，每個列包含M個神經元。每個SP列是由輸入空間子集的突觸連接（灰色正方形，潛在連接）形成。HTM時間記憶進程（temporal memory，TM）負責序列學習和預測，通過前一時刻活躍神經元之間形成的連接以及遠端突觸的連通值，在SDR基礎上轉換成一種新的SDR，從而對下一時刻輸入序列進行預測。突觸連通性根據Hebbian規則進行調整：對于每個SP列，活躍輸入（黑色線）將得到加強，而非活躍輸入（虛線）將受到懲罰。

圖1 HTM模型示意圖Fig.1 HTM Model Diagram

2.2 HTM算法

HTM-SP是對神經元近端樹突段進行建模，SP輸出表示響應前饋輸入的激活的微型列。SP中第i列的潛在輸入連接集初始化為：

式中：xj—第j個輸入神經元的位置—輸入空間超立方體中第i列潛在神經元位置中心；γ—空間超立方體的邊長；p—輸入空間超立方體中潛在連接的輸入比例；Zij—（0～1）之間的均勻分布隨機數；Ι—指示函數。

為了創建與輸入模式的關聯，使用一種稱為重疊的匹配算法計算每個生成空間的前饋輸入，計算重疊量為：

式中：bi—每個SP列正向促進因子；zj—二進制變量，表示第j個輸入神經元的激活狀態；wij—第j個輸入到第i列神經元的連接突觸，當突觸連通值大于連通閾值時wij值為1，反之為0。

相鄰的SP列通過局部抑制機制相互抑制。我們將SP第i列的鄰域定義為：

式中：‖yi-yj‖—SP第i列和第j列之間的歐氏距離；?—抑制半徑控制參數。

每個SP列的活躍狀態計算如下：

式中：s—目標激活密度（稀疏性）；Z—百分位函數；θstim—近端樹突激活閾值。

前饋樹突連通值學習規則計算公式如下：

式中：p+—連通值增強因子；p-—連通值懲罰因子；Lt-1—t-1時刻SP列的激活狀態；?—矩陣點乘。

HTM-TM是對神經元遠端樹突段進行建模，根據遠端突觸的層內橫向連接激活不同細胞來學習SDR的轉換，并對輸入進行預測。該神經元預測狀態計算公式為：

式中：At—網絡在t時刻處于激活狀態的神經元；Wij—第j個細胞柱的第i個細胞突觸的連接狀態，當突觸連通值超過閾值時，該突觸就是連通的，賦予其權值1，反之權值為0；θ—樹突分支被激活的閾值。

處于預測狀態的神經元，與其他接受相同前饋輸入的神經元相比，具有更快的激活速度。每個神經元的活躍狀態計算如下：

遠端樹突連通值學習規則與近端類似使用Hebbian的規則學習的。如果細胞去極化后變得活躍，會加強引起去極化的樹突分支連通性。若活躍列中沒有神經元處于預測狀態，選擇活躍度最高的樹突分支進行強化。

2.3 HTM預測殘差

在鋼包的澆注過程中，沒有鋼渣出現時，連鑄生產參數在其相鄰周期內滿足其物理意義上的相關性。一旦出現下渣，時序數據在其相鄰時間的相關性將被破壞，預測殘差變化趨勢發生改變。通過分析殘差變化，可以預報出下渣概率。

HTM算法以SDR形式對序列進行預測，預測值為二階矩陣Pt，實際值的SDR矩陣為At，Pt-1表示對At的預測，預測殘差可以表示為：

其中，At與預測完全匹配，則Rt為0；反之，殘差Rt將為1。

預測殘差代表了對當前輸入流可預測性的瞬時度量，由于數據中存在異常波動，直接對預測殘差進行判斷會導致許多誤報，通過識別短期平均殘差會提高下渣預報的準確率。短期平均殘差為：

式中：U′—短期滑動窗口。

2.4 下渣概率評估

將殘差值的分布作為一個間接度量，來評估當前狀態下渣的可能性，根據HTM模型預測歷史來定義當前狀態下渣概率。該分布建模為滾動正態分布，設定一個寬度為U的滑動窗口，其中樣本均值μt和方差從預先確定的殘差值不斷更新如下：

并應用正態分布的分布函數評估當前時刻的下渣概率。將下渣概率定義為：

設定一個閾值δ，當下渣概率到達一定閾值時，發出下渣報警信息。

2.5 算法實現

（1）使用HTM模型預報連鑄下渣的算法流程如下：

（2）初始化網絡參數和潛在的突觸連接值；

（3）將輸入數據以二進制形式輸入SP進行SDR編碼得到觀測值的SDR矩陣At；

（4）通過HTM-TM對At進行預測得出預測SDR矩陣Pt；

（5）計算序列預測殘差Rt；

由定理1可知，當給定interval 和τ時，持續增大變換空間并不能一直降低入侵成功概率.因此，在單脆弱性變換情況下，為了獲得最佳動態防御效果，同時降低防御成本和部署復雜度，NDD的最優變換空間大小應設置為

（6）根據殘差值分布特性計算下渣概率Et；

（7）判斷Et是否滿足下渣報警閾值；

（8）滑動窗口向前移動，跳轉至步驟3進行下一個觀測值預測。

（9）重復執行2步～8步直到時間結束。

3 實驗分析

實驗平臺為主頻2.30GHz、內存8GB的Windows10下的tensorflow2.0、接口為python 3.7.0的開發環境。

3.1 實驗數據與參數設定

實驗數據采用人造數據和真實數據。人造序：

真實數據選取某鋼場1號連鑄機在正常澆注狀態下的監測數據，選取大包重量變化率Vd（t/s）、中間包重量變化率Vz（t/s）作為輸入變量。共采集了45爐數據，由于下渣情況發生在澆注末期，我們分別取停止澆注前20min的數據作為實驗數據，其時間序列長度為54416，采樣周期為1s。HTM網絡模型參數設定，如表1所示。

表1 HTM模型參數Tab.1 HTM Model Parameters

3.2 仿真過程分析

圖2 HTM與LSTM預測殘差對比Fig.2 Comparison of Predictive Residues Between HTM and LSTM

頂端為樣本序列Si的值，中間為HTM算法在600個步長下預測殘差變化，最下面的圖表示LSTM算法對序列迭代50次后的預測殘差。從圖中可以看出，序列變化前LSTM模型的殘差低于HTM模型。HTM開始時未學習到數據變化模式，準確性較差，隨著對序列的學習，殘差開始降低。序列在波動頻率發生變化后，HTM殘差升高到峰值后開始降低，而LSTM的殘差升高后，在一定范圍內波動。由此可以確定，對波動較大的數據集進行實時預測時，能夠快速適應新模式，HTM具有較好的預測實時性。基于HTM算法對兩個真實序列Vd和Vz進行測試，實驗中預設U=600，U′=20，δ=0.5。選取一段渣前后10分鐘的殘差變化過程進行分析結果，如圖3所示。

圖3 連鑄下渣預報Fig.3 Slag Prediction in Continuous Casting

Vd的殘差分析，可以看到的Et在時間8：40超出閾值（陰影部分），下渣的概率達到最大，如圖3（a）所示。可以看到Vz的Et在4：43和8：46兩次超出閾值并且滿足下渣報警條件，如圖3（b）所示。。為了避免誤報需要結合Vd的預報的下渣概率，當Vd和Vd的預測殘差都滿足報警條件時進行下渣報警。

3.3 下渣預報結果分析

通過HTM預測模型，可以得出較好的預測結果，實現對連鑄下渣的預報。為驗證算法的效果，對選取的45爐真實數據作為測試樣本對網絡模型進行了測試，測試結果，如表2所示。

表2 HTM模型的預報結果對比Tab.2 Comparison of Forecast Results of HTM Model

由表2看出，通過調整在短期滑動窗口U′，可以改變預報模型對下渣預報的敏感性，U′=20時，模型的預報率都達到了100%，沒有出現漏報現象。對單一變量Vd、Vz的預報結果分析，報出率均可達到100%，但都有誤報現象發生，兩個變量相結合進行分析的結果只有1次誤報警，對下渣特征的預報準確度有了較大提高。

利用連鑄機預報的現有數據，對大包重量變化率和中間包重量變化率進行同時預測，僅采用單一變量預測可能會丟失數據之間潛在的相關性，并且可能因為單個變量異常或者一些噪聲數據影響識別精度。與實際監測到下渣時間相比，HTM預報方法可以有效識別出下渣時間，具有較高的預報精度。

4 結束

在現有試驗數據的基礎上，提出了一種基于HTM算法的連鑄下渣預報方法。實際案例分析結果驗證了所建立的HTM網絡模型進行下渣預報的有效性和預報精度，與鑄造過程中實際記錄的下渣狀況相吻合，能夠在下渣早期提供有效的預警。在未來研究中還應該考慮將HTM與其他機器學習方法相結合，更精確的預測下渣時間還需要進一步研究。