基于KNN-LSTM神經(jīng)網(wǎng)絡(luò)模型的爐溫預(yù)測(cè)

駱文輝

（長(zhǎng)三角信息智能創(chuàng)新研究院，安徽蕪湖 241000)

0 引言

水泥行業(yè)是典型的流程型工業(yè)，主要生產(chǎn)過(guò)程可以概括為“三磨一燒”：生料磨、煤磨、水泥磨以及回轉(zhuǎn)窯燒制。水泥回轉(zhuǎn)窯工作狀態(tài)直接決定水泥的質(zhì)量，溫度的控制效果直接影響熟料游離氧化鈣的含量，進(jìn)而決定了水泥熟料的產(chǎn)品質(zhì)量。回轉(zhuǎn)窯燒成系統(tǒng)要求形成0.32～5.0 cm 的球形熟料結(jié)塊，理化反應(yīng)十分復(fù)雜，氣、液、固三相并存，是一個(gè)多變量、強(qiáng)干擾、大滯后的非線性系統(tǒng)[1]。因此，如何預(yù)測(cè)控制回轉(zhuǎn)窯溫度并穩(wěn)定控制爐溫對(duì)回轉(zhuǎn)窯熱工參數(shù)調(diào)節(jié)、穩(wěn)定窯況以及水泥熟料的正常生產(chǎn)和水泥質(zhì)量合格率的提高具有重要意義。

文章以某水泥公司產(chǎn)線傳感器回傳數(shù)據(jù)為基礎(chǔ)，依據(jù)流程型企業(yè)生產(chǎn)對(duì)歷史數(shù)據(jù)的依賴性，采用時(shí)間序列算法分析輸入變量的歷史趨勢(shì)，綜合考慮時(shí)間節(jié)點(diǎn)之間的相關(guān)性，通過(guò)Gaussian_KNN（高斯加權(quán)的K最鄰近法）對(duì)回轉(zhuǎn)窯分解爐溫度上下游參數(shù)的歷史數(shù)據(jù)進(jìn)行賦權(quán)后，應(yīng)用LSTM(Long Short-Term Memory Network,長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)）的Sequential模型來(lái)進(jìn)行預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明，與其他模型相比，KNN-LSTM能夠更加準(zhǔn)確地學(xué)習(xí)歷史數(shù)據(jù)中各節(jié)點(diǎn)儲(chǔ)存的信息以及節(jié)點(diǎn)之間的相關(guān)性，表現(xiàn)出更加準(zhǔn)確的預(yù)測(cè)性能。

1 原理和方法

1.1 Gaussian_KNN

根據(jù)k個(gè)最近的鄰居的狀態(tài)來(lái)決定樣本的狀態(tài)。KNN 算法的核心思想是，基于某種距離度量，找出此樣本與其最近的K個(gè)樣本，如果K個(gè)最相鄰的樣本中的大多數(shù)屬于某一個(gè)類別，則該樣本也屬于這個(gè)類別，并具有這個(gè)類別上樣本的特性。但KNN算法存在以下問(wèn)題[2]：如果初始數(shù)據(jù)集樣本數(shù)目不平衡，極易導(dǎo)致k個(gè)鄰居投票類別的參與概率不一樣。也就是說(shuō)，k個(gè)鄰居中，較大樣本數(shù)的類別其所屬的樣本占了絕大多數(shù)。采用Gaussian 函數(shù)進(jìn)行不同距離的樣本的權(quán)重優(yōu)化，使得訓(xùn)練樣本與測(cè)試樣本的距離與權(quán)重呈相反方向。給更近的鄰居分配更大的權(quán)重，而較遠(yuǎn)鄰居的權(quán)重相應(yīng)減少，取其加權(quán)平均。

1.2 LSTM

LSTM 是一種特殊的遞歸神經(jīng)網(wǎng)絡(luò)，是循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體[3]。它通過(guò)在適當(dāng)?shù)奈恢锰砑印伴T”結(jié)構(gòu)來(lái)解決信息冗余的問(wèn)題；在流經(jīng)神經(jīng)元時(shí)，允許信息被選擇性地保留或遺棄，從而增強(qiáng)了原始信息的權(quán)重，并削弱了不相關(guān)信息的權(quán)重，解決了傳統(tǒng)遞歸神經(jīng)網(wǎng)絡(luò)中梯度消失、梯度爆炸、無(wú)法處理長(zhǎng)期依賴等問(wèn)題[4]。文章根據(jù)時(shí)間序列的特點(diǎn)，考慮時(shí)間節(jié)點(diǎn)之間的相關(guān)性，利用高斯優(yōu)化過(guò)的KNN 算法，挑選對(duì)當(dāng)前時(shí)刻影響較大的前k個(gè)時(shí)間節(jié)點(diǎn)，并賦予相應(yīng)的權(quán)重來(lái)計(jì)算過(guò)往時(shí)刻對(duì)當(dāng)下的影響大小。距離越近，Gaussian函數(shù)計(jì)算后的權(quán)重越大，說(shuō)明對(duì)當(dāng)下時(shí)刻的影響越大。

1.3 KNN-LSTM

設(shè)di,j表示時(shí)間節(jié)點(diǎn)i與時(shí)間節(jié)點(diǎn)j之間的距離，則：

其中m為時(shí)間序列節(jié)點(diǎn)的維度，n為時(shí)間序列長(zhǎng)度；

Wi,j表示時(shí)間節(jié)點(diǎn)j對(duì)時(shí)間節(jié)點(diǎn)i的影響權(quán)重：

其中，a是距離曲線尖峰的高度，b是尖峰中心的坐標(biāo)，c稱為標(biāo)準(zhǔn)方差；

設(shè)為第i個(gè)時(shí)間節(jié)點(diǎn)的第j個(gè)近鄰點(diǎn)，則：

對(duì)賦予權(quán)重Wi,j，則：

考慮到時(shí)間序列模型依賴于數(shù)值在時(shí)間上的先后順序，首先對(duì)分解爐溫度序列進(jìn)行平穩(wěn)性檢驗(yàn)。平穩(wěn)性檢驗(yàn)為了確定沒有隨機(jī)趨勢(shì)或確定趨勢(shì)，否則將會(huì)產(chǎn)生“偽回歸”問(wèn)題。依據(jù)ADF單位根檢驗(yàn)，結(jié)果如圖1所示，adf＜CV(1%)能拒絕原假設(shè)，即原序列不存在單位根，原序列為平穩(wěn)序列。根據(jù)此結(jié)論，時(shí)間序列模型將歷史時(shí)間節(jié)點(diǎn)（即t-k時(shí)刻）中分解爐溫度對(duì)當(dāng)下時(shí)刻（即t時(shí)刻）的權(quán)重定義為1，即：

圖1 分解爐溫度序列ADF單位根檢驗(yàn)結(jié)果圖

通過(guò)時(shí)間窗口的滑窗操作將時(shí)間序列從無(wú)監(jiān)督轉(zhuǎn)為監(jiān)督學(xué)習(xí)問(wèn)題。滑窗操作產(chǎn)生的數(shù)據(jù)集包含k×m列數(shù)據(jù)，如圖2所示（圖中k取10)，其中k是滑窗的步長(zhǎng)，m為時(shí)間序列節(jié)點(diǎn)的維度。當(dāng)前時(shí)刻（即t時(shí)刻）分解爐溫度序列為主序列，也就是目標(biāo)序列；其余km-1 列為子序列，轉(zhuǎn)化后的監(jiān)督學(xué)習(xí)問(wèn)題將歷史時(shí)間序列作為特征序列，剔除子序列中當(dāng)前時(shí)刻（即t時(shí)刻）下m-1列序列，剩余子序列為特征序列。將特征序列賦予權(quán)重Wi,j，則新的特征序列為：

其中k為滑窗的步長(zhǎng)，n為滑窗操作后時(shí)間序列的長(zhǎng)度；

目標(biāo)序列為：

其中k為滑窗的步長(zhǎng)，n為滑窗操作后時(shí)間序列的長(zhǎng)度；

為了評(píng)價(jià)該方法的有效性，采用R-square確定系數(shù)，R-square越接近1，模型準(zhǔn)確率越高，反之，模型準(zhǔn)確率越低。

R-square:

2 實(shí)驗(yàn)

實(shí)驗(yàn)數(shù)據(jù)來(lái)自水泥公司某號(hào)產(chǎn)線傳感器回傳數(shù)據(jù)，如圖3所示，包含二次風(fēng)溫，生料喂料速度(t/h)，煤粉喂料速度(t/h)，喂煤電機(jī)轉(zhuǎn)速，喂煤秤負(fù)載，喂料閥門開度(%) 和分解爐溫度，時(shí)間為2022.7.11 0:00 至2022.7.13 2:00，共3 001 組數(shù)據(jù)，其中80%作為訓(xùn)練集，20%作為測(cè)試集。

2.1 參數(shù)選擇

1)滑動(dòng)窗口k值的選取

綜合產(chǎn)線及生產(chǎn)實(shí)際，實(shí)驗(yàn)數(shù)據(jù)的采樣頻率為1分鐘，考慮到水泥產(chǎn)線各生產(chǎn)環(huán)節(jié)的工藝不同，不同位置所采集到的數(shù)據(jù)，彼此間可能會(huì)存在一定的延時(shí)性，比如煤粉喂料速度t/h與分解爐溫度之間就存在延時(shí)性。因此，k值的選擇非常關(guān)鍵，不宜過(guò)小或過(guò)大，應(yīng)當(dāng)選擇在合適的區(qū)間內(nèi)，將k值假定在[1,10]區(qū)間內(nèi)，通過(guò)對(duì)比選取最優(yōu)值。

2)近鄰點(diǎn)個(gè)數(shù)N值的選取

近鄰點(diǎn)個(gè)數(shù)N值表示對(duì)當(dāng)前時(shí)刻而言，會(huì)考慮歷史前N個(gè)時(shí)刻的數(shù)值變化會(huì)對(duì)當(dāng)前時(shí)刻產(chǎn)生的影響。假設(shè)通過(guò)滑窗操作產(chǎn)生的前k個(gè)時(shí)刻都會(huì)對(duì)當(dāng)前時(shí)刻產(chǎn)生影響，因此，近鄰點(diǎn)個(gè)數(shù)N值與滑動(dòng)窗口k值保持一致。

3)網(wǎng)絡(luò)結(jié)構(gòu)的選取

圖4 中的網(wǎng)絡(luò)預(yù)測(cè)框架利用了機(jī)器學(xué)習(xí)中的KNN 算法以及深度學(xué)習(xí)中的Sequential 模型，來(lái)搭建多維賦權(quán)KNN-LSTM模型。經(jīng)過(guò)一系列對(duì)比實(shí)驗(yàn)，設(shè)置了最佳的網(wǎng)絡(luò)超參數(shù)，其中包括1 個(gè)LSTM 層、1 個(gè)Dropout 層和1個(gè)全連接層，LSTM 層的節(jié)點(diǎn)數(shù)為50，Dropout層的舍棄率為0.2。訓(xùn)練使用的損失函數(shù)為均方誤差(Mean Squared Error,MSE)，優(yōu)化器采用Adam，每次訓(xùn)練的樣本大小batch_size為72,訓(xùn)練的輪數(shù)epoch為50。

圖4 網(wǎng)絡(luò)結(jié)構(gòu)圖

2.2 結(jié)果與分析

1)不同k值（滑動(dòng)窗口）下，實(shí)驗(yàn)結(jié)果對(duì)比與分析

KNN-LSTM 模型對(duì)當(dāng)前時(shí)刻的分解爐溫度進(jìn)行預(yù)測(cè)，根據(jù)模型的輸入，歷史時(shí)刻的數(shù)據(jù)信息，即t-k時(shí)刻，t-k+1時(shí)刻，t-k+2時(shí)刻…t-1時(shí)刻的二次風(fēng)溫，生料喂料速度(t/h)，煤粉喂料速度t/h，喂煤電機(jī)轉(zhuǎn)速、喂煤秤負(fù)載、喂料閥門開度(%)和分解爐溫度。不同歷史時(shí)刻的數(shù)據(jù)信息分別乘以對(duì)應(yīng)權(quán)重Wi,j，最終構(gòu)成Sequential 模型的輸入。圖5 為k取[1,10]范圍內(nèi)，KNN-LSTM 模型在測(cè)試集上的表現(xiàn)，評(píng)價(jià)方法為Rsquare。由表1可知，不同k值（滑動(dòng)窗口）會(huì)帶來(lái)不同的歷史信息，會(huì)構(gòu)成不同的模型輸入，對(duì)未來(lái)的預(yù)測(cè)結(jié)果也不盡相同。k=4時(shí)，模型準(zhǔn)確率最高。因此，用當(dāng)前時(shí)刻的前4個(gè)歷史時(shí)間節(jié)點(diǎn)的相關(guān)信息來(lái)預(yù)測(cè)當(dāng)前時(shí)刻下的分解爐溫度最為準(zhǔn)確。

表1 不同K值（滑動(dòng)窗口）下，實(shí)驗(yàn)結(jié)果對(duì)比與分析

圖5 滑動(dòng)窗口，即k=4時(shí)，分解爐溫度預(yù)測(cè)值與實(shí)際值在測(cè)試集對(duì)比

2) KNN-LSTM(Gaussian_KNN) 對(duì)比ARMA，LSTM 以及KNN-LSTM（無(wú)Gaussian)

表2為分別用ARMA，LSTM，KNN-LSTM（無(wú)Gaussian)以及KNN-LSTM(Gaussian_KNN) 對(duì)當(dāng)前時(shí)刻分解爐溫預(yù)測(cè)的結(jié)果（滑動(dòng)窗口k=4)，評(píng)價(jià)方法同樣為R-square。由結(jié)果可知，KNN-LSTM(Gaussian_KNN) 可以更加有效地學(xué)習(xí)到過(guò)去4個(gè)時(shí)間節(jié)點(diǎn)的相關(guān)信息對(duì)當(dāng)前時(shí)刻分解爐溫的影響，并更加準(zhǔn)確地預(yù)測(cè)當(dāng)前時(shí)刻分解爐溫度。

表2 ARMA、LSTM、KNN-LSTM（無(wú)Gaussian)以及KNN-LSTM(Gaussian_KNN) 預(yù)測(cè)性能對(duì)比

3 結(jié)論

回轉(zhuǎn)窯的物理結(jié)構(gòu)特殊，煅燒情況復(fù)雜，不易準(zhǔn)確有效獲取窯內(nèi)溫度。傳統(tǒng)的數(shù)據(jù)模型與機(jī)理模型很難去模擬回轉(zhuǎn)窯真實(shí)的工況狀態(tài)，無(wú)法準(zhǔn)確預(yù)測(cè)和控制回轉(zhuǎn)窯內(nèi)溫度的變化情況[4]。KNN-LSTM(Gaussian_KNN)通過(guò)分析回轉(zhuǎn)窯分解爐溫度上下游參數(shù)的歷史數(shù)據(jù)變化趨勢(shì)以及相關(guān)性，能夠有效地預(yù)測(cè)下一時(shí)刻分解爐溫度，在實(shí)際生產(chǎn)過(guò)程中，通過(guò)將預(yù)測(cè)值與實(shí)際值進(jìn)行對(duì)比分析，判斷分解爐溫度的變化趨勢(shì)是否存在異常，能夠達(dá)到提升回轉(zhuǎn)窯預(yù)測(cè)性檢修的能力，從而保證窯內(nèi)溫度持續(xù)穩(wěn)定，進(jìn)而提高產(chǎn)品質(zhì)量。本文實(shí)驗(yàn)的主要結(jié)論如下：

根據(jù)時(shí)間序列的特點(diǎn)，對(duì)歷史趨勢(shì)的高度依賴以及時(shí)間節(jié)點(diǎn)之間的相關(guān)性，首先通過(guò)時(shí)間窗口的滑窗操作將時(shí)間序列從無(wú)監(jiān)督轉(zhuǎn)為監(jiān)督學(xué)習(xí)問(wèn)題。通過(guò)實(shí)驗(yàn)結(jié)果分析，發(fā)現(xiàn)滑窗操作k值的選擇尤為關(guān)鍵。k值并非越大，實(shí)驗(yàn)準(zhǔn)確率就越高。在一定區(qū)間內(nèi)，選取適合的k值，預(yù)測(cè)性能越好。同時(shí)也可以判斷出，對(duì)當(dāng)前時(shí)刻的分解爐溫度而言，此時(shí)選取的前k個(gè)時(shí)刻對(duì)當(dāng)前爐溫的影響最為關(guān)鍵；

與傳統(tǒng)的ARMA 模型相比，基于深度學(xué)習(xí)的LSTM模型預(yù)測(cè)準(zhǔn)確率更高。傳統(tǒng)的ARMA模型只能考慮到分解爐溫度單一時(shí)間序列的變化趨勢(shì)，而忽略了與分解爐相關(guān)參數(shù)的變化趨勢(shì)所帶來(lái)的影響；LSTM 模型相比于傳統(tǒng)的ARMA 模型，不僅將分解爐溫度的變化趨勢(shì)考慮到模型中，也將分解爐上下游的相關(guān)參數(shù)，如二次風(fēng)溫、生料喂料速度(t/h)、煤粉喂料速度(t/h)、喂煤電機(jī)轉(zhuǎn)速、喂煤秤負(fù)載、喂料閥門開度(%)考慮到模型中，使得模型可以學(xué)習(xí)到更多、更準(zhǔn)確的歷史信息，從而使模型的預(yù)測(cè)性能大幅提高。

與LSTM 相比，KNN-LSTM 的預(yù)測(cè)效果更好。KNN-LSTM 在數(shù)據(jù)傳入LSTM 模型之前，會(huì)根據(jù)歷史時(shí)間節(jié)點(diǎn)各維度與當(dāng)前時(shí)刻各維度的距離進(jìn)行相應(yīng)的權(quán)重賦值。KNN-LSTM（無(wú)Gaussian)采用時(shí)間節(jié)點(diǎn)間距離的倒數(shù)作為權(quán)重，而KNN-LSTM(Gaussian_KNN)采用Gaussian 函數(shù)進(jìn)行不同距離樣本的權(quán)重優(yōu)化，當(dāng)時(shí)間節(jié)點(diǎn)間的距離增大，該距離值權(quán)重減少，反之增加。從實(shí)驗(yàn)結(jié)果可知，KNN-LSTM(Gaussian_KNN)更加能夠擬合歷史各時(shí)間節(jié)點(diǎn)對(duì)當(dāng)前時(shí)刻分解爐溫度影響的權(quán)重大小，使得數(shù)據(jù)傳入LSTM 模型前的信息更加準(zhǔn)確，從而使模型的預(yù)測(cè)性能提高。