基于tSNE?LSTM算法的工業預測模型

摘" 要： 隨著工業生產的復雜性和規模的增加，準確的工業預測模型對于提高生產效率和降低成本至關重要。為此，提出一種基于tSNE?LSTM算法的工業預測模型來預測工業生產過程的溫度。將t?SNE應用于數據降維和特征提取，然后使用LSTM進行序列建模和預測。該模型結合了t?SNE降維和LSTM循環神經網絡的優勢，能夠有效地捕捉時間序列數據的非線性動態特征，并進行準確預測。在實際工業數據集上的實驗驗證結果表明，該模型在工業預測任務中具有較高的準確性和魯棒性。

關鍵詞： 工業預測； 溫度預測； t?SNE； LSTM； 時間序列數據； 非線性動態特征

中圖分類號： TN911?34； TP18" " " " " " " " " " "文獻標識碼： A" " " " " " " " " " " 文章編號： 1004?373X（2024）12?0081?05

Industrial prediction model based on tSNE?LSTM algorithm

TAN Jiansuo1， WU Xinghua2， XU Wenguang1， YANG Kaiming1， XING Xiangyun1， WANG Hongliang2

（1. Tin Chemical Company Limited of Yunnan Tin Co.， Ltd.， Mengzi 661019， China;

2. Faculty of Civil Aviation and Aeronautics， Kunming University of Science and Technology， Kunming 650500， China）

Abstract： As the increases of complexity and scale of industrial production， accurate industrial forecasting models are essential to improve production efficiency and reduce costs. On this basis， an industrial prediction model based on tSNE?LSTM algorithm is proposed to predict the temperature of industrial production process. t?SNE is used for the data dimensionality reduction and feature extraction， and then LSTM is used for the sequence modeling and prediction. The advantages of t?SNE dimensionality reduction and LSTM recurrent neural network are combined in this model， so that the nonlinear dynamic features of time series data can be captured" effectively and be predicted accurately. By the experimental verification on actual industrial datasets， the results show that the model has high accuracy and robustness in industrial prediction tasks.

Keywords： industrial forecasting; temperature predition; t?SNE; LSTM; time series data; nonlinear dynamic features

0" 引" 言

隨著工業生產的智能化和自動化程度的提高，以及工業領域中大規模、高維時間序列數據的快速增長，如何準確預測和分析這些數據成為了一個重要的挑戰。針對這個問題，近年來出現了基于機器學習的預測方法，其中基于深度學習的方法已經在工業預測中得到了廣泛應用。

范國棟等人為了提高工業生產效率和安全性，提出了基于XGBoost算法構建的工業機械設備故障預測模型，和經過決策樹訓練出來的工業機械設備故障類型預測模型，具有較高的準確性[1]。蔣建香等人以工業用戶作為城市用電主體，提出一種基于VMD?GRU?EC的工業用戶短期負荷預測方法。該方法具有由負荷組成結構復雜、易受生產計劃等因素影響而產生沖擊性負荷的特點。其次，在采用傳統的VMD?GRU預測值的基礎上，進一步考慮增加基于門控循環網絡的誤差修正方法對初始預測值進行修正，從而更好地適應工業負荷的多變性和突變性[2]。孔彪等人為實現煤自燃的高效預測預警，提出了一種改進鯨魚優化算法結合BP神經網絡（MSWOA?BP）的煤自燃溫度預測模型。預測結果表明，所提模型具有更高的預測精度和穩定性[3]。吳皓等人針對傳統方法存在的數據收集時間跨度大和傳感器誤差大等問題，提出了一種基于對抗擾動和局部信息增強的進閥溫度預測模型（Robust?InTemp）[4]。張悅等人針對單一機理模型與數據驅動模型泛化能力弱、預測效果不理想的現狀，提出了一種基于混合模型和Stacking框架的參數預測方法來預測循環水出口溫度[5]。孟忍為了應對分解爐出口溫度變量的多樣性，提出一種核主成分分析KPCA?BiLSTM模型，用來預測分解爐的出口溫度[6]。

為了提升對工業預測的精度和預測魯棒性，避免預測過程中出現梯度爆炸和消失等問題，本文提出一種t?SNE（t?Distributed Stochastic Neighbor Embedding）與LSTM（Long Short?Term Memory）相結合的工業預測方法。tSNE?LSTM算法是一種基于深度學習的工業預測模型。tSNE可以將高維數據映射到低維空間，保持數據之間的相對距離，提供更好的數據可視化和特征提取能力。LSTM網絡則能夠捕捉時間序列數據中的長期依賴關系，提供更準確的預測能力。通過將tSNE和LSTM結合起來，tSNE?LSTM算法可以在工業預測任務中實現更好的性能。

1" t?SNE算法原理

t?SNE是一種非線性降維算法[7?8]，用于可視化高維數據。該算法的核心思想是將高維數據映射到低維空間中，并在低維空間中保持相似數據點之間的關系。具體地說，t?SNE算法分為兩個步驟：首先，在高維空間中計算數據點之間的相似度，并將這些相似度轉換為概率分布；接著，在低維空間中定義另一個概率分布，并使用梯度下降等優化方法來最小化兩個概率分布之間的KL散度，從而將高維數據映射到低維空間中。以下詳細介紹t?SNE算法的公式和原理。

首先，需要計算高維空間中數據點之間的相似度，可以使用高斯核函數計算。設數據集為X，[xi]和[xj]分別表示X中第i個和第j個數據點，則[xi]和[xj]之間的相似度可以表示為：

[pi|j=pj|i=exp-xi-xj22σ2ik≠iexp-xi-xj22σ2i]

式中[σ2i]是一個與i相關的方差參數，用于控制鄰域的大小。相似度值[pi|j]越大，則說明數據點[xi]和[xj]越相似。可以將這些相似度轉換為概率分布，其公式為：

[Pij=Pji=pi|j+pj|i2n]

式中n是數據點的總數。

在低維空間中，同樣需要定義一個概率分布Q，表示數據點之間在低維空間中的相似度。對于低維空間中的每個數據點[yi]，也可以計算[Qi|j]，具體地，使用以下高斯核函數計算：

[Qi|j=Qj|i=exp -yi-yj22σ2ik≠iexp-yi-yj22σ2i]

同樣地，需要將[Qi|j]轉換為概率分布。

[Qij=Qji=qi|j+qj|i2n]

現在需要最小化P分布和Q分布之間的KL散度，其公式為：

[KLPQ=ijpi|jlogPijQij]

最小化KL散度的過程可以通過梯度下降等優化方法實現。在t?SNE中，筆者更加關注那些在高維空間中距離很近的數據點，這樣做的原因是保持相似的數據點在低維空間中更近的特性。總之，t?SNE算法通過計算數據點之間的相似度，構建高維和低維空間的概率分布，以及最小化兩個分布之間的KL散度，將高維數據映射到低維空間中，并在低維空間中保持相似數據點之間的關系。這樣可以對高維數據進行可視化和理解。

2" LSTM算法原理

LSTM（Long Short?Term Memory）是一種常用于處理序列數據的循環神經網絡（RNN）變體[9]。它通過引入記憶單元和門控機制，有效地解決了傳統RNN面臨的長期依賴問題。LSTM網絡由一系列LSTM單元組成，每個單元包含三個關鍵組件，分別為：輸入門（input gate）、遺忘門（forget gate）和輸出門（output gate）。

輸入門的目的是控制要將多少新信息加入到記憶單元中。它通過對輸入數據x和上一個時刻的隱藏狀態[ht-1]進行操作來產生一個0～1之間的值，表示更新的程度。輸入門的計算公式如下：

[it=sigmoidWi·xt+Ui·ht-1+bi]

遺忘門的作用是決定要從記憶單元中刪除多少舊信息。它通過對輸入數據x和上一個時刻的隱藏狀態[ht-1]進行操作來產生一個0～1之間的值，表示遺忘的程度。遺忘門的計算公式如下：

[ft=sigmoidWf·xt+Uf·ht-1+bf]

記憶單元是LSTM的核心部分，用于存儲并傳遞信息。它由輸入門和遺忘門的結果來更新。記憶單元的計算公式如下。

候選記憶單元：

[Ct=tanhWc·xt+Uc·ht-1+bc]

更新記憶單元：

[Ct=ft·Ct-1+it·Ct]

輸出門決定要將多少記憶傳遞給下一個隱藏狀態，并生成當前時刻的輸出。輸出門的計算公式如下：

[ot=sigmoidWo·xt+Uo·ht-1+bo]

隱含狀態計算：

[ht=ot·tanhCt]

式中：[xt]表示t時刻的輸入；it、[Ct]、ft、Ct、[ot]、ht、[ht-1]分別表示輸入門、候選記憶單元、遺忘門、更新后的記憶單元、輸出門、當前時間步驟的隱含狀態、上一時刻步驟的隱含狀態；Wi、Wc、Wf、Wo表示輸入的權重參數；[Ui]、[Uc]、[Uf]、[Uo]表示隱含狀態的權重參數；bf、bi、bc、[bo]分別表示遺忘門、輸入門、神經元、輸出門的偏置參數；tanh為激活函數。

LSTM網絡的訓練過程是通過反向傳播算法來實現的，目標是最小化預測輸出與真實輸出之間的誤差。在訓練過程中，可以使用梯度下降算法來更新網絡中的參數。LSTM網絡的優點在于其能夠有效地捕捉長期依賴關系，適用于處理各種序列數據，如自然語言處理、語音識別和時間序列預測等任務。它的門控機制使得網絡能夠選擇性地存儲和遺忘信息，從而提高了模型的靈活性和表達能力。LSTM網絡結構圖如圖1所示。

3" tSNE?LSTM算法的工業預測模型

3.1" 數據集來源

本研究所用數據集來自云南錫業錫化工材料有限責任公司錫材料生產過程中在生產線上所監測到的壓力和溫度等相關數據。從每條生產線上選取兩組時間序列數據進行驗證，共16組數據，每組數據包含15 min的監測數據，包括兩種壓力數據和一種溫度數據，如表1所示。

3.2" 數據集預處理和后處理

在進行實驗前先對數據進行預處理，數據集歸一化是一種常用的數據預處理技術，旨在將不同特征之間的值范圍統一，以消除不同特征之間的量綱差異和數值差異對模型訓練的影響。歸一化可以使得數據分布更加符合模型的需求，提高模型的收斂速度和穩定性。本文使用最大?最小歸一化方法對數據進行預處理，其將數據線性映射到指定的最小值和最大值之間，公式為：

[x'=x-minmax-min]

式中：[x]表示原始數據的值；[x']表示經過歸一化處理后的數據；max表示原始數據集的最大值；min表示原始數據集的最小值。此外，在實驗預測后應進行反歸一化操作，反歸一化是將經過歸一化的數據還原到原始狀態的過程。在機器學習中，訓練模型時對數據進行了歸一化處理，當使用該模型對新數據進行預測時，需要將輸出結果進行反歸一化，得到與原始數據同樣的數值范圍。最小?最大歸一化的反歸一化公式如下：

[x=x'·max-min+min]

反歸一化的過程是將經過歸一化縮放的數據重新映射回原始數據的取值范圍，使得輸出結果可以與原始數據進行比較。需要注意的是，在進行反歸一化時，應使用與訓練集相同的最大值和最小值進行還原，以確保還原后的數據與訓練集中的數據相同。

3.3" tSNE?LSTM工業溫度預測

tSNE?LSTM模型由兩個主要步驟組成：t?SNE降維和LSTM預測。首先，利用t?SNE算法對原始高維數據進行降維。本文選擇將其映射到二維空間，可以將原始數據的復雜特征轉化為可視化的形式，并保留關鍵的信息；然后，將降維后的數據作為LSTM模型的輸入，用于時間序列預測。而LSTM網絡主要由輸入門、輸出門和遺忘門構成。輸入門輸入tSNE降維后的數據，遺忘門決定這些數據重不重要，輸出門輸出歸一化后的數據。本文構建的預測模型流程如圖2所示。

基于tSNE?LSTM的工業溫度預測模型的流程如下。

Step1：獲取數據。從每條生產線的歷史數據中選取兩組數據，一組取運行中間部分，另一組取結束部分，每組選取15 min來進行預測。

Step2：t?SNE降維與數據集劃分。本文使用t?SNE將三維數據降維到二維情況下，并將降維得到的數據歸一化后按7∶3的比例劃分為訓練集和測試集，作為LSTM網絡的輸入。

Step3：構建LSTM網絡結構。設定LSTM的輸入神經元、輸出神經元、激活函數、迭代次數權重與偏置等重要操作單元。

Step4： tSNE?LSTM進行訓練與測試。在不斷的測試過程中調節網絡的參數信息，直到滿足所需條件即可。

Step5：進行消融實驗。通過對比tSNE?LSTM模型與LSTM模型的預測結果，以此來評估本文所提模型性能的優劣。

4" 溫度預測的結果與分析

4.1" 評估標準

為評估tSNE?LSTM模型預測溫度的準確性，試驗采用均方根誤差（RMSE）及平均絕對誤差（MAE）進行評估，公式為：

[RMSE=1ni=1nyi-y'i2，" MAE=1ni=1nyi-y'i]

式中：n為數據序列長度；[yi]為真實溫度值；[y'i]為預測溫度值。

4.2" 預測結果與消融實驗

本文使用從每條錫生產線上選取兩組共30 min的壓力和溫度歷史數據，每組數據按7∶3的比例劃分為訓練集與測試集。在此基礎上，設置消融實驗（LSTM模型與tSNE?LSTM模型）進行對比，驗證所提模型的性能。對比結果如圖3與圖4所示。

圖3與圖4展示的是A1生產線上的數據預測，從兩幅圖可以看出，tSNE?LSTM的結果要優于LSTM模型。

由表2可以看出，tSNE?LSTM模型分別在訓練集、測試集上的結果優于LSTM模型30%左右、40%左右。由此可以說明，本文所提出的模型在工業預測方面具有很好的預測精度和穩定性。

5" 結" 語

本文提出了一種基于tSNE?LSTM算法的工業溫度預測模型。該模型能夠有效地捕捉時間序列數據的非線性動態特征，并實現準確的工業預測。實驗結果表明，該模型在工業預測任務中具有較高的準確性和魯棒性。然而，所提模型仍然存在一些挑戰和問題，如模型的可解釋性、數據集的特征選擇和收集、模型的訓練和優化等。未來的研究可以進一步探索這些問題，改進tSNE?LSTM算法，并將其應用于更多的工業預測場景中。

注：本文通訊作者為王洪亮。

參考文獻

[1] 范國棟，李博涵.基于機器學習的工業機械設備故障預測方法[J].自動化與信息工程，2023，44（4）：13?18.

[2] 蔣建香，楊蘋，官裕達，等.基于VMD?GRU?EC的工業用戶短期負荷預測方法[J].電氣自動化，2023，45（5）：34?37.

[3] 孔彪，朱思想，胡相明，等.基于改進鯨魚算法優化BP神經網絡的煤自燃預測研究[J].礦業安全與環保，2023，50（5）：30?36.

[4] 吳皓，周宇，張碩樺，等.Robust?InTemp：基于對抗擾動和局部信息增強的進閥溫度預測[J].計算機系統應用，2023，32（12）：84?94.

[5] 張悅，田慶，白英君.基于混合模型和Stacking框架的循環水出口溫度預測[J].計算機仿真，2023，40（5）：172?177.

[6] 孟忍，董學平，甘敏.基于KPCA和BiLSTM的分解爐出口溫度預測[J].合肥工業大學學報（自然科學版），2023（2）：169?174.

[7] 孟凡麗，王小刀，王逸晨，等.基于TSNE降維算法的基坑水平位移預測研究[J].浙江工業大學學報，2023，51（4）：403?411.

[8] 蒲貞洪，朱元富.基于TSNE?BiGRU模型短期電力負荷預測[J].電工技術，2023（3）：52?57.

[9] 王運明，周奕昂，彭國都，等.基于改進LSTM的高速列車牽引電機軸承溫度預測模型[J].大連交通大學學報，2023，44（4）：46?53.

[10] 李坤宏，江桂云，朱代兵.數控機床電動主軸WPD?TSNE?SVM模型故障診斷[J/OL].機械科學與技術：1?5[2023?10?30]. https：//kns.cnki.net/kcms2/article/abstract？v=yqeyU9EK6jRIpwGHEERcvao?NzBco7d8GaAPiHAtHIUU7N82?3Vb7e9EVQNl0naEoDZDm4ljHCXonKk9nrVuiQIay8FiXfOqnqboAxw4JzNXaVd9QKOuKdzqarlrtPDJPusdN7KwM38=amp;uniplatform=NZKPTamp;language=CHS.

[11] 陳劍，程明.基于tSNE?ASC特征選擇和DSmT融合決策的滾動軸承聲振信號故障診斷[J].電子測量與儀器學報，2022，36（4）：195?204.

[12] 趙輝.基于隨機近鄰嵌入的判別性特征學習[D].成都：西南交通大學，2022.

[13] 張淑清，段曉寧，張立國，等.Tsne降維可視化分析及飛蛾火焰優化ELM算法在電力負荷預測中應用[J].中國電機工程學報，2021，41（9）：3120?3130.

[14] 董安國，張倩，劉洪超，等.基于TSNE和多尺度稀疏自編碼的高光譜圖像分類[J].計算機工程與應用，2019，55（21）：177?182.