基于多變量LSTM的工業傳感器時序數據預測

易利容 王紹宇 殷麗麗 楊青 顧欣

Abstract： The forecasting of sensor timing series is a key process for industrial automation and intelligentization， and is of great significance for automated production supervision， risk prevention and technological improvement. Considering the weak generality of traditional statistical-based time series analysis methods and the long-term dependence problem of common Recurrent Neural Network models， a method of Long Short-Term Memory Neural Network based on multivariable analysis is proposed to solve these problems， especially for forecasting temperature， pressure， and current intensity of industrial equipment. This method uses the long-term information of the data and multi-variable correlation， effectively improves the accuracy. The experiment selects a Swedish company's mechanical sensor dataset for training and testing， and compares the proposed method with the univariate long short-term memory model and other major temporal prediction algorithms. The experimental results show that the proposed method has better prediction performance and versatility.

引言

物聯網、大數據、云計算[1]等新興產業的發展極大地推動了工業自動化進程。工業生產過程中通過物聯網匯總的各類傳感器采集的大量信息構成了傳感器大數據，這些數據都具備典型的時序數據特征，通過對這些時序數據的處理和預測可以有效地監督自動化生產過程、預防風險隱患和改進工業技術。

目前對工業傳感器時序預測的研究方法主要分為2類。一類是基于統計學的經典模型[2]，如移動平均法、指數平滑法、ARIMA模型和狀態空間模型等，由于統計模型過分依賴平穩性、穩定性等假設，對數據要求較高，通用性弱，因此不適用于工業用途。另一類是基于機器學習的預測模型，如KNN回歸、SVM回歸[3]、BP神經網絡[4-5]和深度神經網絡等。其中，KNN回歸、SVM回歸、BP神經網絡結構簡潔、性能穩定，但預測精度有所局限。隨著云計算、大數據時代的到來，計算能力的提高和訓練數據的大幅增加對深度學習提供了支持[6]，以循環神經網絡（Recurrent Neural Network， RNN）[7]為代表的深度網絡以其通用性強、預測精度高等優點逐漸成為時序預測的熱門的研究方向。實際應用中傳感器數據規律多與遠距離時間數據有關，然而普通RNN隨著循環進行發生的梯度爆炸或梯度彌散使模型只能學習到短周期的依賴關系[8]。為解決此問題，引入長短時記憶神經網絡[9] （Long Short-Term Memory Neural Network， LSTM NN或LSTM）。LSTM的長短時記憶單元能夠控制信息的累積速度，并在預測遠距離依賴型時序數據上展現了優越的能力。考慮到同一工業設備平臺的各類傳感器數據之間往往具有很強的相關性，本文基于數據的橫向信息（遠距離相關性）和縱向信息（多變量相關性），提出了改進的基于多變量LSTM的工業傳感器時序數據預測方法。該方法避免了統計學方法中數據假設的過分依賴性，對工業傳感器時序預測具有通用性。

1LSTM傳感器時序預測

Connor等人[10]依據傳統RNN算法提出了基于魯棒性濾波的RNN時序預測模型，以精簡的訓練方式實現了優于傳統統計學時序分析方法的預測性能。但與傳統RNN模型一樣，該模型對輸入配置要求高，并且由于對長期依賴型時序預測存在內部缺陷，因此該模型無法滿足更高的精度需求。隨著深度學習的發展，LSTM作為一種改進的RNN算法被提出，基于這種算法建立傳感器時序預測模型，可以有效彌補普通RNN的缺陷。

1.1工業傳感器時序數據預處理

訓練及測試數據為瑞典某公司機械裝載傳感器時序數據集，該數據集包括一個同步時間段內的壓力、熱力、電量等24個不同種類的傳感器時序數據。數據采集的總時長為6天、時間間隔為1 min。總數據集共有24組、8 641條原生數據，其中包括3組標簽數據和21組連續型數據。圖1展示了其中4組傳感器數據的可視化特征，橫軸為時間索引，縱軸為樣本值。由圖1可知，數據具有明顯的周期性，并且不同數據間的相關性也較為顯著。考慮到其中油桶溫度、 排放過濾器壓力及室外動力單元溫度這3類數據對監督工業生產的正常運行尤為關鍵，實驗模型將分別對這3類數據進行預測。

數據預處理包括數據清洗、標簽數據One-hot編碼及數據歸一化。訓練集為前4天的5 760條數據，測試集為余下的2 876條數據。

1.2LSTM模型

RNN使用帶有自反饋的神經元，不斷將自身上一刻的輸出當作輸入，能夠學習任意長度的時序邏輯特征。然而RNN在訓練后期，容易出現梯度彌散或梯度爆炸，亦即當時序間隔不斷增大，這種神經網絡無法學習到遠距離信息。

研究中擬預測的傳感器數據具有遠距離依賴特性，為彌補普通RNN的缺陷，本文提出了基于LSTM模型來預測工業傳感器數據。LSTM是循環神經網絡的一個變體，由德國學者Hochreiter和Schmidhuber于1997年提出。LSTM通過有針對性設計避免了長期依賴問題，在大量實驗中證明了其優越性。不同于普通RNN的單一隱藏層，LSTM將信息存放在RNN正常信息流之外的控制單元中，即引入一個新的狀態單元C，如圖2所示，LSTM的設計核心是門限機制，包括輸入門、遺忘門和輸出門。對其功能設計可分述如下。

1.3多變量LSTM傳感器預測模型

針對實際工業傳感器數據的遠距離相關性及不同傳感器數據間多變量相關性特征，本文提出了改進的多變量LSTM傳感器時序預測模型。該模型的網絡結構包括3層：輸入層、隱藏層和輸出層。其中，輸入層控制輸入數據的格式；隱藏層是包含了若干LSTM單元的結構，通過反復迭代、調整權值來降低誤差直至收斂。輸出層將結果還原為原始數據格式，拓撲結構如圖3所示。

由圖3可知，輸入層將預處理后的工業傳感器時序數據轉為可用于監督學習的數據。選取T個時間步為間隔，以每個時刻前T個時間步的數據作為該時刻的輸入，該時刻對應的樣本值作為目標輸出，將數據劃分為輸入集和相應的輸出集。為了使輸入數據包含多變量性，將24類傳感器數據整合為3維數據：[樣本值 ，時間步，特征]，接著以時間步為唯一索引輸入到隱藏層中。

隱藏層數根據數據特征和實驗結果靈活調整，本文數據具有較強的規律性，隱層數量過多容易導致過擬合，因此本文中的模型為單隱層結構。由公式（1）～（3）可知，門限激活函數σ（·）的選擇是模型建立的關鍵，由于ReLU函數能減輕梯度彌散問題且計算速度較快，因此選其作為門限激活函數。過擬合是多變量多參數深度神經網絡訓練過程中的一個嚴重問題，本文在隱層加入Dropout[8]算法，核心是訓練期間從神經網絡中隨機丟棄單元（及其連接），這種方法能夠有效緩解過擬合問題。輸出層對預測輸出i與目標輸出yi計算平均絕對值誤差（Mean absolute Error，MAE）作為損失函數，MAE是平均誤差幅度的明確度量，適用于大部分模型的平均誤差比較[9]。隱藏層將損失函數計算得出的梯度反向傳播調整公式中的所有權值，使用Adam算法為每一次迭代學習生成優化參數，直到損失函數收斂。模型訓練結束后，輸出層對結果進行反歸一化等處理，將預測值還原為與輸入相符的時序數據格式。

2實驗

實驗分為模型訓練與模型測試2部分，分別對油桶溫度、排放過濾器壓力及室外動力單元溫度3組時序數據進行預測。輸入數據的時間間隔T為5，模型訓練的Epoch為50， Batch size為512。使用相同數據集訓練及測試單變量LSTM預測模型、BP神經網絡、KNN回歸及SVM回歸作為對比實驗。

2.1實驗環境

實驗操作系統為Ubuntu16.04，編程語言為python2.7，算法平臺為Tensorflow；硬件配置為CPU Intel i7，內存8 G。

2.2實驗結果

其中，yi和i分別表示第i個樣本的真實值和預測值，n是樣本數量。RMAE和MAPE的值越小，說明預測結果越準確。

研究中得到5種模型對3組數據的預測結果比較可見表1。除單變量LSTM模型外，其它模型均為多變量輸入。由比較結果可知，多變量LSTM在3組測試結果中RMSE值均為最低，2組測試結果中MAPE值最低，預測誤差最小。實驗中，KNN回歸和SVM回歸的訓練速度最快，但預測結果誤差較大。多變量LSTM的訓練時間低于單變量LSTM，這是由于Dropout算法使多變量LSTM模型的網絡節點復雜度降低，且ReLU激活函數計算速度快等原因。

3結束語

本文提出了一種基于多變量分析的LSTM預測工業傳感器時序數據的方法，該方法不但克服了傳統機器學習方法的長期依賴問題，同時利用實際工業生產平臺上多類傳感器數據存在遠距離依賴和相關的特點，有效提高了時序數據的預測精度。實驗結果證明：該模型對工業傳感器時序數據的預測能力優于BP神經網絡、SVM回歸、KNN回歸及單變量LSTM模型。論文的未來工作將考慮通過擴大數據集，提高模型的泛化能力。

參考文獻

[1] 羅軍舟，金嘉暉，宋愛波，等. 云計算：體系架構與關鍵技術[J]. 通信學報，2011，32（7）：3-21.

[2] BOX G E P， JENKINS G M， REINSEL G C， et al. Time series analysis： Forecasting and control[M]. New York：John Wiley & Sons， 2015.

[3] ZHANG Fan， DEB C， LEE S E， et al. Time series forecasting for building energy consumption using weighted Support Vector Regression with differential evolution optimization technique[J]. Energy and Buildings， 2016， 126： 94-103.

[4] WONG F S. Time series forecasting using backpropagation neural networks[J]. Neurocomputing， 1991， 2（4）： 147-159.

[5] WANG Lin， ZENG Yi， CHEN Tao. Back propagation neural network with adaptive differential evolution algorithm for time series forecasting[J]. Expert Systems with Applications， 2015， 42（2）： 855-863.

[6] 程學旗，靳小龍，王元卓，等. 大數據系統和分析技術綜述[J]. 軟件學報，2014，25（9）：1889-1908.

[7] CONNOR J， ATLAS L. Recurrent neural networks and time series prediction[C]//IJCNN-91-Seattle International Joint Conference on Neural Networks. Seattle， WA， USA：IEEE， 1991： 301-306.

[8] 焦李成，趙進，楊淑媛，等. 深度學習、優化與識別[M]. 北京：清華大學出版社，2017.

[9] HOCHREITER S， SCHMIDHUBER J. Long short-term memory[J]. Neural computation， 1997， 9（8）： 1735-1780.

[10]CONNOR J T， MARTIN R D， ATLAS L E. Recurrent neural networks and robust time series prediction[J]. IEEE transactions on neural networks， 1994， 5（2）： 240-254.

[11]SRIVASTAVA N， HINTON G， KRIZHEVSKY A， et al. Dropout： A simple way to prevent neural networks from overfitting[J]. The Journal of Machine Learning Research， 2014， 15（1）： 1929-1958.

[12]WILLMOTT C J， MATSUURA K. Advantages of the mean absolute error （MAE） over the root mean square error （RMSE） in assessing average model performance[J]. Climate research， 2005， 30（1）： 79-82.