基于改進LSTM的高速列車牽引電機軸承溫度預測模型

王運明,周奕昂,彭國都,常振臣

(1.大連交通大學 自動化與電氣工程學院,遼寧 大連 116028;2.中車長春軌道客車股份有限公司 國家工程技術中心,吉林 長春 130000)

牽引電機既是高速列車的動力來源,也是列車故障的易損壞部件[1],牽引電機的正常工作,是高速鐵路安全正點運行的重要保障。牽引電機主要由定子、轉子、軸承組成,而軸承是牽引電機中最容易發生故障的零件[2]。牽引電機軸承的溫度信息是反映高速列車牽引電機故障的重要指標之一。因此,預測牽引電機軸承溫度已成為準確預測高速列車牽引電機故障的重要手段。

近年來,基于數據驅動的機器學習方法逐漸成為溫度預測領域的研究熱點。皮駿等[3]建立了基于廣義回歸神經網絡的航空發電機排氣溫度預測模型,提高了預測精度。王振陽等[4]采用支持向量機和極限學習機建立高爐鐵水溫度預測模型,支持向量機預測模型預測鐵水誤差在±10 ℃范圍內的命中率可達到94%。隨著深度學習技術的發展,循環神經網絡(Recurrent Neural Network, RNN)通過引入時間步長信息,提高了溫度預測的精度[5]。由RNN發展而來的長短記憶神經網絡(Long Short-Term Memory, LSTM),解決了RNN存在的梯度消失和梯度爆炸問題[6],目前已被應用于故障診斷[7]、故障預測[8]、自然語言處理[9]等領域,并且已經成為時間序列預測問題的首選方法。劉樹鑫等[10]建立了基于LSTM網絡的交流接觸器剩余壽命預測模型,采用灰色關聯分析法(Grey Relation Analysis, GRA)和皮爾遜相關系數法(Pearson Correlation Coefficient, PCC)選取特征參量,預測精度明顯高于RNN算法。吳飛等[11]采用LSTM網絡預測刀具后刀面磨損值,采用粒子群算法(Particle Swarm Optimization, PSO)尋優網絡學習率和隱藏層個數等參數。李冬輝等[12]和包曉安等[13]提出了改進的LSTM網絡,將輸入門與遺忘門相互耦合,用于冷水機組傳感器故障預測和智能家居機器學習系統,達到實際應用需求。

為提高牽引電機軸承溫度的預測精度,本文提出了一種基于改進LSTM的高速列車牽引電機軸承溫度預測模型。該模型引入窺視孔模塊,改進了LSTM網絡結構,使得一個存儲塊包含多個細胞,共享3個控制門,適應長距離時間序列的牽引電機軸承溫度數據,設計兩層改進LSTM網絡構成隱藏層,減少模型的計算量和訓練耗時。最后,選取某動車組的歷史運行數據進行測試與分析,試驗結果表明,改進模型提高了牽引電機軸承溫度的預測精度。

1 LSTM網絡模型

RNN模型主要由輸入層、隱藏層、輸出層組成,RNN結構見圖1。RNN模型借助隱藏層的數據持續更新實現參數的時間共享和循環提取時間信息,適合處理時間序列數據。RNN的前向傳播公式為:

圖1 RNN結構

ht=fa(Xt·Wxh+ht-1·Whh+bh)

(1)

yt=ht·Why+by

(2)

式中:Wxh、Whh、Why分別為權重系數;bh、by為偏置項;fa為激活函數(如tanh激活函數);t為時間。

LSTM是由RNN發展而來的,能夠解決RNN存在的梯度消失和梯度爆炸問題,更加適應長距離的時間序列數據,LSTM內部結構見圖2。

圖2 LSTM內部結構

(3)

式中:Wf、Wi、Wo、Wc為待訓練的參數矩陣;bf、bi、bo、bc為待訓練的偏置項。LSTM采用基于梯度的反向傳播方法更新權重參數。

2 牽引電機軸承溫度預測模型

2.1 改進LSTM網絡

高速列車牽引電機軸承溫度數據存在數據量大、時間序列跨度大的特點,采用LSTM網絡預測牽引電機軸承溫度容易產生預測精度不高的問題。為此,本文在LSTM網絡的基礎上,優化網絡結構,設計改進的LSTM網絡模型(圖3)。

圖3 改進LSTM網絡結構

改進的LSTM網絡增加了窺視孔模塊(Peephole),將上一時刻的細胞狀態Ct-1引入輸入門和遺忘門的輸入中,將當前時刻的細胞狀態Ct引入輸出門的輸入中,使得門控制機制在歷史信息中也能學習,適應長距離時間序列的牽引電機軸承溫度數據,提升溫度預測精度。

2.2 窺視孔模塊

LSTM結構中每個時刻的隱含層包含一個存儲塊(block),每個存儲塊包含一個細胞(cell)。窺視孔模塊能夠從細胞狀態中學習到網絡傳播時產生的歷史信息,提高時間敏感性,更精確地篩選網絡需要更新、丟棄、輸出的信息。為優化3個控制門的更新效果,引入窺視孔模塊(Peephole),使得一個存儲塊包含多個細胞,這些細胞共享3個控制門。增加窺視孔模塊后,LSTM更新方案調整為:更新輸入門、遺忘門、細胞狀態;更新輸出門和細胞輸出。基于Peephole的LSTM網絡更新過程如下:

(4)

(5)

(6)

2.3 牽引電機軸承溫度預測模型

基于改進LSTM的牽引電機軸承溫度預測模型包含數據預處理、模型訓練、模型預測和模型評估幾部分,其流程圖見圖4。

圖4 基于改進LSTM的高速列車牽引電機軸承溫度預測流程

列車運行n個時刻的數據表示為

…,Yn},數據集按照一定比例劃分為訓練集Dtr={Xtr,Ytr}、測試集Dte={Xte,Yte}和驗證集Dval={Xval,Yval},采用改進的LSTM網絡進行訓練和預測。

為精確預測牽引電機軸承的溫度,本文建立了一種基于改進LSTM的牽引電機軸承溫度預測模型,設計了預測模型的輸入層、隱藏層、輸出層。輸入層負責數據預處理,滿足模型輸入要求,隱藏層負責提取數據特征,輸出層負責輸出溫度預測值。選取平均絕對誤差(Mean Absolute Error, MAE)作為損失函數,采用Adam優化器降低損失函數值。預測模型結構見圖5。

隱藏層是預測模型的核心部分。為充分挖掘輸入數據Xtr隱含的信息,減少模型的計算量和訓練耗時,采用改進LSTM網絡設計兩層隱藏層。設Y1′為隱藏層1的輸出,Y2′為隱藏層2的輸出,隱藏層的處理過程表示為:

Y1′=F1(W1,B1)(Xtr)

(7)

Y2′=F2(W2,B2)(Y1)′

(8)

式中:W1、W2、B1、B2分別為改進LSTM網絡的總權重參數。通過兩次LSTM前向傳播和各層參數的時間共享,實現輸入數據Xtr的特征提取。

(9)

式中:W3和B3為全連接層的權重參數。

(10)

溫度預測模型訓練的最終目標為通過優化器不斷更新權重參數W1、W2、W3和B1、B2、B3,使損失函數盡可能降到最低。模型采用Adam優化器降低損失函數值。

預測模型訓練結束后,利用測試集Dte={Xte,Yte}觀察預測精度,通過輸入Xte得到模型的預測輸出Ypre,{Yte,Ypre}再經過反歸一化得到實際溫度值{Pte,Ppre}。

3 試驗測試與分析

試驗平臺和環境為:顯卡為NIVIDA GeForce GTX1060、處理器為Intel(R) Core(TM) i7-7700、CPU頻率為2.80 GHz、內存為16.0 GB、編程語言為python3.8、開發環境為jupyter notebook。模型采用python中tensorflow 2.0程序包搭建。

3.1 相關性分析與數據歸一化

本文選取某動車組的歷史運行數據進行試驗分析。高速列車牽引電機軸承溫度數據包含7個特征參量,分別為1個車廂的1～4號牽引電機軸承溫度、列車速度、環境溫度、是否主控,數據采集周期為1 min。

相關系數是研究變量之間線性相關程度的量。針對與軸承溫度相關的特征參量,隨機選取一組數據,將列車速度和環境溫度與牽引電機軸承溫度進行pearson相關性分析,提取輸入特征參數,計算公式為:

(11)

相關性分析結果見表1。

篩選出相關系數大于0.4,顯著性水平小于0.01的特征參量作為溫度預測模型的輸入特征。由于選取的輸入特征參量中速度與溫度的取值范圍具有較大差異,為了消除參數量綱差異的影響,對數據進行歸一化處理,使結果映射到[0,1],歸一化公式為:

(12)

式中:xmax、xmin為輸入樣本的最大值和最小值。

3.2 網絡訓練

本文選取的數據集共包含6 658個數據點,劃定數據集中80%為訓練集,10%為驗證集,剩下10%為測試集。預測模型設置第一層改進LSTM網絡的節點個數為40,第二層節點個數為80,以最小化損失函數為目標訓練神經網絡,設定迭代次數為500,滑動截取窗口長度L分別為10、30、60、80。為預防訓練過程中產生過擬合現象,在隱藏層和輸出層之間加入Dropout層(dropout=0.2)以抑制過擬合。

滑動窗口長度L取不同值時,網絡模型的訓練效果見圖6。

由圖6可知,隨著迭代次數的增加,損失函數不斷減小,訓練集的損失函數收斂于0.01附近,驗證集的損失函數可收斂于0.01～0.03。當L=10時,驗證集損失函數波動較大;隨著滑動窗口的增大,驗證集損失函數的波動范圍逐漸減小,增強了預測模型的泛化能力;當L=80時,模型出現了過擬合現象,說明滑動窗口的取值會對預測模型的訓練效果產生較大影響。

當滑動窗口長度為60時,不同學習率的模型訓練效果見圖7。

(a) lr=0.000 1

從圖7可以看出,當學習率取0.005和0.01時,隨著迭代次數的增加,訓練集和驗證集的損失函數產生較大波動,模型出現明顯的過擬合現象,降低模型的擬合精度。當學習率取0.000 1和0.001時,訓練集和驗證集的損失函數波動范圍較小,損失函數的收斂效果較好。

3.3 預測結果分析

采用均方根誤差(Root Mean Square Error, RMSE)和平均絕對百分比誤差(Mean Absolute Percentage Error, MAPE)作為模型預測精度的度量標準,可表示為:

(13)

(14)

不同滑動窗口長度L和學習率時,改進LSTM預測模型的預測精度對比見圖8。

圖8 LSTM預測模型的預測精度對比

由圖8可以看出,學習率越小,RMSE值越小。當學習率為0.000 1、滑動窗口長度為60時,RMSE值最低,為1.158,模型的預測精度最高。

試驗在測試集中采用改進LSTM、標準LSTM、門控循環網絡(Gated Recurrent Neural Network, GRU)、RNN 4種不同模型,預測某車廂兩組2 h范圍內的軸承溫度,結果見圖9。

(a) 12∶00—14∶00時間段

從圖9中可以看出,改進LSTM溫度預測模型能夠在測試集上較精確地跟蹤真實的牽引電機軸承溫度值,具有良好的預測效果。標準LSTM和GRU的擬合效果相差較小且稍遜于改進LSTM。RNN預測曲線距離真實值相差較大,說明其擬合效果最差,不適合長時間序列的預測問題。本文所提出的改進LSTM預測模型與標準LSTM、RNN、GRU、支持向量機回歸(Support Vector Regression, SVR)4種經典時間序列預測模型的預測結果見表2。LSTM、RNN、GRU模型均采用二層網絡結構,網絡節點個數分別為40、80。SVR模型選取徑向基函數(RBF)作為核函數,正則化系數為1,其余參數均為默認。

表2 不同預測模型的精度對比

由表2可知,改進LSTM預測模型的RMSE值(1.158)和MAPE值(2.57%)最低,標準LSTM模型的RMSE和MAPE值略高于改進LSTM模型,而RNN模型的RMSE和MAPE值最高,分別為6.624和14.07%。說明本文提出的改進LSTM預測模型預測牽引電機軸承溫度的精度高于其他時間序列預測模型。

4 結論

為提高高速動車組牽引電機軸承溫度的預測精度,本文提出了一種基于改進LSTM的牽引電機軸承溫度預測模型。該模型引入窺視孔模塊,使得一個存儲塊包含多個細胞,共享3個控制門,從細胞狀態中學習網絡傳播時產生的歷史信息,適應長距離時間序列的牽引電機軸承溫度數據。設計兩層改進的LSTM網絡構成隱藏層,減少模型的計算量和訓練耗時。與標準LSTM、RNN、GRU、SVR 4種經典時間序列預測模型相比,本文提出的改進LSTM預測模型提高了溫度預測的精度,可為今后根據軸承溫度預測牽引電機故障提供基礎。