一種基于DCNN-LSTM混合模型的RUL預測方法

溫海茹，陳雯柏

(北京信息科技大學 自動化學院， 北京 100101)

在航空航天、軍工裝備、工業(yè)制造業(yè)領域，研究關鍵設備的剩余使用壽命(Remaining Useful Life,RUL)，對有效改進維護策略和避免發(fā)生故障具有重要的實際意義。剩余使用壽命是可靠性分析中的重要指標之一，是指關鍵設備從運行條件開始當前時刻到失效時刻的時間間隔[1]。在大數(shù)據(jù)背景下，傳統(tǒng)的壽命預測技術正逐漸向人工智能預測方向轉變，在利用人工智能技術進行剩余壽命預測方面，數(shù)據(jù)驅動的壽命預測方法成為主流，根據(jù)文獻[2]數(shù)據(jù)驅動的方法可分為統(tǒng)計數(shù)據(jù)驅動方法和機器學習方法。統(tǒng)計數(shù)據(jù)驅動方法需要已知退化模型并依賴狀態(tài)監(jiān)測數(shù)據(jù)?；跈C器學習的方法可輸入多種類型的數(shù)據(jù)不局限于狀態(tài)監(jiān)測數(shù)據(jù)且能夠解決退化模型未知的問題,按深度可分為淺層機器學習方法和深度學習方法。對于淺層機器學習的壽命預測方法，文獻[3]提出一種基于最小二乘法和支持向量機結合的壽命預測方法并成功應用于數(shù)字電路74LS280剩余壽命預測。文獻[4]提出一種基于PSO-BP神經(jīng)網(wǎng)絡的刀具壽命預測，利用粒子群算法(PSO)優(yōu)化網(wǎng)絡權重，克服了BP神經(jīng)網(wǎng)絡反向傳播收斂速度慢的問題。這些淺層方法不能提取設備數(shù)據(jù)之間的深層特征，大多數(shù)還是依賴信號處理技術，難以處理海量數(shù)據(jù)。對于深度學習的壽命預測方法，文獻[5]構建了一種卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks,CNN)，在所獲取的監(jiān)測信號中使用時間變量序列來實現(xiàn)剩余壽命預測，自動提取空間特征。文獻[6]提出一種利用循環(huán)神經(jīng)網(wǎng)絡(RNN)方法對軸承設備健康狀態(tài)進行長期預測。這些方法要么只考慮空間特征提取，要么只考慮時序數(shù)據(jù)時間相關性，都比較單一。長短時記憶(Long Short Term Memory,LSTM)網(wǎng)絡作為非線性循環(huán)神經(jīng)網(wǎng)絡中的一種，雖然能夠處理數(shù)據(jù)的時序性和非線性關系[7]，但是它不能挖掘非連續(xù)數(shù)據(jù)之間的潛在特征和有效信息，預測精度還有待提高。

針對上述算法的不足，本文提出一種深度學習混合網(wǎng)絡模型，將深度卷積神經(jīng)網(wǎng)絡(Deep Convolutional Neural Networks,DCNN)與長短時記憶網(wǎng)絡結合進行剩余壽命預測。首先利用滑動時間窗的方法從原始數(shù)據(jù)中進行樣本制備，構造連續(xù)特征圖，作為DCNN的輸入；然后利用網(wǎng)格搜索法優(yōu)化算法模型，并提取特征形成特征向量；最后將卷積中提取的特征輸入到一個堆疊的長短時記憶網(wǎng)絡中，以學習長期和短期的時間依賴關系，并通過全連接層作為回歸層來輸出剩余壽命值，提高了預測精度。

1 DCNN-LSTM模型

1.1 CNN卷積模型

CNN卷積模型作為深度學習理論中主流網(wǎng)絡之一，已經(jīng)在工業(yè)領域應用取得了巨大成功，包括計算機視覺、自然語言處理、語音識別等方面[8]。本文所提出的算法不同于計算機視覺方面的二維卷積操作，而是利用一維卷積來提取時間序列上的深層特征，不設置池化層。

如圖1所示，輸入的數(shù)據(jù)以二維的樣式輸入，一維表示特征的時間序列，另一維表示傳感器所采集到的特征。每層卷積層包含若干個同樣大的卷積核，通過卷積核計算整個輸入數(shù)據(jù)，提取每個輸入樣本的局部特征并依次組合，產(chǎn)生更高層、更抽象的特征空間。所有特征空間組合在一起后作為下一層CNN的輸入。

圖1 一維卷積原理示意圖

1.2 LSTM網(wǎng)絡模型

LSTM網(wǎng)絡是處理時間序列的一種網(wǎng)絡結構，它是根據(jù)循環(huán)神經(jīng)網(wǎng)絡改進得來的。長短時記憶網(wǎng)絡能夠解決RNN在實際應用中出現(xiàn)的梯度爆炸和消失的問題[9]，可以學習時間序列長短時的依賴關系。此網(wǎng)絡有三層結構，分別為輸入層、隱含層和輸出層，并設計了記憶單元，歷史信息分別受到了輸入門、遺忘門和輸出門的影響。

圖2 LSTM單元結構示意圖

當前時刻臨時記憶單元：

(1)

記憶單元：

(2)

輸入門：

i(t)=σ(Wxix(t)+Whih(t-1)+

Wci(t-1)+bi)

(3)

遺忘門：

f(t)=σ(Wxfx(t)+Whfh(t-1)+

Wcfc(t-1)+bf)

(4)

輸出門：

o(t)=σ(Wxox(t)+Whoh(t-1)+

Wcoc(t-1)+bo)

(5)

計算LSTM單元的輸出：

h(t)=o(t)·tanh(c(t))

(6)

式(1)～(6)中：σ表示sigmoid激活函數(shù)；W表示輸入權重；b表示權重偏置。

2 DCNN-LSTM混合算法實現(xiàn)

2.1 時間窗口

為了提高深度學習模型的預測準確度，需要在模型構建之前確認樣本輸入大小。復雜系統(tǒng)設備產(chǎn)生的故障數(shù)據(jù)往往是時間序列的，而研究基于剩余壽命預測的多變量時間序列的問題與研究在單個時間步長內(nèi)多變量數(shù)據(jù)值相比，通常能從多變量時間序列數(shù)據(jù)中獲取更多信息。時間序列處理具有更大的潛力，可以提供更好的預測性能。本文采用時間窗口進行數(shù)據(jù)準備以處理多變量時間信息。如圖3所示，不同傳感器監(jiān)測的傳感器數(shù)據(jù)代表不同的特征，把設備多個傳感器值作為網(wǎng)絡的輸入并利用滑動窗口來構建DCNN-LSTM模型的訓練樣本。

圖3 時間滑動窗口示意圖

輸入形式為(batch_size,time_step,feature_nums)，分別表示訓練過程中批處理的樣本數(shù)量、時間序列長度、特征維度。時間窗口的長度為DCNN-LSTM模型的時間步長time_step，窗口的高度為傳感器維數(shù)n,窗口以n*time_step的大小沿著時間軸滑動，每滑動一個時間步長，就得到一個訓練樣本。

2.2 DCNN-LSTM混合模型

本文提出的DCNN-LSTM網(wǎng)絡混合模型如圖4所示。

圖4 DCNN-LSTM混合模型框圖

DCNN-LSTM模型主要分為2個部分：深度卷積神經(jīng)網(wǎng)絡(DCNN)部分實現(xiàn)對空間特征的提取，堆疊長短時記憶網(wǎng)絡(LSTM)部分實現(xiàn)對序列時間依賴性的特征提取及剩余使用壽命的輸出。假設多個傳感器監(jiān)測到設備的數(shù)據(jù)為Xn=[x1,x2,…,xt,…,xTn]∈Rm×Tn。其中m為每個設備上的傳感器數(shù)量，n為設備的時間序列長度，各個設備上采集到的m維測量值向量表示為x(t)=[x1(t),x2(t),…,xm(t)]∈Rm×1，其中xm(t)為t時刻下設備傳感器所得到的傳感器值，Tn為故障發(fā)生的時間。在t時刻，將x(t)作為網(wǎng)絡的輸入，網(wǎng)絡的輸出作為當前時刻的剩余壽命輸出值。更深的網(wǎng)絡意味著模型具有更深的特征抽取能力，因此模型設置一維卷積(conv1D)層數(shù)為5層，卷積核數(shù)目按層數(shù)依次設為32、16、16、16、16，卷積核大小為2～6，時間窗口大小為10～30。因為模型參數(shù)數(shù)量較少，所以本文在卷積層后不加池化層，并使用零填充的方法使時間窗口大小保持不變。卷積核沿著時間軸進行卷積運算，實現(xiàn)多傳感器數(shù)據(jù)自動融合并直接輸出給堆疊的長短時記憶網(wǎng)絡。對于LSTM部分，不同的LSTM層在空間相連，時間序列數(shù)據(jù)從上層輸出到下一層。每層LSTM都包含許多LSTM神經(jīng)元，以提取數(shù)據(jù)的時間依賴性。在每層LSTM中，神經(jīng)元之間進行彼此信息的交換，實現(xiàn)時間性的連接。此外，每個神經(jīng)元的輸出不僅要在下一刻循環(huán)進入自身，還要與其他神經(jīng)元共享。要提高模型精確性，確定時間窗口大小以及LSTM部分的層數(shù)和神經(jīng)元數(shù)量十分重要，因此要進行參數(shù)優(yōu)化。在模型訓練的過程中，訓練數(shù)據(jù)的剩余壽命值是已知的，通常用最小化J值的方法來求取訓練過程的損失函數(shù)值。通常使用式(7)來進行優(yōu)化。

(7)

模型采用Adam優(yōu)化算法來更新網(wǎng)絡的權值，在每層LSTM后加入Dropout正則化技術來降低過擬合帶來的影響，參數(shù)大小為0.5，整個網(wǎng)絡都采用rule激活函數(shù)并引入了Early-Stopping機制，當模型損失不在變化是停止訓練。最后將LSTM層之后的特征向量連接到全連接層(Dense)，輸出剩余壽命值。

2.3 混合模型參數(shù)優(yōu)化

在固定卷積層數(shù)和卷積核數(shù)目的前提下，本文進行堆疊的長短時記憶網(wǎng)絡結構優(yōu)化，涉及到的模型結構參數(shù)包括長短時記憶網(wǎng)絡層數(shù)和神經(jīng)元的數(shù)量，這是堆疊的LSTM網(wǎng)絡模型的重要超參數(shù)，直接影響結構模型預測的準確率。網(wǎng)絡搜索法是一種窮舉搜索方法[10]，首先對LSTM層數(shù)和神經(jīng)元數(shù)量進行排列組合形成一個二維網(wǎng)格，并驗證網(wǎng)格中的每個參數(shù)以選擇最佳網(wǎng)絡結構參數(shù)。最后具備最佳驗證預測性能的參數(shù)被認為是最優(yōu)的，并用于剩余壽命模型預測中。對于網(wǎng)格搜索算法而言，搜索比較全面而且利用到的每組參數(shù)是相互獨立的，并行性較高，在參數(shù)一定的條件下，其運算復雜度比較出眾。此方法容易實現(xiàn)，對計算資源的要求比較低。故選擇網(wǎng)格搜索法進行優(yōu)化可降低計算時間。其網(wǎng)格優(yōu)化參數(shù)如表1所示。

表1 優(yōu)化模型參數(shù)

2.4 模型評價指標

剩余壽命預測算法性能評估常用評分函數(shù)(Score Function)和均方根誤差(RMSE)作為評價指標。式(9)表示評分函數(shù)，其中N是測試集樣本的個數(shù)，di為剩余壽命預測值和真實值的差值，并給出預測結果不同的懲罰權重。當di為非負數(shù)時，機器設備會在預計發(fā)生故障之前失效，會造成判斷滯后，懲罰系數(shù)較大；當di為負數(shù)時，表示預測提前，懲罰系數(shù)較小。預測提前有助于制定維修計劃規(guī)避風險，故di不大于0時，其絕對值越小越好。式(10)表示均方根誤差，對提前或滯后預測給出相同的懲罰。

di=RULpre-RULact，i=1,2,…,N

(8)

(9)

(10)

如圖5所示，函數(shù)Score是非對稱指標，若預測值大于真實值，隨著誤差的增加，懲罰將呈指數(shù)級增長，而較晚的預測可能會導致設備嚴重故障。RMSE是對稱性的指標，對剩余壽命預測高低的懲罰是一樣的，RMSE值越小，表明誤差越小，預測精度越高。使用這2種指標能夠全面的衡量算法的性能。

圖5 綜合性能算法指標曲線

3 實驗研究與分析

本文在Windows10下采用Tensorflow、Keras框架來實現(xiàn)提出的網(wǎng)絡結構。所用編程語言版本是Python3.6，所有實驗都是在Inter Core i7-7700HQ(2.8GHz)CPU、16GB RAM的計算機上進行的。

3.1 C-MAPSS數(shù)據(jù)描述與預處理

如表2所示，美國NASA卓越故障預測研究中心的C-MAPSS數(shù)據(jù)集[11]包含4個子數(shù)據(jù)集，每個子數(shù)據(jù)集分為訓練集和測試集，且每個子集包含了26列數(shù)據(jù)：發(fā)動機編號，發(fā)動機運行周期，3列可操作的運行環(huán)境設置和21列不同傳感器采集的時序數(shù)據(jù)。

表2 C-MAPSS數(shù)據(jù)集

接著利用卡爾曼濾波方法對多傳感器監(jiān)測到的時間序列數(shù)據(jù)進行濾波處理，之后為了消除操作條件變化對數(shù)據(jù)的影響，對每個傳感器監(jiān)測到的數(shù)據(jù)進行歸一化處理，采用min-max標準化的方法，將數(shù)據(jù)歸一化到[0,1]范圍內(nèi)。此訓練集沒有給出發(fā)動機從開始到結束的明確剩余使用壽命，故要自行添加標簽。在發(fā)動機運行初期，考慮到設備比較新，使用分段線性函數(shù)代替線性函數(shù)作為剩余壽命值，設最大剩余壽命值為125個周期。

3.2 模型參數(shù)分析

針對FD001數(shù)據(jù)集進行了實驗，在100個發(fā)動機單元中選擇了變化比較明顯的傳感器數(shù)據(jù)，構建了DCNN-LSTM模型，并通過網(wǎng)格搜索法將長短時記憶網(wǎng)絡層數(shù)和神經(jīng)元數(shù)量形成一個二維的網(wǎng)格，并將每個組合的節(jié)點參數(shù)作為候選參數(shù)?？紤]到計算資源和時間限制，將LSTM層數(shù)設置為1～4，神經(jīng)元數(shù)量50到200，利用網(wǎng)格搜索和交叉驗證確定了3層LSTM，每層LSTM中100個神經(jīng)元參數(shù)結構可以實現(xiàn)DCNN-LSTM模型最佳性能。每兩個參數(shù)作為一個組合，表3記錄了部分參數(shù)組合，選擇7個訓練結果比較好的組合參數(shù)對比分析。

表3 不同LSTM層數(shù)和神經(jīng)元數(shù)量的性能參數(shù)

通過比較組合中的參數(shù)和訓練時長，可以看出此算法模型訓練時長能夠隨著網(wǎng)絡層數(shù)的增加和神經(jīng)元數(shù)量的增加而逐漸延長。雖然組合1的訓練時間比較短，但是為了更好地得到預測精確值，在固定DCNN層數(shù)不變的條件下，最終選擇了3層LSTM為最佳。傳感器監(jiān)測到的數(shù)據(jù)都為時間序列數(shù)據(jù)，具有時序特征，因此DCNN-LSTM模型的預測準確率也會受到滑動窗口大小的影響。圖6給出了不同時間窗口大小下FD001測試集RMSE和訓練時長的變化情況?？梢婋S著時間窗口的增大，RMSE逐漸減小。實驗結果表明，當時間窗口制備的樣本數(shù)據(jù)增多時，DCNN-LSTM模型提取的時序特征增多，訓練時間增加，預測誤差減小。

圖6 不同時間窗大小測試集的RMSE和訓練時長直方圖

RMSE遞減幅度變緩慢，表明輸入樣本達到一定數(shù)據(jù)量時，對訓練模型的準確率影響減小，不必再增加數(shù)據(jù)量。當時間窗口大小為30時，RMSE最小，故窗口大小為30是模型最佳選擇。

3.3 算法對比分析

經(jīng)過實驗確定模型參數(shù)和模型結構后，運行DCNN-LSTM模型 6次并記錄最終預測結果，同最好的RUL傳統(tǒng)方法多層感知器(Multi-Layer Perceptron，MLP)、 支持向量回歸(Support Vector Regression，SVR)、相關向量回歸(Relevance Vector Regression，RVR)和CNN及單一的LSTM進行比較。證明了在4個相同公開數(shù)據(jù)集下，DCNN-LSTM混合模型預測效果更好。實驗結果用以下公式來衡量算法的改進程度，即：

(11)

表4為評價指標Score在不同數(shù)據(jù)集上的預測結果?？梢钥吹剑珼CNN-LSTM方法在CMAPSS數(shù)據(jù)上的性能表現(xiàn)都超過了傳統(tǒng)的機器學習方法和單一的CNN與LSTM網(wǎng)絡。在子集FD001和FD003上相對于較好的LSTM 模型，Imp指數(shù)分別提高了10.05%和36.61%。這表明DCNN部分可以有效地提取單一環(huán)境下的故障退化信息，LSTM可以有效地捕獲序列前后的時間關系，此算法能大大提高剩余使用壽命預測精度。針對運行環(huán)境復雜、多故障的子集FD002和FD004，DCNN-LSTM方法在Score上比單一的LSTM方法提高了60%左右，表明越深層的網(wǎng)絡結構對故障模式、操作模式較多的數(shù)據(jù)越敏感，對預測精度的提高越有效率。表5為 RMSE在不同數(shù)據(jù)集上的預測結果。

表4 Score在不同數(shù)據(jù)集上的預測結果

表5 RMSE在不同數(shù)據(jù)集上的預測結果

由表5可知：DCNN-LSTM模型的RMSE最小，性能均超過單一的LSTM網(wǎng)絡和單一的CNN網(wǎng)絡，提升指數(shù)Imp達到9.8%。這意味著所提出的DCNN-LSTM模型具有最佳的預測性能，同時也證明了此算法在發(fā)動機剩余使用壽命預測問題上的有效性。

圖7是測試集中隨機選取的4臺發(fā)動機單元壽命退化過程曲線，反映了渦扇發(fā)動機真實的RUL變化。從圖7(c)可見，中期RUL預測值小于真實值，退化過程存在較早預測的傾向，但幅度不大。從圖7(a)、圖7(b)、圖7(d)中可明顯看到，當設備開始退化時，預測值有些波動，具有較晚預測的傾向；隨著運行周期的增加，在中后期RUL值較小時，即故障發(fā)生程度較大時，預測結果很少有波動，基本上可擬合真實的曲線?？梢姸鄬娱L短時記憶網(wǎng)絡能夠提取和保留數(shù)據(jù)的歷史信息，也反映出DCNN網(wǎng)絡深層提取特征的優(yōu)勢。

圖7 FD001中4臺渦輪發(fā)動機RUL預測結果曲線

圖8給出了100臺發(fā)動機輸出的預測值和真實值曲線。剩余使用壽命(RUL)值比較大的發(fā)動機故障退化不明顯，部分預測結果誤差較大，但是大部分還是可觀的。當發(fā)動機的RUL偏小時，即故障程度較大，退化明顯時，預測結果可以很好的追蹤真實值，預測精度明顯增強，顯示出了所提算法的優(yōu)越性。

圖8 FD001中100臺渦輪發(fā)動機預測曲線

4 結論

針對復雜系統(tǒng)設備RMSE的預測精度日益提高的要求，本文構建了一種深度學習混合的DCNN-LSTM網(wǎng)絡系統(tǒng)模型。優(yōu)勢如下：1)利用滑動時間窗口構造輸入樣本利于發(fā)現(xiàn)微小故障；構建深層的卷積神經(jīng)網(wǎng)絡處理多傳感器數(shù)據(jù)便于提取深層空間特征，降低壽命預測的不確定性；固定卷積層數(shù)不變，堆疊長短時記憶網(wǎng)絡能夠較好的處理復雜系統(tǒng)設備多傳感器數(shù)據(jù)的時序性和非線性關系。2)本文方法兼顧深層卷積神經(jīng)網(wǎng)絡和長短時記憶網(wǎng)絡特點，使用CMAPSS數(shù)據(jù)集驗證并與淺層的機器學習和單一的深度學習模型相比，提高了剩余壽命的預測精度。3)利用簡單的網(wǎng)格搜索法優(yōu)化參數(shù)，降低了計算資源；自動融合多傳感器數(shù)據(jù)特征，不需人工提取特征，對于其他工業(yè)領域設備而言具有可移植性。