基于改進的LSTM 的設備剩余使用壽命應用研究

郭夢溪

（福州大學物理與信息工程學院，福州350108）

0 引言

隨著人工智能的普及，連接到通信網絡系統的設備和監視系統的投資也在增加。為了使電力通信系統平穩穩定地工作，必須對通信系統設備進行連續監控以預防突發事件造成系統宕機。按照國網的政策要求，各省及地市級的電力通信網絡及設備需要不斷的升級改造，隨著通信運維人員的工作量不斷增加，給運維工作帶來極大壓力。電力通信網絡中設備的報警數據具有數據量大，頻閃數據多，噪聲數據多的等特點。現有的預測更多的基于簡單的統計分析，而沒有考慮與時間序列相關因素的影響。為了解決現有方法的缺陷，如何有效地估計通信設備的剩余壽命以及如何改進設備故障的預測方法已經引起了業界的廣泛關注。

通常使用的RUL 預測的方法主要有基于物理模型和基于數據驅動兩類[1]。基于物理模型的方法是需要使所構建設備物理故障失效模型更加可靠，然而越來越復雜化、智能化的設備系統幾乎是不可能建立準確的物理模型來描述系統退化失效過程的。依據所收集到的大量的并行計算能力和狀態監控到的數據，研制出了數據驅動的RUL 預測方法。較為常用的剩余壽命預測方法大多都是使用淺層模型（支持向量回歸機、多層感知機等），特征提取步驟在很大程度上是依賴于特定領域的知識和專業的信號處理技術，因為有人工的參與，所以只是能夠提取到一些具體的、可理解的數據，不確定性存在的機率非常大，上述方法在很大程度上也忽略了時間的影響因素[2]。

本文使用基于時序關系的序列模型，提高設備故障預測的準確率。序列模型的輸入是設備的歷史告警數據，在對設備分析中，不僅考慮了設備的屬性特征，同時考慮了設備運行告警時序特征，能夠更加精確的對設備狀態做出判斷。與RNN 對比，LSTM（Long Short-Term Memory）考慮的前后關聯信息更長，提高了預測的準確性[3]，LSTM 網絡架構在一定的程度上解決了標準傳統循環神經網絡中梯度消失以及梯度爆炸的問題[4]。但是傳統LSTM 存在著對深層次抽象特征的提取能力也稍弱于卷積神經網絡（CNN）[5]。近兩年來，為了解決LSTM 模型缺陷，本文結合LSTM 網絡與CNN 相關優勢[6]，結合電力通信網絡設備運行特征，提出一種混合預測模型，探索一種新的電力通信設備的剩余使用壽命（Remaining Useful Life，RUL）研究方法。

1 LSTM神經網絡

循環神經網絡（RNN）[7]是通過神經元循環賦值存儲信息的神經網絡，其中每個神經網絡單元都會將信息傳入下一個單元。

圖1 循環神經網絡結構

圖1 顯示了典型的RNN 結構，RNN 通常用于處理有序的相關數據。在傳統的神經網絡中，通常模型中的各層之間是完全相連接的，而各層之間節點是不連接的。但是普通神經網絡通常是無法解決一些涉及到時間序列的問題，例如在預測一個句子的上下文可以根據前文的情況推測后面的單詞。RNN 是指序列的當前輸出與先前的輸出相關，具體表現是網絡將記住先前的信息，在網絡的內部狀態中進行保存，并且應用在當前輸出的計算中，即隱藏層之間的節點不再是無記憶，即隱藏層的輸入不僅包括輸入層的輸出，還包括先前時間的隱藏層的輸出。從理論上來講，任何長度的序列數據，RNN 都是能處理的。但實際上，對于長度超過1000 的序列，預測結果非常糟糕。遞歸神經網絡在處理非常長的序列時遇到的最大問題是梯度消失和梯度爆炸。針對這個問題，Hochreiter 等人基于此些問題提出的長期短期記憶網絡（LSTM）。長短期記憶網絡LSTM 是RNN 升級版本。LSTM 結構在捕獲長期依賴性方面要比標準RNN 好得多[8]。在LSTM 中，隱藏層中的每個傳統節點都被存儲器單元替換。存儲器單元是LSTM 中最重要的結構，可以避免梯度消失和梯度爆炸。LSTM 單元由存儲器單元和它們包含的門單元共同組成。乘法輸入門單元是用來防止無關輸入可能帶來的負面影響。輸入流經過輸入門處理后進入存儲器單元，存儲器的輸出流通過輸出門到其他LSTM 單元[9]。圖2 給出了LSTM 存儲器單元的內部結構。

圖2 LSTM存儲器單元的內部結構

在存儲塊結構模塊的遺忘門由單層神經網絡控制。遺忘門的使用的激活函數如式（1）所示：

其中，xt是輸入序列，ht-1是前一個塊的輸出，t-1是前一個存儲器單元，如是偏置矢量w表示每個輸入的單獨權重向量σ是邏輯S 形函數。如果激活輸出包含接近0 的值，遺忘門將忘記之前輸入的任務。輸入門位于新存儲器所在的部分，具有tanh 激活功能和記憶阻滯效應，這些功能的實現方式如式（2）、式（3）所示：

從內存單元到網絡其余部分的唯一輸出來源于輸出門，輸出的計算方法如式（4）、式（5）所示：

2 LSTM算法優化

本文提出了一種改進策略，即直接將系統監測的設備運行數據映射到RUL 值，并提出了一種基于CNN-LSTM 遞歸神經網絡的電力網絡設備剩余壽命預測方法[10]。

現實中在面對較為復雜的設備預測問題時，只單純的使用網絡結構的深度學習算法通常是難以顧及到訓練時長和準確性的。因為神經元節點具有獨特的循環結構，多層LSTM 網絡對于捕獲深層次的抽象特征的能力也比CNN 的能力較低[11]。近年來，結合CNN 與LSTM 兩種網絡的一些特點，在卷積神經網絡與長短時記憶網絡組合結構（即CNN-LSTM）方面，一些學者一直在不斷的探索，并且在序列問題方面取得了不俗的成績[12]。本文借鑒這一思想，提出一種基于CNNLSTM 網絡混合模型的直接剩余壽命預測方法，將CNN-LSTM 網絡應用于電力通信網設備的剩余壽命預測中[13]。

圖3 是本文所提出CNN-LSTM 網絡結構圖，主要是有兩個部分組成，前面的部分是由很多一維CNN 卷積層堆積形成的，主要是用來提取深層空間征特的；后面的部分是由多層的LSTM 疊加而成，主要是負責RUL 的預測和時間依賴性特征提取。

CNN-LSTM 網絡混合模型CNN 部分的輸入是通過接收二維矩陣形式來實現的。本文的訓練樣本是通過采用時間窗滑動的方式而獲得的，把步長記為1，時間窗口大小記為Nw傳感器數據維度記為Ns則輸入格CNN 部分的輸入式為Nw×Ns。原始數據，經過數據預處理之后，通過時序順序，輸入到建造好的模型，對于此模型來說，無需過度應用專業運維人員即專業技能知識提取特征。

圖3 CNN-LSTM網絡結構圖

其次，利用CNN 部分進行深度序列特征提取。一維CNN 與二維CNN 是有所不同的，它是在圖像的二維方向（長度方向和寬度方向）上進行滑動卷積，而卷積核只是沿著時間軸進行卷積計算的。一般來說，二維CNN 是緊跟在卷積層后面的池層的。它的主要功能是提取最重要的局部公式，減少模型參數的數量。但在本文中，時間窗的大小設置在20-25 之間，卷積核的大小設置在4-6 之間，所以就不需要將池化層放在卷積層的后面。為了保持時間窗口大小的不變，需要使用零填充來堆疊多層1D-CNN。該部分輸出格式為Nw×N1D-CNN，可以直接輸入到LSTM 網中。

最后，傳感器序列數據中的長短期時間依賴性主要是通過多疊加層LSTM 網絡來提取的。為了防止過擬合訓練樣本集，需要對每一LSTM 層采用Dropout 正則化技術，參數的大小設置在0.2-0.5 之間。LSTM 層之后需要將特征向量連接到全連接層上，這樣就可以使預測RUL 值得到回歸。所有的神經網絡層都是采用ReLU 函數[14]作為激活函數的，計算模型損失需要使用誤差回歸函數公式，并且根據誤差利用Adam 算法優化網絡參數[15]。圖4 為基于CNN-LSTM 網絡混合模型的RUL 預測流程圖。

圖4 基于CNN-LSTM網絡混合模型的RUL預測流程圖

3 實驗驗證及結果分析

3.1 實驗設置和數據選擇

本次實驗選取的數據是某省中的電力調度網系統中2015-2019 年某型號的服務器運行至失效的數據，隨機選取訓練樣本集（180 臺）和測試樣本集（36 臺），記錄生命周期狀態指標數據，包括CPU 散熱器風扇轉速、蜂鳴噪聲次數、端口故障時CPU 負載值、內存占有率等運行參數。

在模型訓練的過程中，把時間窗窗口大小的數值設置為25，而選擇訓練樣本的數值大約為4 萬個，這種數據的選擇是為了充分的滿足LSTM 模型訓練的要求，其中把LSTM 層數設置為3。

圖5 為在測試樣本集中隨機抽取的兩臺服務器RUL 數據預測結果。

圖5 部分設備RUL預測結果

從圖5 測試集中兩臺服務器的RUL 預測結果可以看出，依據于CNN 改進而來的LSTM 混合神經網絡的壽命預測方法可以在歷史時間窗內從多維傳感器序列中自動的查找出有效的故障特征，并且能夠對設備的RUL 值做出很好的預測。因此，它可以用來跟蹤真實的RUL 曲線，特別是在服務器生命周期的中后期，其與真實值幾乎是重疊的。

3.2 算法對比

根據RMSE 定量評價指標，與其他預測算法的結果進行比，我們使用均方根誤差（RMSE）作為指標對數據進行評估，RMSE 的計算如式（6）：

表1 RMSE 指標下各預測算法對比結果

從實驗結果可以看出，CNN-LSTM 的算法精度明顯優于其他算法，由于CNN 已經成功應用到圖像領域中，所以提出了一種以一維CNN 為基礎的剩余壽命預測建模方法，與傳統的淺層機器學習方法相比，取得了較好的效果。從以上比較結果不難看出，當訓練樣本數足夠時，深度學習算法與傳統的淺層模型相比，具有很大的優越性，而且還具有不需要進行人工特征工程、領域專家經驗和適用性強等優點。特別是對于電力通信設備的RUL 預測問題來說，由于監測傳感器數據本身具有固有序列的特性，前后時間步之間存在著較強的時間依賴關系。而SVR、MLP 等淺層模型，要想表達出數據中蘊含的規律，只能靠人工提取相應的時間特征。兩者比較之后，可以得出這樣的結論：①CNNLSTM 網絡在時序特征提取能力方面具有無比的優勢；②CNN-LSTM 網絡能將特征提取和RUL 預測兩個部分完美的整合在一起。因此，CNN-LSTM 網絡在電力通信設備剩余壽命預測問題上具有很大的發展潛力。

4 結語

根據電力通信網設備剩余壽命預測問題及設備故障特征，提出了一種改進的LSTM 網絡混合剩余壽命預測模型。實驗結果表明，在大量的訓練數據量情況下，CNN-LSTM 混合預測模型算法相較于MLP、SVR淺層機器學習算法，在一定程度上能夠提高預測精度，CNN-LSTM 精度略優于多層LSTM 混合模型。