基于多層LSTM的復雜系統剩余壽命智能預測

付 強，王華偉

(南京航空航天大學 民航學院， 南京 211106)

1 引言

預測剩余壽命(remaining useful life，RUL)作為復雜系統健康管理的關鍵內容之一，由于系統結構復雜與故障耦合以及內、外部因素共同作用導致性能退化，預測方法存在不準確性。考慮到噪聲與模型參數配置的影響，She等[1]提出了一種基于自舉雙向門控遞歸的預測方法并分析其不確定性，通過ABLT-1A軸承數據證明了該方法的有效性。針對目前電池剩余壽命預測模型存在模型兼容性較差的問題與模型性能受健康因子精度的影響，龐曉瓊等[2]設計一種基于非線性自回歸網絡的壽命間接預測方法，其實驗結果表明在同型號不同電池的壽命預測中所提方法具有一定優勢。Zhou等[3]對基于混合遺傳算法的電容器剩余壽命預測模型進行魯棒性評估，在一定均方根誤差范圍內，利用在線訓練與離線歷史數據實現了高精度預測。

傳統機器學習與統計學等手段在復雜系統剩余壽命預測方面取得了一定的成果，但這些方法的性能較為依賴提取到的數據特征及其質量。深度學習具有非線性表征能力強與不依賴高質量特征的優勢。循環神經網絡(recurrent neural networks，RNN)作為一種針對時序數據預測的經典深度學習模型，其廣范應用在復雜系統的剩余壽命估計中[4]。Yu等[5]為估算機械系統的剩余壽命，提出了一種基于RNN的相似度退化軌跡匹配方法。Rivas等[6]設計一種基于RNN的復雜系統預測性維修模型，并利用準確率、召回率與F1分數評價模型性能。

盡管RNN模型提高了時序數據處理的能力，但由于梯度消失與爆炸等問題，其無法捕獲長期依賴關系。長期短期記憶(long short term memory，LSTM)模型是作為一種改進的RNN模型彌補了RNN的不足[7]。LSTM利用選通機制提高了性能，能夠控制進入模型的信息量和在存儲器中的過去信息。黃承賡[8]提出一種基于LSTM的產品剩余壽命預測方法，具有對時序數據的建模優勢與極強的非線性建模能力。Li等[9]考慮到人為因素對電池系統的影響，研究一種基于LSTM的故障時間預測并對潛在故障進行風險評估，能夠準確預警故障。Ding等[10]提出一種基于多階迭代LSTM的軸承剩余壽命預測模型，并優化模型超參數，實現了早期預警。Wang等[11]通過傳感器收集了閥門狀態數據，利用LSTM進行特征提取與壽命預測，以進一步提高核電系統的維護效率。Yan等[12]提出了一種基于有序神經元LSTM的齒輪剩余壽命預測模型，研究顯示所提方法相比于RNN模型收斂速度更快，實現了最佳精度的短期與長期預測，并且具有良好的魯棒性。航空發動機作為一種復雜、精密的系統，準確地估計其剩余壽命，能夠提前采取適當的維護措施，以避免災難性故障并最小化經濟損失。Yuan等[13]利用LSTM在復雜操作、混合故障與強噪聲情況下實現準確預測航空發動機壽命。

在基于深度學習的復雜系統剩余壽命預測的基礎上，提出一種改進的多層LSTM預測模型，其能夠避免梯度消失，引入Dropout方法避免過擬合，深度挖掘多尺度時序數據特征，解決復雜系統變工況條件下預測準確性不足問題，并且全面地、標準地評估預測模型性能。

2 基于多層LSTM的RUL預測

針對復雜系統，從海量監測數據中充分挖掘出有價值的性能退化信息，并準確地建立相應的RUL預測模型，當前需求迫切。基于多層LSTM的預測模型能夠自主推斷隱藏在時序數據中的因果關系，并通過訓練學習直接獲取退化特征。因此多層LSTM能夠處理高維度、多尺度時序數據，提供準確RUL預測結果。

2.1 多層LSTM網絡結構

在實際工程背景下，單層LSTM網絡難以滿足復雜系統在不同工況下的剩余壽命預測。將前一層LSTM網絡的輸出，作為后一層LSTM網絡的輸入，以建立多層LSTM網絡。堆疊多層LSTM網絡以保證其能夠提取不同工況下時序數據的深層次抽象特征，并且增加模型的非線性擬合能力與模型穩健性。LSTM網絡的層數與各層神經元節點數量均為超參數，需要在預測試驗前初始化設置。利用網格搜索方法并結合交叉驗證算法以確定最優的超參數，多層LSTM網絡結構如圖1所示。

圖1 多層LSTM網絡結構框圖

(1)

(2)

(3)

(4)

式(4)中，Relu(x)=max(0，x)。

2.2 基于Dropout的多層LSTM模型改進

過擬合是多層LSTM模型存在的重要問題之一。多層LSTM模型訓練與學習的本質上是優化與泛化。調試多層LSTM模型參數，在訓練樣本集中將損失函數值降至最低。充分訓練后的預測模型在測試樣本集中的性能反映出模型泛化能力。過擬合能夠影響訓練模型性能進而降低泛化能力。

為了防止多層LSTM神經網絡等模型過擬合訓練樣本集，采取正則化技術來限定模型的復雜度。在目標函數中增加模型參數的正則化項。Dropout方法則是針對深度學習最有效的正則化手段之一，標準網絡與基于Dropout的網絡如圖2所示。

圖2 標準網絡與Dropout網絡示意圖

訓練過程中對某一層網絡使用Dropout，隨機使其中某些神經元節點以一定的概率停止激活。棄用一些隱含層神經元節點，減少了神經元之間的固定耦合性，并且篩選出的節點能夠與其他節點配合。因此引入Dropout后的多層LSTM不會過分依賴于某些特征，避免了過擬合，使得泛化能力更高。

2.3 基于誤差得分函數的預測模型評估

誤差得分函數具有評估預測不對稱性的功能，滿足早期與后期預測，超前與滯后預測的評估需求。設滯后與超前參數分別為α1與α2，誤差得分函數為：

(5)

式(5)中：s為誤差得分；n為測試點數量；d為誤差值。

針對復雜系統安全運行，避免嚴重性故障，特別是在運行后期中與滯后預測相比，旨在較為保守的超前預測RUL，如圖3所示。但是，在某些情況下，故障可能不會造成嚴重性后果，因此超前預測可能會導致不必要的維修費用與停機損失。因此應合理設計超前與滯后參數，得分函數的不對稱性隨之也發生變化，以滿足特定要求。

圖3 超前預測與滯后預測曲線

圖4為不同誤差得分情況下評估預測模型性能函數曲線。在案例1和案例2中，參數α1與α2分別相等，所以超前與滯后評估優先級是對稱的，都隨著誤差呈指數增加。在案例3中，如果時間序列的長度較短，則應為指數項設置較高值；相反，當時間序列相對較長時，配置較高值，以提高評估性能。案例4顯示了超前與滯后預測不對稱的情況，滯后預測得到了更多的誤差懲罰。但是，如案例5所示，超前預測可能需要考慮不必要的維護成本。

圖4 不同誤差得分情況下的評估預測模型 性能函數曲線

預測評估方法為RUL估計模型提供了準確驗證與模型性能評估。特別是在多工況復雜系統中，利用誤差得分函數能夠有效評估超前與滯后預測，并初始化不同的參數以滿足各種預測評估需求。

3 算例分析

航空發動機為一種典型的復雜系統，以航空發動機為例驗證本文提出方法的有效性。從航空發動機運行過程中采集原始監測數據，數據未經任何處理或清洗，如圖5所示。數據源于NASA研發的數據采集系統C-MAPSS[14]。部分參數隨著循環次數的增加變化明顯，但從整體數據來看，數據特征質量低。

圖5 原始監測數據曲線

為了避免在基于數據驅動的復雜系統健康管理中出現過擬合與欠擬合，將采集的原始監測數據集互斥分割為訓練集、驗證集與測試集，同時能夠為航空發動機健康管理數據與智能模型的交互學習提供支撐。訓練集為航空發動機從初始狀態到故障閾值的退化狀態數據。驗證集的功能為檢測經過反復訓練后健康管理模型的泛化能力，將檢測結果反饋至模型，基于需求調節健康管理模型中的超參數以獲取更高的泛化能力。在實際航空發動機健康管理場景下，驗證集保證了訓練好的模型其性能測試效果最佳。測試集的功能為評估最終智能健康管理模型的泛化能力以及模型性能。

3.1 航空發動機工況分析

航空發動機性能退化過程中，操作設置為高度，馬赫數與溫度。操作設置、外界環境、系統負載等因素都會對運行工況產生影響，并且運行工況隨時間變化，增加了RUL預測不確定性。

針對復雜工況下航空發動機性能退化，利用K-means方法識別當前特定運行工況，經過模型參數調試，聚類中心參數為6時，即6種運行工況，聚類效果最好，如圖6所示。

圖6 航空發動機運行工況識別圖

K-means方法特點為類內距離小，類間距離明顯，能夠對將航空發動機運行工況有效地聚類與識別。

在原始數據集中，對某臺航空發動機進行工況識別，如圖7所示，航空發動機在30次循環中，工況轉換頻率高。分析航空發動機工況，為變工況條件下RUL預測提供了支撐。

3.2 建立航空發動機健康因子

考慮到航空發動機在運行初期其性能處于健康狀態，故障率穩定并且較低。在運行后期階段，健康狀況持續下降，故障率隨著時間的增加而急速遞增，最終達到嚴重故障狀態，如圖8所示。潛在故障點是穩定區域到功能故障的過渡。穩定區域是航空發動機初始運行到潛在故障點的時間。基于狀態監測數據的健康因子超過潛在故障點時，航空發動機系統進入退化區域，并且會以一定速率向功能故障轉化。根據穩定與退化區域以及故障點位置，在航空發動機開始急速衰退之前采集的監測數據，不宜用于RUL預測模型的訓練。

圖8 航空發動機退化模型的健康狀態曲線

建立高維監測參數與航空發動機退化狀態的映射關系，利用健康因子定量描述健康狀態，將航空發動機14個關鍵參數利用主層分分析(principal component analysis，PCA)進行多維數據融合。各成分方差如表1所示。

表1 各成分方差

總方差百分比如圖9所示。選擇方差最大的主成分數據，即主成分1數據，以建立航空發動機健康因子。

圖9 各主成分方差占總方差的百分比直方圖

主成分1是原14維航空發動機監測參數的線性組合，其變換系數如表2所示。主成分1的變換系數與航空發動機各個參數退化趨勢相符合，這也證明了選擇主成分1的合理性。

表2 主成分1的線性變換系數

根據主層分1的變換系數進行多維度數據融合，以構建健康因子，如圖10所示。

圖10 航空發動機健康因子退化曲線

在圖10中，航空發動機運行狀態下，多種傳感器采集大量監測數據，包含了大量測量誤差與噪聲。RUL預測模型在訓練階段，神經網絡存在從噪聲中學習的可能。

為減少數據不確定因素的影響，對健康因子退化曲線進行平滑處理，以描述循環次數與健康因子之間的準確關系。基于高斯模型、指數模型、冪函數模型與傅立葉變換的健康因子曲線擬合結果如圖11所示。

圖11 健康因子擬合曲線

擬合曲線有利于確定隨時間變化的退化程度，高斯模型、指數模型與傅立葉變換的擬合在航空發動機早期退化時，其擬合曲線變化趨勢都不具有穩定性。基于冪函數模型的擬合在早期退化階段具有穩定的退化趨勢，且退化增量最小，擬合曲線沒有任何其他波動趨勢。從構建的健康因子退化曲線結果來看，基于數據融合的健康因子一方面能夠全面表征航空發動機退化過程，保留原始退化模式；另一方面退化曲線單調性較好，曲線噪聲較小。

3.3 多層LSTM模型配置

將航空發動機健康因子作為多層LSTM模型的輸入，其輸出為航空發動機的RUL估計值。堆疊式LSTM模型通過增加網絡的深度，一方面能夠處理航空發動機變工況，另一方面提高訓練的效率，獲得更高的準確性。為研究LSTM層數對RUL預測性能的影響，采用訓練集與驗證集對不同層數的LSTM模型進行對比試驗。考慮到各個航空發動機初始退化狀態均有差異，且故障模式與操作模式也各不相同，利用驗證集交叉驗證預測模型的準確性，最終根據RMSE結果選取RUL模型層數，試驗結果如圖12所示。

圖12 多層LSTM模型不同層數的性能曲線

LSTM網絡層數對航空發動機的RUL預測性能有著極大的影響。堆疊的LSTM層數越多，RMSE并不一定越小，其內在原因是LSTM的層數增加會導致運算時間與內存消耗的指數級增長，并且產生層與層之間的梯度消失。當LSTM的層數超過了3層，層與層之間的梯度消失情況會變得非常明顯，網絡訓練更新迭代緩慢，收斂效果與計算效率急劇下降，甚至進入局部最小的情況。根據計算成本與模型容量，避免模型過擬合，最終確定多層LSTM模型的層數為3。

進一步分析多層LSTM模型性能，驗證其有效性，對訓練與驗證損失值進行對比分析，并與RNN模型、單層LSTM模型相比較，以檢測訓練后的模型性能，其損失值曲線如圖13所示。

在圖13中，隨著訓練次數的增加，訓練集與驗證集的損失值逐漸減少，在收斂狀態下多層LSTM模型的平均驗證損失值為0.023，相比于單層LSTM模型，低了28%，相比于RNN，減少了40%。多層LSTM模型的驗證方差相比于RNN模型與單層LSTM模型，分別降低了11%與53%，這也反映出多層LSTM模型更具穩健性。

圖13 訓練后不同預測模型性能

在航空發動機RUL預測過程中，時間步長影響著模型預測效果。為分析時間步長大小對多層LSTM模型精度的影響，設計時間步長分別為5，10，15，20，25與30，進行RUL預測試驗，結果如圖14所示。

圖14 不同時間步長的RMSE與運行時間曲線

圖14給出了多層LSTM模型在不同時間步長的RMSE與模型運行時間的變化規律。隨著時間步長的增加，多層LSTM模型能夠提取健康退化特征越多，RUL預測誤差越小，但是模型計算時間越長。當時間步長由5增加至10時，步長大小增加了50%，模型的RMSE降低了33%。當時間步長為20，25與30時，RMSE僅有微小變化而且下降幅度不明顯。考慮到計算成本，多層LSTM的時間步長設置為20。

3.4 預測結果分析

充分訓練的多層LSTM模型為健康因子與剩余壽命的映射關系提供了可能。將航空發動機測試集輸入到訓練好的模型中，將健康因子閾值設置為0.15，分別在第120次循環預測點A與第150次預測點B估計航空發動機的剩余壽命，預測結果如圖15所示。對于預測點A，健康因子在第203次循環退化至閾值以下，A點RUL為83次循環，絕對誤差為17個周期，屬于滯后預測。同理，預測點B的RUL為29個周期，絕對誤差為7個周期，屬于超前預測。RUL預測絕對誤差越小，證明RUL預測結果越好，正預測誤差優于負預測誤差，即超前預測優于滯后預測。

圖15 航空發動機剩余壽命預測曲線

基于多層LSTM模型的壽命預測方法，能夠從健康因序列中自適應地挖掘退化特征，進而有效地預測航空發動機RUL，特別是在航空發動機壽命的中后期，例如預測點B。

為證明多層LSTM模型的通用性與適用性，利用單層LSTM與RNN預測結果作對比試驗。根據在預測點A與B的預測值，計算RUL的預測平均誤差，如表3所示。與單層LSTM與RNN模型相比，多層LSTM平均預測誤差為12，較單層LSTM與RNN分別降低33%與50%。對比試驗結果表明，改進的多層LSTM具有較低誤差水平。

表3 不同預測點各種預測模型性能

RUL預測性能隨著歷史數據的增加而提高，但在基于較少歷史數據的預測中，退化過程相關的時序數據存在有限性。考慮到噪聲與其他操作設置引起的數據波動影響，預測較遠的故障時間點時，時序預測結果具有不確定性。因此，有必要分析不同預測點的模型性能。在實際RUL預測場景中，更注重航空發動機中后期的預測結果及其精度。為了探究航空發動機在生命周期中各時段的預測性能，對測試集中的航空發動壽命數據分別從60%、70%、80%與90%處進行RUL預測。統計預測絕對誤差分布情況，如圖16所示。

圖16 不同預測點的絕對誤差曲線

圖16給出了不同預測點的預測結果對比，改進的多層LSTM模型對于不同時段的RUL預測效果并不相同。當航空發動機在60%的歷史數據處預測時，多層LSTM模型的絕對誤差范圍為(6，26)，當預測點為90%處時，絕對誤差范圍為(0，9)，預測絕對誤差分布相對較為集中。當歷史數據長度足夠，并且航空發動機退化成熟到足以為RUL計算提供必要的信息時，預測性能較好。為保證精確預測航空發動機RUL，預測點以不低于70%的測試數據。

圖17、圖18分別顯示了測試集100臺航空發動機的RUL預測結果及其誤差。絕對誤差值范圍為0.15～10.50，提出的多層LSTM模型在不同航空發動機RUL預測中效果良好，再一次驗證了有效性、適用性與通用性。

圖17 100臺航空發動機RUL預測結果曲線

圖18 100臺航空發動機RUL預測誤差與絕對誤差圖

3.5 預測模型評估

預測模型評估作為模型適用性和可靠性的定量表征，為保證航空發動機安全運行與評估不確定性提供了支持，RUL預測模型需要更加全面分析與評估。一方面考慮到預測模型誤差率增加的風險，另一方面客觀存在潛在嚴重性故障發生的可能，航空發動機運行后期預測比早期預測的風險更大。因此，將設計的誤差得分函數用于評估RUL預測，其不對稱評分算法能夠圍繞真實RUL值，以評估超前與滯后預測。考慮到評估標準化并與其他模型對比分析，設置滯后預測參數為α1=10，超前預測參數α2=13。

利用誤差得分函數，并結合多種評估指標，即MSE、FP、FN、MAPE、MAE、Std.Dev、MAD與MdAD以進行全面地模型評估，所得結果與其他預測模型的結果[15]如表4所示。

由表4可知，在航空發動機較長循環周期內，改進的多層LSTM模型預測性能優良。使用基于PCA的健康因子以RUL預測，通過使用不同的訓練數據，網絡訓練能夠按需完成，同時能夠顯著提高訓練性能。針對航空發動機運行后期，誤差得分函數對滯后預測的不對稱高懲罰，而超前預測占最終誤差得分的主導，有效地實現了評估超前與滯后預測。根據多種評估指標結果，本文所提出的智能預測模型是可靠的。

4 結論

1) 針對高維度與多尺度時序監測參數，所提方法能夠識別6種工況；

2) 基于多層LSTM的預測模型在不同預測點，預測結果都優于單層LSTM與RNN；

3) 利用誤差評分與其他指標評估基于多層LSTM的預測模型，并與其他方法評估結果相比較，驗證了其在處理超前與滯后預測的優勢與模型準確性及穩健性。

基于多層LSTM的預測模型利用數據訓練模型，具有復雜任務適應能力，進一步實現了復雜系統健康管理功能的提升、健康管理手段的學習與健康管理方法的完善。