基于多尺度融合預(yù)測模型的航空發(fā)動機剩余壽命預(yù)測

劉納川,郭建勝,張曉豐,余稼洋,解 濤

(空軍工程大學(xué) 裝備管理與無人機工程學(xué)院,西安 710051)

0 引言

航空發(fā)動機預(yù)測與健康管理技術(shù)(PHM)是近年來發(fā)動機發(fā)展的先進技術(shù),是推動維修保障模式改革,提高發(fā)動機安全性、可靠性和經(jīng)濟可承受性的重要手段[1]。航空發(fā)動機的剩余使用壽命(RUL)預(yù)測是PHM領(lǐng)域的一項關(guān)鍵任務(wù)。準(zhǔn)確預(yù)測航空發(fā)動機的RUL,可以得到意外故障的早期警報,針對性地調(diào)整相應(yīng)的操作流程并提出維修策略[2-3]。目前,常見的剩余壽命預(yù)測方法主要有2種:基于物理模型的方法和基于數(shù)據(jù)驅(qū)動的方法。由于航空發(fā)動機結(jié)構(gòu)復(fù)雜,數(shù)學(xué)模型嚴(yán)重非線性,觀測數(shù)據(jù)之間耦合程度很深,因此傳統(tǒng)的基于物理模型的預(yù)測方法難以構(gòu)建準(zhǔn)確的退化模型[4-5]。而基于數(shù)據(jù)驅(qū)動的預(yù)測方法主要依據(jù)大量的傳感器數(shù)據(jù),采用相應(yīng)的智能算法來學(xué)習(xí)和表達系統(tǒng)的退化過程,不需要深入理解系統(tǒng)的內(nèi)部細(xì)節(jié)和復(fù)雜的退化機理,實用性強。特別是隨著傳感技術(shù)的快速發(fā)展,許多基于數(shù)據(jù)驅(qū)動的RUL預(yù)測方法應(yīng)運而生。

基于數(shù)據(jù)驅(qū)動的RUL預(yù)測方法主要分為統(tǒng)計分析和深度學(xué)習(xí)兩類。C.Ordóez等[6]提出了一種ARIMA-SVM混合模型,首先設(shè)計一個ARIMA模型來預(yù)測傳感器信號,然后根據(jù)此信號利用支持向量機模型預(yù)測RUL;A.Chehade等[7]提出了一種基于統(tǒng)計假設(shè)檢驗的傳感器融合框架,以t分布來衡量退化狀態(tài)的最大可分性,并利用健康指標(biāo)來預(yù)測RUL;Wang等[8]提出了一種基于連續(xù)隱馬爾可夫模型(CHMM)的RUL預(yù)測方法,通過小波包理論提取特征,分析CHMM中每個狀態(tài)間的傳遞時間,從而得到當(dāng)前狀態(tài)到失效狀態(tài)的平均RUL;Si等[9]首先利用維納過程模擬系統(tǒng)的退化過程,其次使用遞歸濾波、EM算法分別更新維納過程中漂移系數(shù)和其他參數(shù),最后基于首達時間的概念得到RUL分布[9]。與基于統(tǒng)計分析的數(shù)據(jù)驅(qū)動預(yù)測方法相比,深度學(xué)習(xí)技術(shù)具有更強地捕捉輸入和輸出之間復(fù)雜非線性關(guān)系以及時間序列中長期依賴的能力。LSTM網(wǎng)絡(luò)(RNN的一種變體)較好地解決了RNN在學(xué)習(xí)長期依賴關(guān)系中梯度彌散和爆炸的問題。因此,它在RUL預(yù)測的過程中應(yīng)用越來越廣泛。鄭帥等[10]直接根據(jù)傳感器信號利用LSTM網(wǎng)絡(luò)預(yù)測RUL,并在PHM08挑戰(zhàn)數(shù)據(jù)集、C-MAPSS數(shù)據(jù)集、Milling 數(shù)據(jù)集上進行了測試,在大多數(shù)情況下,LSTM的性能優(yōu)于其他基準(zhǔn)模型。Shi等[11]設(shè)計了一個雙層的LSTM網(wǎng)絡(luò),第一層用于檢測退化拐點,第二層用于擬合HI,然后根據(jù)HI和RUL之間的函數(shù)關(guān)系,推導(dǎo)出RUL。除了循環(huán)神經(jīng)網(wǎng)絡(luò)之外,由于注意力機制[12]在自然語言處理領(lǐng)域取得的巨大成功,不少學(xué)者也將其應(yīng)用于RUL預(yù)測中。陳保家等將注意力機制融入到多層殘差網(wǎng)絡(luò)中,有效的提高了預(yù)測的效率[13]。葉瑞達等[14]將雙層殘差網(wǎng)絡(luò)用于 CNN 和 LSTM 網(wǎng)絡(luò)中,構(gòu)建卷積記憶殘差注意力網(wǎng)絡(luò)(CMRSA)對RUL進行預(yù)測。

目前,基于統(tǒng)計分析的RUL預(yù)測方法由于其較為苛刻的假設(shè)條件以及較高的計算復(fù)雜度導(dǎo)致其難以推廣,而基于深度學(xué)習(xí)的RUL預(yù)測方法更偏重于對數(shù)據(jù)深層特征的提取以及網(wǎng)絡(luò)結(jié)構(gòu)的豐富,對于多源輸入對預(yù)測的不同影響以及時間特征提取的充分性考慮不足[13]。此外,大多數(shù)基于深度學(xué)習(xí)的方法僅提供RUL的點估計,而預(yù)測中的多重不確定性使得模型難以提供絕對準(zhǔn)確的值,因此,處理預(yù)測不確定性對于RUL預(yù)測至關(guān)重要。

針對以上問題,本文提出了一種基于多尺度融合預(yù)測模型的航空發(fā)動機剩余壽命預(yù)測方法。該方法通過靜態(tài)協(xié)變量編碼網(wǎng)絡(luò)對靜態(tài)數(shù)據(jù)進行處理,將生成的四類靜態(tài)協(xié)變量連接到模型的不同位置,輔助模型進行不同尺度時間特征的提取;利用變量選擇網(wǎng)絡(luò)對多源輸入進行選擇,抑制不必要特征和噪聲的輸入;采用門控殘差機制對模型結(jié)構(gòu)進行優(yōu)化,使模型可以靈活的跳過無用的組件,提升模型的適應(yīng)性;利用LSTM和改進的注意力機制進行局部和全局特征的提取,在充分挖掘數(shù)據(jù)中退化信息的同時提升模型對重要節(jié)點的檢測能力;借鑒分位數(shù)回歸的思想,對預(yù)測過程中的不確定性進行量化,通過對每次循環(huán)同時預(yù)測不同分位數(shù)水平的RUL,將原始的點估計拓展為區(qū)間估計,從而實現(xiàn)多尺度的預(yù)測。選用美國宇航局(NASA)航空渦扇發(fā)動機退化數(shù)據(jù)集C-MPASS完成了RUL預(yù)測方法的實驗驗證。

1 基于MSF預(yù)測模型的航空發(fā)動機RUL預(yù)測方法

基于多尺度融合預(yù)測模型的航空發(fā)動機剩余壽命預(yù)測方法流程如圖1所示。首先,對數(shù)據(jù)集進行歸一化和降噪處理,然后根據(jù)每次循環(huán)的飛行工況劃分結(jié)果為數(shù)據(jù)集添加靜態(tài)變量。其次,根據(jù)退化模型為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集添加RUL標(biāo)簽。MSF預(yù)測模型的輸入為靜態(tài)數(shù)據(jù)、連續(xù)變量和離散變量,靜態(tài)數(shù)據(jù)和離散變量需要進行“Label-Encoder”編碼;而連續(xù)信號需要進行歸一化處理從而消除不同量綱所帶來的影響,根據(jù)時間窗的大小對每臺發(fā)動機的時間序列進行劃分,將生成的二維數(shù)據(jù)作為模型的輸入。設(shè)置相應(yīng)的batch進行訓(xùn)練,調(diào)整神經(jīng)網(wǎng)絡(luò)權(quán)重參數(shù)以最小化損失函數(shù)值。重復(fù)迭代,當(dāng)損失函數(shù)值達到閾值或到達最大迭代次數(shù)時,結(jié)束模型訓(xùn)練。訓(xùn)練樣本標(biāo)記的剩余壽命值作為模型的目標(biāo)輸出。將測試集輸入該模型,得到相應(yīng)的測試結(jié)果。

圖1 基于MSF預(yù)測模型流程

1.1 數(shù)據(jù)預(yù)處理

本文中使用NASA提供的C-MAPSS數(shù)據(jù)集,數(shù)據(jù)集根據(jù)不同操作模態(tài)和故障數(shù)目分為4個子集FD001～FD004。每個子集均由訓(xùn)練集和測試集組成,記錄了若干個發(fā)動機從性能正常狀態(tài)到性能失效狀態(tài)期間飛行循環(huán)的監(jiān)控數(shù)據(jù),詳細(xì)設(shè)置如表1所示。每個飛行循環(huán)的監(jiān)測數(shù)據(jù)由26維特征數(shù)據(jù)構(gòu)成,其中前兩維分別表示發(fā)動機(單元)編號和循環(huán)編號,接下來三維為飛行工況(飛行高度、馬赫數(shù)和油門桿解算器角度),余下的21維數(shù)據(jù)是監(jiān)測數(shù)據(jù)。

表1 C-MAPSS數(shù)據(jù)集

數(shù)據(jù)的歸一化與降噪處理:不同傳感器觀測值的量綱和量綱單位往往是不同的,直接使用不僅會影響數(shù)據(jù)分析的結(jié)果,還會影響到模型收斂的速度和精度。為了消除這種影響,使用Min-Max方法對傳感器數(shù)據(jù)進行歸一化處理。同時,為了消除噪聲的影響,使用窗口長度為53、多項式階數(shù)為3的Savitzky-Golay濾波器對傳感器數(shù)據(jù)進行平滑處理。

數(shù)據(jù)重構(gòu):對于同一發(fā)動機而言,不同飛行工況下其對應(yīng)的監(jiān)測數(shù)據(jù)往往處于不同的水平。對于不同發(fā)動機而言,相同的飛行工況其監(jiān)測數(shù)據(jù)往往具有更大的相似性。根據(jù)4個子集的操作模態(tài)數(shù)目,使用K-means算法對3個飛行工況進行聚類分析,并將操作模態(tài)類別定義為靜態(tài)數(shù)據(jù),結(jié)果如表2所示。

表2 飛行工況劃分

對于隨時間具有明顯增加或減少趨勢的監(jiān)測數(shù)據(jù),將其定義為連續(xù)變量,進行歸一化處理后作為輸入。對于隨時間沒有明顯變化的監(jiān)測數(shù)據(jù),將其定義為離散變量。結(jié)果如表3所示,其中離散變量中的括號代表該監(jiān)測數(shù)據(jù)分為幾類。

表3 監(jiān)測數(shù)據(jù)劃分

退化模型:通過航空發(fā)動機退化模式的觀察發(fā)現(xiàn),航空發(fā)動機在運行初期磨損較小,運行狀態(tài)穩(wěn)定,性能基本不退化,可認(rèn)為此階段的發(fā)動機剩余壽命保持恒定。因此,在退化之前估計RUL是不合理。為更準(zhǔn)確的模擬發(fā)動機的真實退化過程,分段退化模型被廣泛用于預(yù)測研究[20-21],本文參考Huang等[22]的實驗結(jié)論,將最大剩余壽命設(shè)定為130。

1.2 MSF預(yù)測模型

MSF預(yù)測模型主要包括4個部分(靜態(tài)協(xié)變量編碼、變量選擇、局部特征提取、全局特征提取),通過靜態(tài)協(xié)變量編碼網(wǎng)絡(luò)將靜態(tài)數(shù)據(jù)的特征集成到模型中;變量選擇類似于主成分分析,按照輸入數(shù)據(jù)對于預(yù)測目標(biāo)的重要程度,對每次循環(huán)的監(jiān)測數(shù)據(jù)進行即時選擇,此外,它還可以降低不必要的噪聲對于預(yù)測的影響;局部特征提取主要處理的是經(jīng)過變量選擇的監(jiān)測數(shù)據(jù),受原始數(shù)據(jù)影響大,因此更易捕捉局部信息;而全局特征提取處理的是局部特征提取的輸出狀態(tài),由于抽象層次更高,受原始輸入影響較小,所以更易捕捉到全局性的信息;各個部分之間通過門控殘差機制進行連接以提升模型深度和復(fù)雜度的適應(yīng)性。多尺度融合時序預(yù)測框架結(jié)構(gòu)如圖2所示。

圖2 多尺度融合預(yù)測模型

1.2.1門控殘差機制

門控殘差機制(GRM)是MSF預(yù)測模型的基本結(jié)構(gòu)之一。它主要由門控機制和殘差連接構(gòu)成。門控機制主要是對輸入數(shù)據(jù)進行特征選擇,通過在特定場景下對特定數(shù)據(jù)集進行學(xué)習(xí),來抑制無效特征的輸入。而殘差連接可以使網(wǎng)絡(luò)適應(yīng)不同的深度和復(fù)雜性,提高信息在網(wǎng)絡(luò)中傳遞的效率。

門控殘差機制結(jié)構(gòu)見圖2。可以表示為:

1.2.2變量選擇網(wǎng)絡(luò)

變量選擇網(wǎng)絡(luò) (VSN)是MSF預(yù)測模型的一個重要組成部分。不僅可以對每次飛行循環(huán)輸入的編碼向量進行評估,按照其對預(yù)測目標(biāo)的重要程度進行變量選擇;還可以消除由于多源輸入所帶來的各種噪聲,提高模型的性能和魯棒性。

第一部分主要對輸入進行非線性處理和特征選擇,可以表示為:

第二部分主要是生成各變量對應(yīng)的權(quán)重,可以表示為:

式中:Ξ∈RdEmbedding×j為將編碼向量“展平”后的向量;Φt為經(jīng)過Softmax 激活函數(shù)映射的變量選擇權(quán)重,對于監(jiān)測數(shù)據(jù)的選擇需要靜態(tài)協(xié)變量的輔助。

式中:ξt∈Rdhidden為第t次飛行循環(huán)經(jīng)過變量選擇網(wǎng)絡(luò)選擇的特征向量。

1.2.3靜態(tài)協(xié)變量編碼網(wǎng)絡(luò)

在時間序列預(yù)測過程中,不僅監(jiān)測數(shù)據(jù)與預(yù)測目標(biāo)具有復(fù)雜的關(guān)系,一些靜態(tài)數(shù)據(jù)對預(yù)測目標(biāo)也具有重要的影響。本文通過靜態(tài)協(xié)變量編碼網(wǎng)絡(luò)(SCCN)生成scs、sce、scc、sch四類靜態(tài)協(xié)變量,并將其連接到模型的不同位置,輔助時間依賴變量進行預(yù)測。其中,scs用于變量選擇網(wǎng)絡(luò);scc、sch用于局部特征提取網(wǎng)絡(luò);sce用于全局特征提取網(wǎng)絡(luò)。以scs為例,具體公式為:

1.2.4基于LSTM的局部特征提取網(wǎng)絡(luò)(LFEN)

在時間序列數(shù)據(jù)中,重要時間節(jié)點通常與其周圍值相關(guān),例如異常點、變化點以及周期模式等。因此,通過構(gòu)建逐點值之上的LSTM神經(jīng)網(wǎng)絡(luò),可以提高模型退化拐點的檢測能力,以及航空發(fā)動機退化過程中局部退化特征的提取能力。此外,為了反映靜態(tài)數(shù)據(jù)對于時間特征的影響,本文使用靜態(tài)協(xié)變量編碼網(wǎng)絡(luò)產(chǎn)生的靜態(tài)協(xié)變量scc、sch作為LSTM的初始隱藏狀態(tài)和初始細(xì)胞狀態(tài)。

1.2.5靜態(tài)增強網(wǎng)絡(luò)

由于靜態(tài)協(xié)變量通常對時間動態(tài)具有顯著影響,如不同操作設(shè)置對于發(fā)動機退化過程的影響等。因此,本文使用靜態(tài)增強網(wǎng)絡(luò)來提升模型捕捉時間特征的能力,可以表示為:

θt-n=GRM(ψt-n,ce)

(15)

1.2.6基于改進多頭注意力機制的全局特征提取網(wǎng)絡(luò)

由于注意力機制可以描述一個時間步長中所有時間點輸入特征之間的關(guān)系,因此可以用于提取較長的時間特征。

與一般的多頭注意力機制不同的是,本文首先采用縮放點積的方式計算各時間點之間的相關(guān)性,可以表示為:

Attention(Q,K,V)=AS(Q,K)V

(16)

其次為了更好的表征特定特征的重要性,對于不同的“頭”共享價值權(quán)重,可以表示為:

式中:Wv∈Rdhidden×dhidden為所有“頭”共享的價值權(quán)重;WH∈Rdhidden×dhidden用來對最后的結(jié)果進行線性映射。

為了便于訓(xùn)練,提升模型的適應(yīng)性,類似于局部特征提取網(wǎng)絡(luò),本層也加入了門控機制和殘差連接,可以表示為:

1.2.7損失函數(shù)

為了更好的進行決策和風(fēng)險管理,本文在點預(yù)測的基礎(chǔ)上進行了區(qū)間預(yù)測,采用分位數(shù)誤差作為損失函數(shù)[15],通過在每次循環(huán)上同時預(yù)測不同的分位數(shù)(10th、50th、90th)水平的RUL來實現(xiàn)多尺度的預(yù)測。可以表示為:

(22)

2 實驗驗證

2.1 仿真條件

仿真的軟硬件環(huán)境為NVIDIA GeForce RTX 3060 Laptop GPU、Intel Core i7-11800H CPU、32G RAM、Windows 11、Python 3.7,基于PyTorch框架。

經(jīng)過反復(fù)測試,將時間步長設(shè)置為30、靜態(tài)變量的嵌入維度設(shè)置為8、隱藏層維度設(shè)置為160、Dropout比率設(shè)置為0.3、LSTM層數(shù)設(shè)置為2、多頭注意力機制的“head”數(shù)設(shè)置為4具有較好的預(yù)測效果。

2.2 評價指標(biāo)

使用SF(評分函數(shù))和RMSE(均方根誤差2個指標(biāo)來評價基于多尺度融合時序預(yù)測框架的航空發(fā)動機剩余壽命預(yù)測性能。

SF是一個非對稱函數(shù),經(jīng)常用于評價剩余壽命預(yù)測的性能。對于航空發(fā)動機的剩余壽命預(yù)測,超前預(yù)測優(yōu)于滯后預(yù)測,因此,在相同誤差下滯后預(yù)測比超前預(yù)測受到更嚴(yán)重的懲罰。其函數(shù)表達式為:

相較于SF,RMSE對超前預(yù)測誤差和滯后預(yù)測誤差給予同等的懲罰。其函數(shù)表達式為:

2.3 實驗結(jié)果

由于FD002和FD004子數(shù)據(jù)集具有多個操作模態(tài),有利于驗證靜態(tài)數(shù)據(jù)對于模型預(yù)測的影響。因此,選用FD002和FD004子數(shù)據(jù)集的發(fā)動機RUL進行預(yù)測,每個子集進行5次有效實驗,得出的每次預(yù)測的RMSE值和Score值,并計算平均值,結(jié)果如表4所示。

表4 RMSE、Score結(jié)果

為了驗證所提方法的有效性,將其與文獻[10]、文獻[13]和文獻[16-20]所提方法的預(yù)測效果進行對比,RMSE結(jié)果對比如表5所示,Score結(jié)果對比如表6所示。

表5 不同方法的RMSE結(jié)果對比

表6 不同方法的Score結(jié)果對比

由表5可得本文所提方法在FD002測試集上預(yù)測的RMSE最優(yōu)值相較于其他方法分別提高了34.66%、19.19%、11.49%、12.93%、10.33%、30.58%、3.51%和1.64%,平均提高15.54%;預(yù)測的RMSE平均值略低于Attention-GRU-GAN、Nested-LSTM方法,相較于其他方法分別提高了30.31%、13.80%、5.59%、7.13%、4.35%和25.96%。在FD004測試集上預(yù)測的RMSE最優(yōu)值相較于其他方法分別提高了29.66%、27.13%、8.56%、9.49%、12.69%、33.26%、8.27%和6.18%,平均提高16.91%;預(yù)測的RMSE平均值略低于Attention-GRU-GAN方法,相較于其他方法分別提高了24.00%、21.30%、1.21%、2.21%、5.66%、27.89%和0.89%。

由表6可得本文所提方法在FD002測試集上預(yù)測的Score平均值和最優(yōu)值相較于前6種方法均提高了90%以上,與Nested-LSTM方法相比平均值和最優(yōu)值分別提高了63.51%、71.14%,與Attention-GRU-GAN方法相比平均值和最優(yōu)值分別提高了27.32%、42.52%,平均提高83.21%。在FD004測試集上預(yù)測的Score平均值和最優(yōu)值相較于前6種方法均提高了75%以上,與Nested-LSTM方法相比平均值和最優(yōu)值分別提高了63.86%、69.72%,與Attention-GRU-GAN方法相比平均值和最優(yōu)值分別提高了53.36%、60.92%,平均提高78.78%。

為了進一步觀察本文所提方法的預(yù)測效果,圖3展示了2個測試集所有發(fā)動機RUL預(yù)測值和真實值的對比結(jié)果,其中,FD002、FD004測試集真實RUL超出預(yù)測區(qū)間的數(shù)目分別為21、19,分別占其總發(fā)動機數(shù)目的8.1%、7.6%,可以看出預(yù)測值與真實值之間誤差較小,精度較高。選取FD002中具有最長測試循環(huán)的發(fā)動機(ID:65)、具有最短測試循環(huán)的發(fā)動機(ID:121)以及隨機一臺發(fā)動機(ID:33);FD004中具有最長測試循環(huán)的發(fā)動機(ID:232)、具有最短測試循環(huán)的發(fā)動機(ID:198)以及隨機一臺發(fā)動機(ID:224),給出其全測試循環(huán)的壽命退化預(yù)測結(jié)果。如圖4所示,對于壽命最長的發(fā)動機,FD004中的第232號發(fā)動機雖然已進行了339次循環(huán),但其仍然處于未退化階段,預(yù)測過程出現(xiàn)幾次波動,但真實RUL均落在預(yù)測區(qū)間內(nèi)。FD002中的第65號發(fā)動機在預(yù)測中期出現(xiàn)較大波動,但基本退化軌跡與真實RUL保持一致。對于壽命較短的發(fā)動機,其退化過程非常快,早期預(yù)測結(jié)果并不好,預(yù)測區(qū)間寬度較大,最大區(qū)間長度分別為128、116,但隨著監(jiān)測數(shù)據(jù)的不斷輸入,預(yù)測結(jié)果得到改善,最后一次循環(huán)的預(yù)測區(qū)間長度分別為49、2。因此,本文所用方法在單個發(fā)動機的RUL預(yù)測中也具有一定優(yōu)勢,退化趨勢擬合較好。

圖3 測試樣本真實RUL與預(yù)測RUL對比圖

3 結(jié)論

本文針對傳統(tǒng)深度學(xué)習(xí)方法在航空發(fā)動機RUL預(yù)測中忽視靜態(tài)數(shù)據(jù)對于RUL的影響以及特征識別和提取不充分的問題,構(gòu)建了基于靜態(tài)協(xié)變量編碼網(wǎng)絡(luò)、靜態(tài)增強網(wǎng)絡(luò)以及LSTM的網(wǎng)絡(luò)模型,并融入了門控殘差機制和改進的多頭注意力機制,提升了RUL預(yù)測性能,得到如下結(jié)論:

1) 采用靜態(tài)協(xié)變量編碼網(wǎng)絡(luò)將靜態(tài)數(shù)據(jù)特征融入到網(wǎng)絡(luò)模型中,將生成的4類靜態(tài)協(xié)變量連接到模型的不同位置,提升了模型捕捉不同尺度時間特征的能力,解決了特征識別和提取不充分的問題。

2) 采用變量選擇網(wǎng)絡(luò)對網(wǎng)絡(luò)中輸入的特征按照不同的權(quán)重進行篩選,充分利用重要的數(shù)據(jù)信息,提高RUL預(yù)測精度。

3) 采用門控殘差機制進行模型各組件之間的連接,提升模型對于網(wǎng)絡(luò)深度和復(fù)雜度的適應(yīng)性,保證了有效特征向后傳遞的效率。

4) 在不確定性管理方面,采用分位數(shù)誤差作為損失函數(shù),實現(xiàn)了點預(yù)測向區(qū)間預(yù)測的擴展。