基于Transformer模型的航空發動機剩余壽命預測方法研究

吳直遙

（西南石油大學，四川 成都 610500）

航空發動機作為現代飛機的核心部件之一，是裝備制造領域的最高端產品，一旦發生故障將會造成飛行安全事故，不僅會導致巨大的財產損失，還可能造成人員傷亡事故。傳統的航空發動機維護方式主要有兩大類：一類是基于故障的事后維修方式，這種方式存在的最主要問題是無法提前主動預防故障；另一類則是周期性的維護維修，這類方式會帶來一些不必要的維護，大大增加航空發動機的維護成本[1]。

發動機故障預測與健康管理，即利用數據分析和監測技術來提前發現可能的故障，并進行相應的維護和保養。剩余使用壽命預測是發動機故障預測與健康管理最重要的內容，也是最大的技術難點。隨著該技術的不斷深入，剩余使用壽命預測方法大致分為兩個方向，分別是基于模型的方法和基于數據驅動的方法。

基于模型的剩余使用壽命預測方法需要對設備建立精確的數學物理模型來研究其退化機制，從而獲得預測的發生故障時刻。雖然該方法能夠取得十分精確的結果，但是在實踐中建立實際的物理退化模型十分困難。基于數據驅動的剩余使用壽命預測方法相較于上述方法，較為簡單易懂，并且隨著數據樣本量增加，將會得到更準確的結果。基于數據驅動的剩余使用壽命預測方法按神經網絡結構的深度可以分為兩類：基于淺層機器學習的方法和基于深度學習的方法。

經過20多年的研究和發展，神經網絡模型在設備剩余使用壽命預測領域表現出了很好的效果。Shao Y[2]等提出了一種剩余壽命漸進預測的方法，該方法主要基于BP神經網絡預測軸承剩余壽命，驗證了所提出方法具有很好的效果。Wu等[3]采用Dropout提升LSTM的泛化能力，在NASA的航空發動機數據集上的預測效果優于RNN算法。

綜合來看，如何有效地提取發動機退化特征并且建立準確的剩余使用壽命預測模型是實現航空發動機剩余壽命預測的關鍵。針對現有方法特征提取不充分，模型計算復雜度高，預測精度較低等問題，本文提出一種基于Transformer模型結構的預測模型。

1 基礎理論

1.1 Transformer模型

在2017年，Google提出了一種基于純注意力機制的神經網絡模型，即Transformer模型。Transformer模型不需要使用循環神經網絡或卷積神經網絡，而是直接使用注意力機制對輸入序列進行編碼和解碼。此外，Transformer模型還引入了殘差連接和層歸一化等技術，解決了梯度消失和模型不穩定性等問題。

Transformer模型采用的是編碼器-解碼器架構，并且都采用堆疊多頭自注意力機制和全連接層。每一層編碼器中有兩個子層，分別為多頭自注意力機制和基于位置的全連接前饋神經網絡。其中多頭自注意力機制用來計算輸入的自注意力，而前饋網絡則是對兩個子層的輸出進行層歸一化并且采用殘差連接。與編碼器有所區別的是，在解碼器中一共有三個子層，分別是遮擋多頭自注意力機制、多頭自注意力機制以及基于位置的全連接前饋網絡。其中遮擋多頭自注意力機制同樣用來計算輸入的自注意力，但是由于該層屬于生成過程，在時刻時，只有在小于 時刻才會有結果，因此需要將序列大于時刻的部分做遮擋操作。而其中多頭自注意力機制是對編碼器中的輸出進行注意力的計算。解碼器中的前饋網絡則與編碼器中的相同。

1.2 注意力機制

注意力機制（Attention Mechanism）是一種計算機模型，用于序列式數據的建模和處理。它是深度學習的重要部分，特別是在自然語言處理和計算機視覺領域中。

注意力機制的目的是讓模型能夠關注輸入數據的某些部分，而不是簡單地對整個輸入進行操作。這種機制使模型能夠學習對不同部分的輸入數據進行不同的處理，以便更好地理解和處理復雜的序列數據。例如，在翻譯任務中，注意力機制可以幫助模型根據源語言的單詞與目標語言的單詞之間的對應關系，更好地翻譯輸入文本。在剩余使用壽命預測領域，設備退化階段的輸入會比健康階段的輸入更有作用。注意力機制可以動態地關注特征中更重要的信息。在該領域任務中，由于沒有先驗信息可用，可以利用自我注意機制來學習特征和時間步長的重要性。

2 預測模型

2.1 數據集分析與處理

美國航空航天局（NASA）負責創建和維護的C-MAPSS（Commercial Modular Aero-Propulsion System Simulation）數據集是一個用于機械故障診斷和預測的常用數據集，它包含了模擬的渦輪發動機故障數據，是剩余壽命預測領域被廣泛使用的基準數據集。C-MAPSS模擬的是一個推力級為90 000磅的大型商用渦扇發動機系統。通過發動機的熱力學仿真模型，傳感器響應被生成。

C-MAPSS數據集已經被劃分為四個子數據集，每個子數據集表示不同的發動機運行工況和故障模式，并且每個子數據集也已經被劃分為訓練集、測試集以及一個測試集的發動機剩余壽命的RUL標簽集。其中訓練集包含了發動機從開始工作直至性能完全退化時整個生命周期的運行數據，測試集中數據樣本為發動機性能完全退化之前某段時間內的運行數據。

通過分析各個傳感器監測數據，并計算傳感器數值的方差，可以發現其中一部分傳感器數據的方差為0。即表示其監測值隨著發動機退化而保持恒定，所以并不是所有的傳感器數據都包含有發動機退化信息。通過該方式分析21種傳感器參數數據，發現傳感器序號為1、5、6、10、16、18、19的參數數據在發動機運行退化過程中為恒定值，所以這部分數據對于發動機的RUL預測為無效變量，因此只保留剩余14個有效傳感器數據。

由于各個傳感器監測數據單位基本不同，同時這些數據數值差異也較大。因此本文采用Min-Max方法來對篩選過后的14個傳感器數據分別進行歸一化處理，以得到歸一化后數值映射到[0,1]的各傳感器數據。Min-Max歸一化的公式如式（1）所示：

在實際的情況中，設備在早期階段會保持健康的狀態運行一段時間，并且該階段的各個傳感器監測數據都是趨于穩定的。Zheng等人采用分段線性函數的形式來擬合發動機的實際生命周期的退化過程。本文采用的臨界RUL值為125個發動機循環數。

本文將采用滑動窗口的方式來構造訓練樣本，使得訓練數據包含盡可能多的發動機退化信息并且盡量減輕誤差和噪聲帶來的影響。滑動窗口方法將一個固定大小的窗口沿著序列數據向前滑動，每次滑動一個固定的步長，并從當前位置提取一個子序列構成一個樣本。

2.2 GRU-Trans預測模型

針對現有方法的不足以及發動機退化數據的高維度、具有時序性的特點，同時又考慮到Transformer編碼器中的注意力機制使得輸出的高級特征對局部上下文信息不敏感，本文提出了一種基于GRU-Trans網絡結構的RUL預測模型，以提高模型在每個時間步提取局部上下文特征的能力。

GRU-Trans模型結構主要包括三層：門控循環單元層、編碼器層以及回歸層。其中門控循環單元層可以學習發動機退化序列數據中的長期依賴關系，同時增強模型對退化數據的局部特征提取能力，以進一步提高模型對發動機RUL的預測準度。而編碼器層則是采用Transformer模型的編碼器結構，以較低的時間復雜度捕獲時間序列數據中的短期和長期依賴關系。該模塊利用了Transformer模型架構捕捉退化數據全局依賴性，從而更好地提取長序退化數據之間的特征關系，以進一步提高模型的預測效果。在經過編碼器層之后，GRU-Trans模型的最后一層則是回歸層。通過回歸層的計算之后，得到最終所預測的發動機RUL值。

3 實驗驗證與分析

3.1 評價指標

對于本次實驗使用的數據集來說，常用的評價指標有兩種方式：均方根誤差和Score函數。具體的數學表達式如式（2）和式（3）所示：

3.2 超參數設置

在模型開始進行訓練之前，需要對設計的模型設置合適的參數，因為參數對模型的性能和準確性起著重要的作用。此外，值得一提的是，本文提出的RUL預測模型在Pytorch開源深度學習框架下搭建網絡預測模型。實驗是在64位Windows10操作系統上進行的，該系統配備的處理器為Intel(R) Core(TM) i5-9300H CPU，主頻為2.4 GHz，運行內存為RAM為16 GB，圖形處理器為NVIDIA GeForce GTX 1660Ti。實驗中采用的編程工具是Python3.8.8，選擇Pytorch1.8.1框架進行訓練。在優化器選擇方面，Adam優化器集合了動量和自適應學習率的優點，能夠更好地加速模型的學習，所以本文選擇Adam優化器來優化模型。經過大量的實驗，對于模型參數的設置，本文建立的GRU-Trans模型在編碼器層使用2個編碼器模塊，網絡隱藏層單元數選擇128，4個自注意力頭，滑動窗口大小win_size選擇30，Dropout率選擇0.1，批處理量batch_size則選擇32，學習率learning_rate取0.001。

3.3 實驗結果與分析

確定了最終的模型結構與參數之后，對調整好參數的GRU-Trans預測模型進行仿真實驗。模型在C-MAPSS數據集中四個測試集的預測都取得了很好的效果，具體而言，FD001子集上RMSE和Score函數分別是11.29和228，在FD002子集上，分別是14.16和1 023.54，在FD003子集上，分別是12.03和259.15，在FD004子集上，分別是15.79和1087.45。

其中，FD001子數據集的效果最好，主要是由于FD001子集的數據最簡單，發動機狀態和故障模式都只有一種。然后在具有相同發動機狀態模式的FD002和FD004子集中，模型也有較好的預測效果，并且FD002上的預測效果優于FD004，這主要是由于FD002子集和FD004子集的數據量相對于另外兩個子集更大，可以讓模型充分學習數據中的發動機退化特征，同時又因為FD004子集中發動機故障模型多，所以該數據集上的效果不如FD002上的。與此同時，在FD003子集上GRU-Trans模型也表現出較好的預測效果。

4 結束語

本文基于Transformer模型結構改進、提出了一種GRU-Trans模型，相較于經典Transformer編碼器模型增加了門控循環單元。通過在C-MAPSS數據集上建模預測，實驗結果表明，本文提出預測模型的有效性。但是想要更加精確地預測航空發動機的剩余壽命，并且將預測模型更好地運行到航空發動機的故障預測和健康管理中，仍然有很多工作和研究需要去做。可以考慮將本文提出的預測模型應用到其他的航空發動機退化數據集中去，以構建一個更具有魯棒性的預測模型。