基于殘差自注意力機制的航空發動機RUL預測

葉瑞達，王衛杰，何 亮，陳曉岑，薛 樂

（1.航天工程大學，北京101416；2.清華大學，北京100089；3.63931部隊，北京100094）

1 引 言

航空發動機是機械裝備制造領域的皇冠，代表著一個國家的國防工業和科技發展水平。然而航空發動機在使用上和航天發動機有著本質的區別：對于航天發動機來說，大多數都只需要使用一次，而航空發動機需要在復雜的環境下持續使用，這就給航空發動機的可靠性和安全性帶來了極大的挑戰。對于軍用飛機而言，在戰場上會面對各類武器的攻擊，需要發動機做出快速反應，在極短時間內完成加速減速、大角度變換方位等需求，這就加劇了航空發動機的性能退化速度。因此，有效地進行航空發動機健康管理［1］成為保障飛機飛行安全的重中之重。

航空發動機剩余使用壽命（Remaining Use?ful Life，RUL）傳統預測方法是基于物理模型的，雖然RUL預測方法有一定缺陷，但是其通過研究發動機失效機理來判斷發動機的健康狀態，仍是一種可靠性高的方法。陳煜［2］研究了發動機非線性部件級建模和修模方法，搭建了航空發動機快速原型仿真平臺。葛怡［3］通過對航空發動機的壓氣機喘振、尾噴管推力下降、燃燒室霧化三種典型的故障進行建模研究，從物理層面分析了產生故障的原因，完成了發動機建模仿真和典型故障基于模型的仿真，實現發動機的故障診斷和故障數據趨勢預測。然而，機器失效機理通常充滿不確定性，難以建立精確的模型。

基于數據驅動的深度學習方法在設備健康管理領域［4-7］可以避免傳統方法的不足，其優勢在于不需要手工設計特征工程、降低了準入門檻、易實現跨領域知識共享。隨著計算力的不斷發展，深度學習在航空發動機健康管理領域被大量使用。Li等［8］提出了一種新的基于數據驅動的深度卷積神經網絡（DCNN）預測方法，為了更好地提取DCNN的特征，采用了“時間窗”方法進行樣本準備，完成了航空發動機的剩余使用壽命預測。Sen等［9］建立了基于長短期記憶的數據驅動模型來預測航空發動機剩余使用壽命，建立了完整的集成經驗模式分解，然后進行重構，構建趨勢特征。Berghout等［10］提出了一種具有雙重動態遺忘因子和更新選擇策略的序貫極限學習機，序貫極限學習機用于擬合航空發動機的非累積線性降級函數，最終預測飛機發動機剩余使用壽命。彭開香等［11］提出一種深度置信網絡和隱馬爾可夫結合方法，使用無監督深度置信網絡提取數據特征，并構建航空發動機RUL評價指標，最后用隱馬爾可夫模型識別狀態。

以上研究中，偏重提取數據深層特征或處理時序特征，未將二者統一到訓練模型中。自注意力機制［12］能夠同時抽取數據深層特征和關聯時序特征，有效解決上述研究中的問題。然而，自注意力機制涉及到大量的權重矩陣運算，優化權重矩陣優化通常是傳統深度學習方法中的一個難點，誤差函數的梯度必須逐層反向傳播，誤差函數在經過反向傳播后對權重矩陣的優化效果較差或梯度消失。

針對傳統神經網絡在多維數據高分辨率特征識別和高精度信號提取方面的缺陷，開展基于殘差自注意力機制在航空發動機RUL預測領域的研究。分析卷積神經網絡和長短期記憶網絡這兩種主流算法模型的優點和局限，結合改進的自注意力機制，提出了一種卷積記憶殘差自注意力（CMRSA）神經網絡方法。該算法使用兩層殘差網絡，優化自注意力機制的權重矩陣。選用美國宇航局（NASA）航空渦扇發動機退化實驗數據集，完成了CMRSA模型在航空發動機RUL預測的仿真實驗。提出的方法具有一下優點：（1）利用卷積層提取數據特征，不需要專家經驗和人工判讀，利用殘差自注意力機制提高局部注意力和優化權重矩陣。（2）創新性地提出了CMRSA模型，有效提高了航空渦扇發動機RUL的預測精度。

2 典型深度學習模型分析

2.1 卷積神經網絡

卷積神經網絡（CNN）是深度學習中最為重要模型之一，卷積層是其核心組成部分，具有強大的特征提取能力。當卷積核與當前特征經過卷積操作后，該局部特征以某種形式保留，通過局部連接和權值共享特征，當經過多次局部特征提取后，所有的局部特征以多種方式融合，隨后經過激活函數，即可構成一個特征層。圖1所示展示了一個3×3的卷積核在5×5的圖像上做步長為2卷積操作的過程。每個卷積都是一種特征提取方式，將特征中符合條件的部分篩選出來。

圖1 卷積示意圖Fig.1 Convolution block diagram

其中m，n是輸入節點的二維坐標，f(?)為激活函數，常見的激活函數有sigmoid函數、ReLU函數等。ReLU公式如下：

池化層的前向傳播過程中也是通過移動一個類似過濾器的結構完成的，其主要作用是下采樣。卷積神經網絡具有強大的局部特征提取能力，然而對于長序列信息的特征關聯能力較弱。

2.2 循環神經網絡

循環神經網絡［13］（RNN）是以序列數據為輸入，在序列的前進方向進行遞歸循環且所有的循環體按鏈式循環的遞歸神經網絡。其中長短期記憶網絡、門控循環單元網絡和雙向循環神經網絡是常見的循環神經網絡。由于存在梯度消失的問題，普通的循環神經網絡很難處理長距離的信息。長短期記憶網絡［14］能夠解決普通循環神經網絡的缺陷，由于其獨特的結構設計，LSTM適用于處理時間序列和延遲較長的數據。標準LSTM如圖2所示。

圖2 LSTM結構圖Fig.2 Structure diagram of LSTM

LSTM包含遺忘門f t、輸入門y t、當前輸出的狀態單元ct和輸出門h t。其中遺忘門的作用是決定上一個單元狀態保留到當前狀態ct的比例。輸入門決定了當前輸入x t保留到當前狀態ct的比例。其算法流程如下：

遺忘門f t由當前輸入x t和上一個時刻輸出h t-1定：

輸入門y t和當前輸入單元狀態m t同樣由當前輸入x t和上一個時刻輸出h t-1決定：

而當前輸出的狀態單元ct：

LSTM的最終輸出：

其中W f，W y，W m和W h是權重矩陣，對應的bf，by，bm和bh是偏置項。公式中的*表示按矩陣中的元素相乘。

循環神經網絡包含LSTM網絡，LSTM網絡是RNN網絡的重要分支。LSTM模型對長序列信息有著良好的前后關聯能力，然而在局部特征提取方面有所欠缺。

3 RUL預測模型構建

3.1 殘差自注意力機制設計

自注意力機制起源于自然語言處理，是Transformer模型［12］核心算法。Transformer模型分為編碼器和解碼器兩個部分，每個編碼器包括自注意力機制和前饋網絡，自注意力機制是Transformer模型的核心部分。自注意力機制的優勢在于可以進行遠距離學習、提高局部注意力和并行計算。

在自注意力算法中，特征矩陣ai（i表示由i個向量拼成ai）分別與三個權重矩陣W k，W q和W v相乘得到K、Q和V，其計算公式如下：

其中，Q代表查詢（query）、K代表鍵（key）、V代表值（value），它們都是輸入矩陣。計算自注意力值：

其中K和V組成的鍵值對代表源語句，Q代表目標語句，其目的在于計算源語句和目標語句的關系，d k是鍵向量維度的平方根。

在傳統自注意力機制中，特征矩陣ai分別與三個權重矩陣相乘，導致在迭代算法過程中太過依賴于權重矩陣。基于殘差網絡［15］的思想，提出一種殘差自注意力機制，其算法結構原理如圖3所示。

圖3 殘差注意力機制原理圖Fig.3 Schematic diagram of residual self-attention mechanism

特征矩陣在經過三個權重矩陣處理后得到K，Q和V后，分別與K，Q和V相加，這樣可以使得提高特征矩陣ai在自注意力算法中的權重。同時在得到自注意力值后，使用跳層連接，將自注意力值與輸入特征矩陣ai相加。

在得到K，Q和V后，ai分別與K，Q和V相加，在特征矩陣相加的過程中，需要保證矩陣維度一致，假設則有：

同 理 可 得Q'，V'，使 用 式（9）得 到Attention(Q'，K'，V')，最 后 將 其 與 初 始 特 征ai相加：

其中，output為殘差自注意力模型的輸出。

殘差自注意力機制使用雙跳層連接結構，將初始特征進行長短距離再提取，其算法流程如下：

（1）輸入批次特征矩陣通過是三個權重矩陣陣W k，W q和W v相乘分別得到K、Q和V。

（2）將特征矩陣K，Q和V與初始特征矩陣相 加 得 到 特 征 矩 陣K'，Q'和V'。

（3）將特征矩陣K'，Q'使用Scale（縮放點積）計算“得分”。

（4）把“得分”除以d k，并使用softmax激活函數，乘上矩陣V'。

（5）最后將輸出的特征矩陣與原始特征矩陣相加得到自注意力值。

為驗證殘差自注意力權重矩陣的優化性能，假設傳播到K處的誤差為J，此時從K'到ai的反向傳播過程為：

a.在自注意力機制中：

b.在殘差自注意力機制中：

在誤差相同時，殘差自注意力機制的W k相對于自身的變化更大。所以在引入殘差網絡后，權重的變化對輸出更加敏感，能夠更好的優化權重矩陣。

3.2 構建卷積記憶殘差自注意力機制模型

通過CNN、LSTM和殘差自注意力機制，構建了由輸入層、特征提取層、位置編碼器、殘差自注意力模塊、全局平均池化層和全連接層的卷積記憶殘差自注意力機制（CMRSA）模型框架。其結構如圖4所示。

圖4 CMRSA模型框架圖Fig.4 Frame diagram of CMRSA model

輸入層將數據集提供的原始信號進行預處理，構建滿足CMRSA模型輸入的樣本。特征提取層由CNN和LSTM組成的CLSTM構成，有效綜合了CNN的特征處理能力和LSTM的時序關聯能力，CLSTM能夠更好地提取和學習航空發動機的信號特征。為了更好的使用所提取的航空發動機信號特征的時序信息，可以使用tranformer中的位置編碼器對信號特征進行位置編碼。位置編碼器對信號特征進行位置編碼：

PE為二維矩陣，偶數位置添加正弦變量，奇數位置添加余弦變量，以此來填滿整個PE矩陣，對使用CLSTM提取信號初始特征完成位置編碼。在使用自注意力時，對特征位置編碼，有利于學習關聯特征。殘差自注意力模塊對位置編碼后的特征進行權重矩陣優化，得到自注意力值。全局平均池化層可以減少網絡參數量，防止過擬合現象。全連接層由神經元組成，在航空發動機RUL預測時，將神經元個數設置為1，表示輸出的RUL。

4 仿真校驗及分析

4.1 實驗數據預處理及評價指標

NASA Ames研究中心提供的航空渦扇發動機退化實驗數據集（C-MAPSS）［16］，NASA利用C-MAPSS軟件對航空渦扇發動機進行了失效模擬，使用24個傳感器采集數據，模擬了航空渦扇發動機的失效過程。C-MAPSS由四個子數據集組成，每個子數據集分為訓練數據集和測試數據集，如表1所示。

表1 C-MAPSS數據集Tab.1 C-MAPSS dataset

本實驗選用第1組編號FD001的數據集，訓練集train_FD001.txt包含100條訓練樣本，每條樣本包含24個傳感器讀數，包括21個依賴傳感器和3個操作設定傳感器；text_FD001.txt包含100條測試樣本；RUL_FD001.txt中提供測試集對應的真實RUL值。

a.數據預處理

在C-MAPSS數據集上，共有21個傳感器反映航空發動機的健康狀態，需要將傳感器數據進行有效的預處理，從而為模型提供訓練數據。假設傳感器為Si(i=1，2，...，21)，則在一段時間內的某個傳感器的測量結果可以表示為將傳感器數據進行離差標準化，其轉換公式如下：

b.評價指標

選用常用的均方誤差（Mean Square Error，MSE）和評分函數（Score）這兩個指標［16］，來對RUL進行評價。

4.2 實驗過程

選用C-MAPSS的FD001數據集，首先對航空渦扇發動機原始數據信息預處理，由于共有21個傳感器監測數據和3個設定參數，加上工作循環次數，可以將數據處理成50×25的矩陣，得到處理后的數據集。首先將處理后的數據集輸入到CMRSA模型中，信號在卷積層與卷積核做卷積，卷積層使用32個卷積核，大小為5×1，步長設置為2。其次，經過卷積層的特征通過LSTM，LSTM層的單元數為32。使用位置編碼器對特征進行位置編碼，進行位置編碼后的特征經過一個殘差自注意力模塊，最后輸入到全局平均池化層，可以有效防止過擬合現象，通過全連接層輸出結果。

針對航空渦扇發動機，CMRSA模型可以提取各個傳感器數據信息中不同程度的航空發動機退化信息，捕捉各個傳感器中航空渦扇發動機不同部件之間的相關退化信息，得到航空渦扇發動機的RUL。CMRSA模型在預測RUL時的損失函數使用均方誤差，其公式為選用的性能指標式（17）。使用為使得特征矩陣ai與K，Q和V的維度保持一致，殘差自注意力機制中的權重矩陣W k，W q和W v設置25×25。每層網絡的輸出如表2所示。

表2 網絡層的輸出尺寸T ab.2 Output size of network layers

4.3 實驗結果分析

訓練模型時，每批次輸入大小為128，迭代次數為100。其訓練過程的損失函數值（loss）與迭代次數關系如圖5所示，損失函數值隨著迭代次數的增加而減小，迭代訓練多輪后，逐漸趨于平緩。

圖5 基于CMRSA模型訓練的loss圖Fig.5 Loss diagram based on CMRSA model training

為驗證殘差自注意力機制的性能，使用未添加殘差網絡的卷積記憶自注意力（CMSA）模型完成對比實驗。預測值與真實值對比如圖6所示。

在圖6中，CMRSA模型的均方誤差為222，而CMSA模型的均方誤差為278。同時，完成了CMRSA模型在FD002、FD003和FD004數據集上的實驗，并與CMSA模型對比，其結果如表3所示。通過對比分析，改進的殘差自注意力性能優于傳統的自注意力機制。

表3 CM RSA和CMSA結果對比表Tab.3 Comparison table of CMRSA and CMSA results

圖6 真實值與預測值對比圖Fig.6 Comparison of thetruevalueand thepredicted value

為驗證CMRSA模型在航空發動機RUL預測領域的性能，加入對比實驗。文獻［17］所提全部特征輸入長短時記憶單元（AF-LSTM）方法和文獻［18］所提一種改進CNN方法，用來預測發動機的RUL。這四種方法都是在C-MAPSS中的FD001數據集上進行的，每種模型訓練5次取其平均值。從表4可知，對比這三種方法，CMRSA模型在MSE和Socre評價指標上優于其他三種方法，CMRSA模型在預測航空渦扇發動機RUL時效果顯著。

表4 各算法結果對比表Tab.4 Comparison table of algorithm results

5 結 論

針對傳統神經網絡在多維數據高分辨率特征識別和高精度信號提取方面的缺陷，提出了一種卷積記憶殘差自注意力神經網絡方法。使用卷積神經網絡和長短期記憶網絡進行特征編碼，將得到的特征矩陣輸入到殘差自注意力網絡中訓練，該網絡使用雙跳層殘差連接，優化自注意力機制的權重矩陣。選用C-MAPSS數據集，完成了航空發動機RUL預測的實驗。實驗結果表明，使用CMRSA模型的預測精度優于其他的方法，相比CMSA模型的均方誤差降低了17.9%。提出的方法具有一下優點：（1）提出了殘差自注意力機制，使用雙跳層殘差連接，可以優化權重矩陣。（2）針對航空發動機RUL預測問題，構建了卷積記憶殘差自注意力模型，有效提高了航空渦扇發動機RUL的預測精度。在后續的研究中，將開展多個殘差自注意力機制組合及組合形式的研究，進一步提升航空發動機剩余使用壽命預測的精度。