基于Transformer 模型的滾動軸承剩余使用壽命預測方法

周哲韜，劉路，宋曉，陳凱

(1.北京航空航天大學自動化科學與電氣工程學院，北京 100191；2.北京航空航天大學網絡空間安全學院，北京 100191；3.南京航空航天大學機電學院，南京 210016)

滾動軸承被稱為“工業的關節”，是旋轉機械設備的關鍵零件，廣泛應用于各個工業領域[1]。如在航空航天領域，軸承是航空發動機承力傳動系統[2]及航天器控制力矩陀螺[3]等設備的重要組成部分，其性能與質量直接影響了航空航天設備的安全性與可靠性。軸承若發生故障，輕則將導致設備故障、經濟損失，重則將引發安全事故、人員傷亡。因此，準確、及時地預測軸承的剩余使用壽命（remaining useful life，RUL）對工業生產安全而言具有重大研究意義。

隨著傳感器、存儲、網絡傳輸等新技術的快速發展，軸承運行過程產生了大量的監測數據，利用這些數據來挖掘軸承退化信息，實現精確的RUL預測，是當前的研究熱點[4]。基于數據驅動的軸承剩余使用壽命預測主要有2 個步驟[5]：①從原始信號中提取具有趨勢性的特征，來表征軸承性能退化的過程；②構建預測模型，使用傳統機器學習或深度學習的方法，利用其擬合能力建立特征與剩余壽命間的關系。

特征提取是進行軸承RUL 預測的前提，目的是提取出符合軸承退化趨勢的特征用于表征退化過程。傳統的特征提取方法是計算原始振動信號的統計特征，如均方根、峭度、峰峰值等，以及構造一些新的統計特征，如王冰等[6]采用的基于多尺度形態分解譜熵，李洪儒等[7]采用的二元多尺度熵。近年來，深度學習憑借其卓越的非線性函數自動映射能力在滾動軸承特征提取領域得到廣泛應用。如Ren 等[8]提出使用時間卷積網絡從更大的振動信號感受野中提取特征；楊宇等[9]提出一種改進的深度信念網絡，直接以滾動軸承原始振動信號作為網絡輸入，經過逐層抽象表示，挖掘出原始振動信號深層本質特征。

但是文獻[6-9]中時間卷積網絡、深度信念網絡等深度學習方法往往需要大量標簽數據進行有監督微調，標簽數據的缺乏與難以獲取嚴重制約了深度學習特征提取，而傳統統計特征在單調性與趨勢性上相比于軸承退化趨勢往往不盡人意。針對這些問題，鑒于軸承退化是一個累積退化過程，本文對傳統特征采用累積變換的方式優化其單調性與趨勢性，使其在表征軸承退化過程中有更好的表現。

在對原始振動信號進行特征提取的基礎上，需要構建預測模型來對軸承RUL 進行預測。軸承RUL預測本質上是時間序列預測問題，而循環神經網絡（recurrent neural network，RNN）在時間序列處理方面具有明顯的優越性，從而被廣泛應用于軸承RUL預測領域。Guo 等[10]采用RNN 提取表征軸承退化的特征量進行軸承剩余壽命預測，并用指數模型驗證預測效果，取得了很高的預測精度。Chen 等[11]提取頻譜的5 個帶通能量值作為特征，提出了一種具有注意力機制的編解碼框架的RNN 用于軸承壽命預測。康守強等[12]利用稀疏自動編碼器進行特征提取，采用雙向長短期記憶神經網絡進行軸承剩余壽命預測。

在處理時間序列時，RNN 下一時刻的輸出取決于先前時刻的輸出及當前時刻的狀態，這在本質上是一種串行的運行方式，會嚴重制約模型運行速度[13]。同時，RNN 的每一次遞歸都伴隨著信息的損耗，導致其在輸入長序列的條件下捕捉依賴關系的能力迅速衰減，即出現記憶力退化現象。針對以上問題，本文將采用基于Transformer 的預測模型來進行軸承RUL 預測。Transformer 模型的核心原理是自注意力機制(self-attention)，其在具體實現上主要以矩陣乘法為基礎，從而可以捕捉輸入序列中任意向量之間的依賴關系，不受向量之間距離的影響。同時self-attention 的這種運行原理實現了并行計算，相比于只能串行計算的RNN 極大地提升了運行速度[14]。基于以上特性，Transformer 一經提出就引起了研究者的廣泛關注，在機器翻譯、閱讀理解、文本摘要等多個領域展現出了優異的應用效果。本文將Transformer 模型引入到滾動軸承RUL預測領域，提出一種基于Transformer 模型的滾動軸承剩余使用壽命預測方法，屬于Transformer 模型的全新應用，為其在工業領域增加了新的應用場景。

1 累積特征提取

滾動軸承常用的狀態監測數據包括振動、聲波和溫度信號，其中振動信號得到了廣泛分析，因為其提供了大量關于軸承內部異常的信息。但是滾動軸承的振動信號在采集時不可避免地會混入大量無意義的噪聲信號，這對軸承RUL 的準確預測是不利的。因此，本文采用離散小波變換對振動信號進行去噪，通過小波分解、細節分量閾值處理和小波重構來剔除無意義的噪聲，將去噪后的振動信號進行特征提取。

本文對去噪后的振動信號進行三角函數變換與統計特征提取。三角函數可以是單調遞增或單調遞減的，如反雙曲正弦(asinh)和反正切(atan)函數，其能將原始數據轉換為更低的尺度，所以將其作為振動信號的退化特征進行補充。三角函數變換按以下方式執行：用三角函數逐因素操作單次采樣振動信號X，并進行標準差計算以提取特征。同時，選取一些滾動軸承RUL 預測常用的統計特征作為退化特征，具體信息如表1 所示。其中：xi為單次采樣振動信號X中的第i次采樣值。

在現實生產環境中，滾動軸承會不可避免地經歷退化過程直至故障，而能夠反映軸承退化趨勢的特征將有助于軸承RUL 的準確預測。盡管表1 所示的特征是基于專家知識提取的，并且在一些應用中被證明是有效的，但是傳統的統計特征的單調性與趨勢性相比于軸承退化趨勢往往不盡如人意，不能很好地表征退化趨勢。針對這個問題，鑒于軸承退化是一個累積退化過程，本文采用了一種有效的特征變換方法，即將提取的特征變換為相應的累積形式。具體來說，累積變換是通過在時間序列上應用一個累積函數來進行的，在這個時間序列中，同時逐點執行累加和縮放操作，然后使用累積特征來表征退化的趨勢。累積變換執行如下：

表1 特征和相應的計算公式Table 1 Feature and corresponding form ulas

式中：J為特征種類數量；N為特征值個數；fj(a)為第j種特征的第a個特征值；cjn為fj(a)在n個特性值中的累積變換結果。從式（1）中可以看出，如果存在噪聲則其會隨著累加操作而逐步被放大，所以累積變換算法容易受到不必要噪聲的影響，因此，在變換前對特征進行平滑處理是非常必要的。本文采用Savitzky-Golay 濾波器來提高數據精度的同時不失真信號的趨勢。平滑過程通過線性最小二乘法采用低次多項式擬合相鄰數據點的連續子集來實現。

在累積變換之后，設計度量來評估轉換后特征的質量是至關重要的。一般來說，有2 個常用的指標來評估構造的特征對RUL 預測的適用性，即單調性和趨勢性。

單調性反映了特征的增減趨勢，是退化特征的重要組成部分。其計算方法如下：

式中：N為特征值個數；為特征值的變化差異，在實際計算時為后一個特征值減前一個特征值；No.of＆gt;0為差異值大于0 的個數；M=1、M=0 分別為特征的高度單調趨勢和不單調趨勢。

趨勢性是用來描述退化狀態如何隨運行時間變化的。換句話說，這個度量表征了一個與特征及與時間的相關性有關的函數。其計算方法如下：

式中：xn和yn分別為特征和時間的值；N為特征值個數。T的范圍為[?1，1]，?1 為特征值嚴格遞減，1 為特征值嚴格遞增。

2 基于Transformer 的滾動軸承RUL預測模型

在基于數據驅動的滾動軸承RUL 預測的最新研究中，循環神經網絡獲得了廣泛的應用（包括RNN，長短期記憶神經網絡，門控循環單元及各類變種模型），但其串行計算方式和長序列依賴捕捉不敏感仍嚴重制約了模型運行速度與預測精度。因此，本文提出一種基于Transformer 結構的滾動軸承RUL 預測模型，旨在提高軸承RUL 預測的精度與速度。

Transformer 是一種基于注意力機制的神經網絡，在自然語言處理等領域取得了良好的效果，但是其獨特的結構限制了不能直接應用于RUL 預測領域，如軸承RUL 預測的數據與自然語言的詞向量間的有效映射等問題。所以本文針對滾動軸承RUL預測場景進行了改進，結構如圖1 所示，模型由4 個部分組成，分別為位置編碼、編碼器、解碼器及全連接神經網絡。

圖1 基于Transformer的軸承RUL預測模型Fig.1 Bearing RUL prediction model based on Transformer

基于Transformer 的滾動軸承RUL 預測模型的核心在于其編碼器與解碼器結構，編碼器與解碼器均由6 層相同層堆疊而成，其中編碼器每一層包含多頭自注意力機制和前饋神經網絡2 個子層，解碼器每一層包含遮擋多頭自注意力機制、編碼-解碼器多頭注意力機制和前饋神經網絡3 個子層。

編碼器負責將輸入的滾動軸承特征序列進行編碼，映射為包含輸入特征信息的中間向量，其核心原理為自注意力機制。自注意力機制是注意力機制的變體，減少了對外部信息的依賴，更擅長捕捉數據或特征的內部相關性，主要是通過計算特征向量間的相似度來表征相關性，以此解決長距離依賴捕捉問題。自注意力機制的目的是從輸入的滾動軸承特征序列中篩選出少量重要的信息，使用權重代表信息的重要性，使得模型聚焦于更為重要的信息上。

自注意力機制采用縮放點積注意力來計算特征矩陣的注意力值，先對查詢矩陣和鍵矩陣進行點積與SoftMax 歸一化來計算權重系數，再根據權重系數對值矩陣進行加權求和，如式(4)～式(7)所示：式中：Q為查詢矩陣；K為鍵矩陣；V為值矩陣。這3 個矩陣由輸入的特征矩陣Xf分別與對應的權重矩陣W Q、W K、W V相乘得到，d為Q、K、V的維數。

自注意力機制可以讓模型聚焦于輸入特征的某些重要信息，但是單一的注意力機制只能在一個表現空間中學習到相關信息。為了綜合輸入序列包含信息的重要性，采用多頭自注意力機制在不同位置共同關注來自不同表現子空間的信息。多頭自注意力機制其實是多個自注意力機制的拼接，利用多個自注意力頭分別學習不同表現子空間的信息，再將多個注意力值進行拼接與線性變換，得到最終的注意力值，實現對不同約束條件的建模表達，如式(8)和式(9)所示：

解碼器負責將編碼器輸出的中間向量解碼為輸出序列，其核心原理為編碼-解碼多頭注意力機制及遮擋多頭自注意力機制。編碼器中的多頭自注意力機制注重學習輸入特征序列自身向量之間的依賴關系，但為了提高滾動軸承RUL 預測的精準度，還應考慮輸入特征序列與標簽數據之間的依賴關系，所以在解碼器中采用了編碼-解碼多頭注意力機制。編碼-解碼多頭注意力機制與編碼器的多頭自注意力機制不同，其鍵矩陣K與值矩陣V來自編碼器的輸出，包含輸入序列的信息，查詢矩陣Q來自遮擋多頭自注意力機制模塊的輸出，包含標簽數據的信息。

遮擋多頭自注意力機制模塊的輸入為標簽數據，其目的是利用多頭自注意力機制學習標簽數據之間的依賴關系，并將依賴關系輸入編碼-解碼多頭注意力機制模塊，使整個基于Transformer 的滾動軸承RUL 預測模型可以綜合學習輸入特征向量之間的依賴關系、標簽數據之間的依賴關系及二者相互的依賴關系。需要注意的是，在模型訓練過程中，滾動軸承RUL 的標記數據是已知的，解碼器根據并行計算特性同時完成序列每個時間步的解碼。這會導致在縮放點積注意力計算時，每個時間步的計算會學習到未來的標簽數據信息，這是不符合現實規律的，所以需要在解碼器的多頭自注意力機制中加入遮擋操作，屏蔽未來的標簽數據信息。具體的操作是在計算縮放點積注意力時，引入一個下三角及對角線均為1，上三角為0 的矩陣，與QKT相乘，使得未來的序列信息置0。

為了解決網絡深度增加反而影響軸承RUL 預測準確率的問題，編碼器與解碼器的各個子層之間均添加了殘差連接操作，關注訓練前后差異部分變化，提升訓練效果。同時，為了加快網絡收斂，提升網絡泛化能力，每個子層還同時采用了層歸一化操作，如下：

式中：b為網絡輸入參數；Sublayer 為每個子層內部的函數，本文中為各個注意力機制層處理函數和全連接前饋神經網絡處理函數；LayerNorm 為層歸一化處理函數。

Transformer 的一系列優點得益于其純粹的注意力機制構造，但這使其失去了學習序列位置信息的能力。而在滾動軸承RUL 預測場景中，序列中向量的位置信息代表著時刻信息，對RUL 預測起到至關重要的作用。針對這個問題，在編碼器與解碼器的輸入序列中加入位置編碼操作，將位置信息整合到輸入序列當中，如式(11)和式(12)所示：

式中：p為特征向量的位置；dmodel為特征向量的維度，每一個特征向量的位置編碼都是由不同頻率的余弦正弦函數組成的，波長逐漸由 2π增 長到 2 0 000π。

Transformer 模型最初是針對自然語言處理領域提出的，其輸入特征與標簽數據均為維度一致的詞向量，相同的維度便于編碼-解碼多頭注意力機制的直接計算。但在軸承RUL 預測場景中，輸入特征為多維數據，而標簽則是一維的剩余壽命，兩者的維度沖突導致編碼-解碼多頭注意力機制無法運算。針對這個問題，本文在編碼器輸入端直接采用累積特征序列作為輸入，在解碼器輸入端加入一層全連接網絡，將輸入標簽序列進行升維，在輸出端同樣加入一層全連接網絡進行降維，解決了基于Transformer 的軸承RUL 預測模型中輸入特征與標簽數據維度不一致的沖突。

3 滾動軸承RUL 預測流程

基于累積特征與Transformer 的滾動軸承RUL預測方法流程如圖2 所示，具體步驟如下。

圖2 滾動軸承RUL預測流程Fig.2 Flow chart of RUL prediction for rolling bearings

步驟 1信號去噪。對滾動軸承原始振動信號進行離散小波變換，包括小波分解、細節系數閾值處理和小波重構，在消除異常噪聲信號的同時保留有用的退化信息。

步驟 2特征提取。首先，根據已有的專家知識，在經過去噪的重構信號上計算出常用的軸承RUL預測統計特征，包括峰峰值、標準差、均方根、三角特征等；再利用Savitzky-Golay 濾波器對所有統計特征進行平滑處理，以減少提取特征的波動和進一步濾除不需要的噪聲；然后，對結果平滑處理的統計特征進行累積變換，優化特征的單調性與趨勢性；最后，計算所有累積特征的單調性與趨勢性值，以此來篩選用于訓練與測試的特征，并劃分訓練集與測試集。

步驟 3Transformer 模型構建。將訓練集的特征進行最大、最小值歸一化作為Transformer 模型的輸入，將壽命比值P（剩余使用壽命與全壽命的比值）作為模型的標簽數據，與軸承運行時間滿足一次函數模型[15-18]。計算訓練模型的均方誤差(mean squared error，MSE)作 為 損 失 函 數，采 用Adam優化算法進行模型訓練與優化，并采用Dropout 技術防止模型過擬合。

步驟 4測試集驗證。將測試集的累積特征輸入到已經訓練好的Transformer 模型中，預測出特征對應的壽命比值P。由于4.1 節案例1 中PHM 2012測試集提供的是非全壽命數據（即記錄滾動軸承從運行開始到某個時間點的數據），缺少退化過程末期的數據，所以需要將前半部分特征預測的壽命比值P進行擬合，以此預測滾動軸承的全壽命運行時間。由于P為壽命比值，與軸承運行時間滿足一次函數模型，所以本文采用一次線性函數擬合來預測滾動軸承的RUL。

4 實驗驗證

4.1 案例1：PHM 2012 數據集驗證

4.1.1 PHM 2012 數據集介 紹

為了驗證所提出的RUL 預測方法的有效性與先進性，本文首先采用IEEE 協會在PHM 2012 數據挖掘挑戰賽中提供的數據集，該數據集由PRONOSTIA 實驗平臺采集獲得，采集裝置如圖3 所示。采集裝置通過速度傳感器和力矩傳感器實現了3 種不同工況下的滾動軸承加速退化，進行了17 次軸承全壽命周期實驗，利用加速度傳感器采集了軸承水平方向與垂直方向共計17 組原始振動信號數據集，并將其劃分為6 組訓練集與11 組測試集。采集裝置每隔10s 采集0.1 s 內的原始振動信號，采集頻率為25.60k Hz，即每1 0 s 采集2 560 組樣本數據。數據集的詳細信息如表2 所示，具體實驗內容參考文獻[19]。根據文獻[20-21]中的相關研究，水平振動信號通常比垂直振動信號給出更多的有用信息來跟蹤軸承退化。因此，本文僅使用水平振動信號進行實驗。

表2 PHM 2012 數據集工況信息Table 2 Operating condition inform ation of PHM 2012 dataset

圖3 PRONOSTIA采集平臺Fig.3 The PRONOSTIA platform

4.1.2 特征提取與篩選

在對滾動軸承的原始振動信號進行特征提取之前，本文采用離散小波變換對其進行去噪。其中小波分解采用多貝西四階小波(db4)為母小波，分解層數為4，細節分量閾值處理中采用軟閾值函數和最大、最小閾值，最后通過小波重構得到去噪后的信號。

根據第3 節的預測流程，原始振動信號去噪之后需要應用三角函數、提取統計特征和進行累積變化。如圖4 所示，傳統的統計特征表現出較低的單調性與趨勢性，這不利于RUL 預測模型學習軸承的退化趨勢，同時較高的尺度也不利于預測模型的訓練過程。而結合了標準差與三角函數(提取方案見表1)的三角特征具有更高的單調性、趨勢性及更低的尺度，有利于預測模型的訓練過程。

圖4 三角特征與傳統特征對比Fig.4 Comparison of trigonometric features and classical features

如圖5 所示，仍有大量數據驅動的滾動軸承RUL 預測方法采用傳統的時域、頻域及時頻域統計特征，但是這些傳統的統計特征往往無法很好地表征軸承的退化趨勢，如圖5(a)和圖5(c)所示，僅經過平滑處理的特征單調性與趨勢性各不相同，單調性較差。而從圖5(b)和圖5(d)不難看出，累積變換后的特征表現出了更好的單調性與趨勢性，說明本文采用的累積變換對于傳統的統計特征的趨勢性與單調性具有很好的優化作用。

圖5 累積特征與傳統特征對比Fig.5 Contrasts of cumulative features and classical features

為了更好地說明累積變換的優勢與必要性，本文采用式(2)和式(3)量化計算每種統計特征累積變化前后的單調性與趨勢性，表3 顯示了6 個訓練集的統計特征累積變化前后的單調性與趨勢性平均值，從表3 中可以看出，累積變化對本文選取的統計特征的單調性與趨勢性具有非常明顯的改進作用。由于在滾動軸承RUL 預測中，特征的單調性與趨勢性越好，越能表征軸承的退化趨勢，RUL預測的精度就越高，因此，本文舍棄了經過累積變換后單調性和趨勢性仍然較差的平均絕對值，將剩余12 個統計特征的累積值輸入Transformer 預測模型進行模型訓練。

表3 累積變換前后比較Table 3 Com parison before and after cumulative transform ation

4.1.3 模型訓練與預測結果分析

本文遵照PHM 2012 數據集的劃分，將軸承1_1，1_2，2_1，2_2，3_1，3_2 的全壽命數據作為訓練集，將剩余軸承的非全壽命數據作為測試集，具體劃分信息如表4 所示。訓練集經過累積變換與篩選后的12 個累積特征需要輸入Transformer 預測模型進行模型訓練。Transformer 預測模型是序列到序列(sequence-to-sequence)類型的模型，需要確定輸入數據與標簽數據的序列長度，過短的序列長度會導致Transformer 的注意力機制不容易學習到各個時間步中的依賴信息，過長的序列長度則需要巨大的計算量，降低運算速度。因此，本文選擇10 個時間步的累積特征作為輸入序列，10 個時間步的壽命比值P作為標簽數據，壽命比值P的計算式為

表4 實驗數據（PHM 2012 軸承數據集）Table 4 Experim ental data(PHM 2012 Datasets)

式中：actRUL0為軸承實際的全壽命數值，如軸承1_1 從投入使用到報廢共采集了2803 組數據，其壽命數值為0～2802，則其actRUL0 為2802，由于數據采樣間隔為10 s 一組，所以軸承1_1 真實的全壽命時間為28030s；actRULt則為t時刻軸承的剩余使用壽命數值。從壽命比值P的計算式不難看出，其符合一次函數關系式，所以在模型驗證階段本文也采用了擬合一次線性函數的方式來預測RUL。

為了更好地讓預測模型學習到累積特征與軸承RUL 之間的映射關系，本文將輸入序列的步長設置為1 個時間步，如第1 組輸入為1～10 時間步的累積特征序列，第2 組輸入則為2～11 時間步的累積特征序列，每一組輸入序列只留取輸出序列中最后一個時間步的壽命比值P作為預測結果，以此達到數據增強的效果。

本文Transformer 預測模型的編碼器與解碼器均由6 層相同的模塊層堆疊而成，所有的多頭注意力層的頭數均為2，所有前饋神經網絡隱藏層神經元數量為256，初始學習率設置為0.000 1 并隨機初始化權重矩陣，使用均方誤差（mean-square error，MSE）作為損失函數并通過Adam 優化算法進行訓練，訓練與測試環境中CPU 為Intel Co r e i7-10700F，GPU 為NVIDIA Ge Fo r c eRTX2060SUPER，內存為16GB，深度學習框架為Py t o r c h 1.6.0。

模型訓練完畢后需要對其進行驗證，與模型訓練過程相同，將測試集的12 種累積特征以10 個時間步的長度輸入預測模型中，預測出壽命比值P。

引言中提到Transformer 模型相比于循環神經網絡具有速度上的優勢，為此本文在使用累計特征的基礎上，采用了長短期記憶網絡[22]（long shortterm memory，LSTM）、門控循環單元[11]（gated recurrentunit，GRU）、雙向長短期記憶網絡[23]（bi-directional long short-term memory，BiLSTM）3 種循環神經網絡作為預測模型進行對比實驗，實驗結果如表5 所示，其中的運行時間是根據11 個測試集中每個樣本的平均時間計算的。從表5 的對比結果看出，Transformer 模型在運行速度上具有明顯的優勢。

表5 運行速度對比結果Table 5 Running speed comparison results

本文采用一次線性函數擬合預測的P值，得到P值的未來趨勢，以此計算軸承RUL 的預測值。部分測試軸承的測試及擬合結果如圖6 和圖7 所示。本文采用誤差El來驗證預測模型的好壞：

圖6 軸承1_4預測結果Fig.6 Bearing 1_4 prediction results

圖7 軸承2_5預測結果Fig.7 Bearing 2_5 prediction results

式中：actRULl為第l個軸承實際的剩余使用壽命；preRULl為第l個軸承剩余使用壽命的預測結果。以軸承1_5 為例，由表4 可知，軸承1_5 的全壽命數據為24 6 3 組，非全壽命數據為2 302 組，其中預測值的擬合直線與x軸的交點（即P=0 軸承完全報廢）為24 4 7 組。由于數據采樣間隔為1 0 s 一組，所以act-RULl實際剩余使用壽命為（2463?2302）×10=1610s，preRULl剩余使用壽命預測值為（2447?2302）×10=1450s，則誤差為（1610?1450）/1610=9.9%。

為了證明本文所提方法的有效性與必要性，本文設置了另外2 種消融實驗方案來與本文所提方法進行消融實驗，2 種消融實驗方案詳情如表6 所示。其中經典統計特征指的是將累積特征中選取的12 種特征未經累積變換的值輸入預測模型中。文獻[24]提出將Transformer 模型用于航天渦扇發動機的RUL 預測中，但其僅使用了Transformer 模型的編碼器結構，本文采用的是完整的Transformer編碼器-解碼器結構，相比于單編碼器結構上進行了改進，所以在消融實驗方案中將單編碼器結構作為對比實驗條件之一。

表6 所提方法與其他2 種方案的構成Table 6 Composition of the proposed prediction method and other two schem es

為了更好地將所提方法與消融實驗方案及其他先進的預測方法進行比較，需要建立一個統一的評估指標來衡量預測結果的準確性。因此，本文采用IEEE PHM 2012 挑戰賽規定的平均得分s作為方法比較時的衡量標準，平均得分s的計算方法如式(15)和式(16)所示：

式中：El為第l個軸承的誤差；Al為第l個軸承的得分；L為數據集的軸承總個數。

如圖8 所示為誤差El與得分Al之間的函數關系。從圖8 中可以看出，正的誤差比負的誤差具有更高的得分。正的誤差代表預測的RUL 小于實際的RUL，即超前預測，而負的誤差代表預測的RUL 大于實際的RUL，即滯后預測。在實際生產環境中，超前預測帶來的風險遠遠低于滯后預測，所以這種得分計算方法對滯后預測進行了懲罰，是公平且合理的。

圖8 得分Al與誤差El的函數關系Fig.8 Function of Al and error El

同時，在表示11 個測試軸承的整體預測誤差的時候，如果直接使用誤差El的算數平均值，有時會導致正負誤差相互抵消，出現較差的預測結果計算出較低的平均誤差的情況，針對這個問題，本文采用平均絕對誤差表示測試軸承的整體預測誤差：

表7、表8 列出了PHM 2012 數據集中11 個軸承的數據在所提方法中的平均絕對誤差與平均得分，同時也列出了與2 種消融實驗方案及文獻[11,25-26]方法的對比實驗結果，從對比實驗結果可以看出：

表7 所提方法和對比方法在PHM 2012 數據集RUL 預測結果Table 7 The RUL prediction results of the proposed method and comparison method in the PHM 2012 dataset

表8 表7 的預測結果比較Table 8 Com parison of predicted results in Table 7

1）方案1 同樣使用編碼器-解碼器結構Transformer 模型作為預測模型的情況下，由于累積變換之前的傳統統計特征單調性和趨勢性很低，無法表征滾動軸承的退化趨勢，所以表現出了極低的預測性能。而使用累積特征則大幅改善了這種情況，使得平均絕對誤差降低了92.63%，平均得分提高了558.39%，可見本文所采用的累積變換對于傳統統計特征的單調性與趨勢性起到了極強的修正作用，對于軸承RUL 的準確預測起到了至關重要的作用。

2）方案2 在同樣使用累積特征作為輸入的情況下，完整編碼器-解碼器結構的Transformer 模型相比于單編碼器結構模型的平均絕對誤差降低了19.84%，平均得分提高了32.6%，這是由于單編碼器結構的Transformer 模型只學習到了輸入序列中各個特征向量之間的依賴關系，而解碼器結構的引入可以使得Transformer 模型學習到標簽數據中各個向量之間及輸入特征與標簽數據相互之間的依賴關系，使得RUL 的預測更為準確，由此證明了本文所提方法在軸承RUL 預測領域的優越性。

3）綜合前兩點方案1、方案2 消融實驗的對比分析可以看出，本文所提方法的優越性是累積特征與Transformer 模型綜合作用的結果，累積特征確保Transformer 模型能夠挖掘出原始振動和軸承健康狀況之間的潛在關系，使其能夠學到絕大部分測試軸承的退化趨勢，并將滯后預測（El＆lt;0）的情況控制在較低范圍內。但是仍有個別測試軸承的預測誤差較大，如軸承1_7，這是由于軸承1_7 的測試數據占全壽命周期數據的比重較小，少量退化前期的數據不足以讓模型準確預測到退化后期的RUL。

4)同時，本文所提方法相較于文獻[11,25-26]的方法平均絕對誤差分別降低了9.25%、28.63%、34.14%，平均得分分別提高了2.78%、19.79%、29.38%，由此進一步證明了本文所提方法在滾動軸承RUL預測方面的有效性與優越性。

4.2 案例2：XJTU-SY 數據集驗證

4.2.1 XJTU-SY 數 據 集 介 紹

為了進一步驗證本文所提方法的有效性與先進性，本文還采用了XJTU-SY 數據集進行驗證。XJTU-SY 數據集由西安交通大學機械工程學院雷亞國教授團隊設計并采集獲得[27]，其實驗平臺如圖9 所示，該平臺由交流電動機、電動機轉速控制器、轉軸、支撐軸承、液壓加載系統和測試軸承等組成，能夠在不同運行條件下對軸承進行加速退化實驗，并獲得完整的運行至失效數據。徑向力由液壓加載系統產生并施加到被測軸承的殼體上，轉速由交流感應電機的速度控制器設定并保持。圖10顯示了正常和退化軸承的照片，可以看出，被測軸承的失效是由不同類型的故障引起的，包括內圈磨損、保持架斷裂、外圈磨損、外圈斷裂等。為了采集被測軸承的振動信號，2 個PCB 352C33 單向加速度傳感器分別通過磁座固定于測試軸承的水平和豎直方向上。采樣頻率設置為25.6k Hz，每1m in記錄3276 8 個數據點(即每1mi n 的采樣時間為1.2 8 s)。

圖9 滾動軸承實驗臺Fig.9 Testbed of rolling element bearings

圖10 退化軸承照片Fig.10 Photographs of normal and degraded bearings

4.2.2 實驗結果對比與分析

在XJTU-SY 數據集的驗證過程中，本文使用了與案例1 相同的實驗環境與操作流程進行訓練與測試。為了驗證所提方法的有效性與先進性，本文將實驗結果與文獻[28]的實驗結果進行了比較，為了便于比較，本文采用了與該文獻相同的實驗方案，如表9 所示。文獻[28]得到了4 種預測模型在XJTU-SY 數據集上的實驗結果，分別為基于剩余自注意力機制的時間卷積網絡(temporal convolutional network with residual self-attention mechanism，TCNRSA)、深度可分卷積網絡(deep separable convolutional network，DSCN)、遞歸卷積神經網絡(region w ith CNN features，RCNN)及相關向量機(relevance vector ma c h i n e，RVM)。采用均方根誤差(r o o t mean square error，RMSE)與平均得分s作為實驗結果對比的衡量標準，RMSE 的計算如下：

表9 實驗方案Table 9 The experim ental scheme

式中：actPr為第r個測試樣例的壽命比值P的實際值；prePr為第r個測試樣例的壽命比值P的預測值；R為測試樣例數量。

平均得分s的計算如式(14)～式(16)所示,但是由于XJTU-SY 數據集提供的均為全壽命周期數據，并未像案例1 中PHM 2012 數據集一樣截斷了測試集的一部分數據用于規定壽命預測時間點，所以本文在案例2 的s計算中參照文獻[28]的做法，對所有測試樣例均進行了平均得分s計算并取平均值。

實驗的對比結果如表10 所示，從表10 中可以看出，本文所提方法預測模型相比于其他4 種模型具有更低的RMSE 及更高的平均得分，相比于TCN-RSA模型RMSE 降低了17.4%，s提高了18.6%，這進一步驗證了本文所提方法的有效性與先進性。進一步對比可以發現，深度學習模型(Transformer、TCN-RSA、DSCN、RCNN)的表現均優于傳統的機器學習模型(RVM)，這是由于傳統機器學習模型局限于淺層學習，對滾動軸承的退化過程學習能力有限，而深度學習模型由于其突出的深層次學習能力，可以更好地挖掘軸承退化信息，建立更準確的滾動軸承RUL預測模型。而在這其中，Transformer 由于其強大的自注意力機制，能夠挖掘出輸入特征與軸承退化程度自身及相互之間的依賴關系，因此，其表現優于其他3 種深度學習模型。

表10 XJTU-SY 數據集RUL 預測結果與比較Table 10 RUL prognostics results and com parisons on XJTU-SY dataset

5 結 論

本文提出了一種基于累積特征與Transformer模型的滾動軸承剩余使用壽命預測方法，通過實驗驗證得到以下結論：

1）本文采用的累積變換對于傳統統計特征的單調性與趨勢性具有很強的修正作用，使得累積特征能夠很好地表征軸承的退化趨勢。實驗證明，在同樣使用Transformer 預測模型的情況下，累積特征相比于傳統統計特征平均絕對誤差降低了92.63%，平均得分提高了558.39%。

2）本文提出的基于編碼器-解碼器結構Transformer 模型的軸承RUL 預測模型，能夠更好地挖掘出輸入特征與軸承RUL 之間復雜映射關系，使得RUL 的預測更為準確。實驗證明，在同樣使用累積特征的情況下，本文的預測模型相比于單解碼器結構的Transformer 預測模型平均絕對誤差降低了19.84%，平均得分提高了32.6%。

3）本文所提方法能夠確保預測模型挖掘出輸入特征與軸承RUL 之間復雜映射關系，使其能夠學到絕大部分測試軸承的退化趨勢。案例1 中的PHM 2012 數據集驗證實驗證明，本文所提方法平均絕對誤差分別降低了9.25%、28.63%、34.14%，平均得分分別提高了2.78%、19.79%、29.38%。

4）本文在案例2 中采用了XJTU-SY 數據集進行進一步的驗證，實驗表明，本文所提方法均方根誤差降低了17.4%，平均得分提高了18.6%，由此進一步證明了本文所提方法在滾動軸承RUL 預測方面的有效性與優越性。

在后續的研究中，應該注意到滯后預測的危害，在實際生產環境中滯后預測相比于超前預測會帶來更大的事故風險。本文所提方法雖然提高了整體預測精準度，但在個別軸承的工況下還存在滯后預測（如案例1 軸承2_5 的實驗結果），下一步的研究重點應該是著眼于如何降低滯后預測誤差或盡可能消除滯后預測。