基于時空注意力機制的雙向門控遞歸單元網絡的軸承剩余使用壽命預測

朱若嶺，張昊

(1.河南交通職業技術學院 汽車學院，鄭州 450000；2.東南大學 儀器科學與工程學院，南京 210096)

軸承是感應電動機、風力渦輪機等旋轉機械的重要組成零件[1]，大約50%的風力渦輪故障由軸承故障引起[2-3]，軸承故障不僅會造成意外停機，增加安全隱患，嚴重的會導致重大經濟損失和人員傷亡[4]。預測與健康管理是避免這種情況發生的有效手段，軸承剩余使用壽命(Remaining Useful Life，RUL)預測是其關鍵功能，能夠較好地預測軸承發生故障的時間，及時采取相應措施[5]。

剩余使用壽命預測可以分為基于模型的方法和基于數據驅動的方法[6]：對于基于模型的方法，由于軸承結構復雜，工況多樣，故障不同，很難有一個定義明確的物理模型進行軸承剩余使用壽命預測[7]，而且在處理高維數據時操作難度大，對預測精度造成很大影響[8]；隨著傳感器、存儲、邊緣計算、通信和信號處理等先進技術的快速發展，許多與軸承健康狀態相關的監測數據被廣泛使用，推動基于數據驅動的剩余使用壽命預測方法的快速發展[9]。

機器學習的方法因其計算的高效性而被用于數據驅動中[10]，其能夠直接映射輸入數據與相應剩余使用壽命之間的非線性關系，不需要構建退化模型和計算相關函數，能有效降低數據中的不確定性，且在處理高維數據和提取剩余使用壽命預測中的非線性模式方面具有一定的優勢：文獻[11]提出了一種結合深度卷積神經網絡和主頻譜能量特征提取的方法來預測軸承剩余使用壽命；文獻[12]引入收縮去噪自編碼器提取特征，利用最小二乘支持向量機訓練模型對預測軸承剩余使用壽命；文獻[13]提出了一種新的網絡結構，通過凍結卷積和激活記憶網絡來預測軸承剩余使用壽命。需要注意的是，卷積神經網絡、支持向量機都是傳統的前饋神經網絡，信息只能在相鄰層之間傳遞，不能在同一層中共享，無法處理和記憶時間序列信息，導致網絡結構的預測結果不夠精確。

為解決軸承退化數據中信息無法被充分發掘的問題和卷積神經網絡無法處理時序問題的弊端，本文提出一種時空注意力機制(Temporal-Spatial Attention Mechanism,TSAM)的雙向門控遞歸單元(Bidirectional Gating Recursive Unit,Bi-GRU)網絡模型來實現滾動軸承的壽命預測。

1 基于時空注意力機制的雙向門控遞歸單元網絡模型

1.1 時空注意力機制

剩余使用壽命預測的準確度依賴于特征的相關性和網絡結構的性能。軸承的退化數據是高維度且數據量龐大的時間信息，維度復雜且信息冗余，其中的噪聲和無關信號會干擾剩余使用壽命預測的精度，因此需要進行有效的特征提取將與軸承故障的相關信息充分表示出來，進而輸入到預測模型中得到剩余使用壽命。常用的特征提取方法有主成分分析、經驗模態分析等，這些方法均是對信號進行降維處理，容易丟失重要信息。

卷積注意力機制能夠處理高維度數據，具有從數據中提取相關信息并保持數據完整性的能力，其原理與人眼視覺捕捉類似，抓取所看到圖像中最有用的特征，相對忽略其他不重要的信息，即注意力機制的關鍵在于信息權重的配比。時空注意力機制(TSAM)是這一原理的發展，TSAM不僅能在時間步方向上進行信息的權重配比，還能夠在空間上進行這一操作，實現數據的卷積降維。TSAM的組成為時間(通道)注意力和空間注意力，給定一個特征圖F∈RC×H×W作為輸入，通過一維的注意力通道Mc∈RC×1×1，通道維度不變，空間維度被壓縮，然后進入一個二維的空間注意力通道Ms∈R1×H×W，空間維度不變，通道維度被壓縮。整個過程可表示為

Mc(F)=σ[W1(Favg)+W2(Fmax)]，

(1)

Ms(F)=σ(F1avg+F1max)，

(2)

式中：σ為sigmoid函數；W1，W2為經過平均池化層和最大池化層的權重；Favg，Fmax為平均池化層和最大池化層特征；RC×H×W中的C，H，W分別為圖像的通道數、高度和寬度。在運算過程中，時間(通道)注意力值的運算結果影響著空間注意力。

TSAM的結構如圖1所示：時間(通道)注意力機制通過池化層將空間信息聚集起來，以此找尋有用的輸入，通過權重分配得到輸出；空間注意力機制聚焦于重新壓縮的特征F1(包含F1avg和F1max)的有用信息位置，利用相似的注意力機制網絡結構，沿通道軸前進并依附在卷積結構的架構上，以此達到空間上的信息捕捉。對于軸承信號，TSAM能夠對原始數據進行降維并捕捉其中完整的退化信息，完成特征降維和提取的輸出過程。

圖1 TSAM結構簡圖

1.2 雙向門控遞歸單元

循環神經網絡(Recurrent Neural Network,RNN)是傳統的時序處理網絡，一般做數據的回歸和分類；然而，由于反向傳播過程中梯度退化，傳統RNN無法處理大量的長期數據，僅能保留短暫的數據，導致無法將數據相關性關聯起來，對高維數據的處理具有局限性。針對RNN的缺陷，本文引入了雙向門控遞歸單元(Bi-GRU)，其結構如圖2所示。

圖2 Bi-GRU結構

rt=σ[Wr(ht-1,xt)]，

(3)

式中：Wr為重置門的權重。

(4)

在候選狀態計算完成后，前一個時刻的信息被更新門控制，由更新門決定傳遞到下一時刻中的隱藏狀態信息數據量的大小，更新門的計算公式為

zt=σ[Wz(ht-1,xt)]，

(5)

則當前時刻的隱藏狀態為

(6)

式中：Wz為更新門的權重。

每個門控單元通過重置門和更新門狀態的更新計算得到當前信息和上一時刻信息，通過多個單元的堆疊保留不同時刻內前后時刻信息的關聯，捕獲到時間依賴的相關性。重置門能夠頻繁計算單位時刻的信息，從而對短時信息進行充分分析；更新門因其時間步的更新而不斷更新，能夠捕捉信息之間的相關性；Bi-GRU是GRU在2個方向的運算，可以捕捉上一時刻與未來時刻信息的聯系。

1.3 基于TSAM的Bi-GRU網絡模型

本文將TSAM嵌入到堆疊的Bi-GRU網絡中，形成一個閉合的網絡結構，從而實現從輸入數據中提取特征，利用Bi-GRU進行訓練并計算出剩余使用壽命的目的。TSAM的作用是利用空間注意力模塊對原始信號進行降維得到有效特征，優化Bi-GRU的輸入，使其網絡對數據的處理更加高效。

提出的基于TSAM的Bi-GRU網絡的參數見表1，其結構如圖3所示：首先，將振動信號數據輸入TSAM進行特征信息的注意力權重配比，提取相關特征；其次，將提取到的特征輸入堆疊的Bi-GRU網絡模型中進行訓練找到自相關性；最后，對訓練完成的模型進行性能測試，將測試集作為輸入，經過特征篩選后輸出每個時間點的預測值，即為軸承的剩余使用壽命預測值。

表1 壽命預測模型結構及其參數

圖3 基于TSAM的Bi-GRU網絡模型結構圖

為方便計算和后續評價模型性能，對輸出值作歸一化處理， 即將數據轉換為(0，1)之間的數，其中1代表剩余使用壽命為100%，即健康；0代表剩余使用壽命為0，即軸承失效。

2 基于TSAM的Bi-GRU網絡模型的軸承剩余壽命預測

2.1 數據集描述

本試驗中使用的軸承數據來自PRONOSTIA 測試平臺(圖4)采集的數據集(IEEE PHM Challenge 2012)[14]。加速度傳感器(采樣頻率為25.6 kHz)和溫度傳感器(采樣頻率為10 Hz)采集水平和垂直2個方向的振動信號和溫度信號。本文選取電動機轉速為1 800 r/min，載荷為4 000 N工況下的7套軸承(深溝球軸承，型號一致，壽命時間不同)的數據集(表2)，該數據集包含了從初始時刻到軸承損壞時刻的全部信號幅值。

圖4 數據采集平臺

表2 試驗軸承數據集

2.2 特征選取與網絡訓練

將振動信號輸入TSAM中進行卷積處理來提取特征。以1#軸承為例，截取部分振動信號如圖5所示，可以看出發生磨損失效時幅值明顯變大。空間注意力機制對振動信號進行分解、卷積得到的子信號(截取部分長度)如圖6所示。

圖5 1#軸承的原始振動信號

圖6 利用空間注意力機制分解得到的子信號

利用時間注意力機制對經空間注意力機制處理后得到的所有子信號進行卷積操作提取子信號的退化特征信息。但由于每套軸承的退化特征有所差異，退化特征的選擇決定了剩余使用壽命預測的準確性，故利用TSAM自動匹配與每套軸承最為相關的時域特征，以便更加準確地預測剩余使用壽命。本文選擇的特征個數為4，以保持剩余使用壽命預測的靈活性和適用性。以1#軸承為例，TSAM從1#軸承所有子信號中自動提取了4個退化相關性高的特征數據，分別是均方根、平均值、裕度和峭度，如圖7所示。從圖中能夠明顯看出，提取的特征都能描述軸承的退化過程，尤其在最后時刻，這些特征信號的幅值都發生了明顯波動且波動范圍較大，說明與軸承的失效有關。

圖7 基于TSAM提取的退化特征

最后將特征信息輸入到構建好的網絡模型中訓練并對測試集的軸承剩余使用壽命進行預測。模型的初始參數設置為學習率0.001，輪數30，單個頻率下的文件數為2 560個，每個文件數的單列數據為2 800個。模型在pytorch上運行，八核i7處理器，運行內存為4.8 G。

2.3 模型性能評估

模型訓練完成后，將測試集數據分別輸入網絡中得到各軸承的剩余使用壽命預測結果。以3#軸承為例，其預測結果如圖8所示，預測的初始階段離實際值較遠，說明此時軸承還未損壞，隨著軸承運行時間的增加，預測值與實際值的擬合度越來越高，說明模型的擬合效果優異。另外，在擬合效果好的條件下，預測曲線越接近真實曲線的下方，預測效果越好，即模型的預測值小于實際值時，能夠方便工人在實際操作中提前了解軸承的壽命，及時做出相應的措施，但是預測值不能太過小于實際值，否則會造成工件的浪費。本文的擬合效果比較理想，但仍有不足。

圖8 3#軸承的剩余使用壽命預測結果

通過均方根誤差(RMSE)和平均絕對百分比誤差(MAPE)評估模型的預測性能，公式見(7)式和(8)式，并與其他文獻的方法如多通道卷積神經網絡(TCNN)、門控循環單元(GRU)、多尺度卷積神經網絡(MSCNN)、雙向長短時記憶(Bi-LSTM)網絡進行了比較[15-16]，結果見表3。

表3 各方法的預測性能指標對比

(7)

(8)

由表3可知，本文方法的RMSE和MAPE值基本小于其他方法，說明其擬合度高且誤差較小。不同軸承的結果都比較優異也說明了模型的魯棒性較好。

為驗證本文方法的預測精度，利用預測剩余使用壽命和實際剩余使用壽命之間的誤差Eri來評估該方法的優劣，即

(9)

式中：Lacti為實際剩余使用壽命；Lprei為預測剩余使用壽命。

各方法誤差Eri的對比見表4，本文所提方法相比于其他方法得到的Eri更接近0，說明其預測精度更高；本文方法的平均誤差為11.5%，與其他方法相比，誤差相對較小且更穩定。

表4 各方法的百分比誤差

3 結束語

本文提出的基于時空注意力機制的Bi-GRU模型預測軸承剩余使用壽命的新方法，利用時空注意力機制提取全局和局部特征并對數據進行降維處理，然后利用雙向門控遞歸單元堆疊構成的網絡模型進行軸承剩余壽命預測。與其他方法的比較結果表明該方法誤差率更低，擬合效果更好；但結果中仍存在滯后預測的情況，未來的研究重點將考慮如何更好地實現超前預測，并得到更準確的預測值。