基于注意力機制的滾動軸承故障診斷方法

李秋婷,王秀青,2,解飛,楊云鵬,杜文霞

(1.河北師范大學 a.計算機與網絡空間安全學院;b.中燃工學院,石家莊 050024;2.河北省網絡與信息安全重點實驗室,石家莊 050024)

旋轉機械廣泛應用于航空航天、船舶、汽車、機械制造等領域,滾動軸承是旋轉機械中的關鍵、易損部件,在惡劣的工作環境和交變載荷下容易發生故障。滾動軸承故障診斷是保障旋轉機械系統正常運行的重要環節,實際應用中迫切需要高精度、高穩定性的滾動軸承故障診斷方法[1]。

卷積神經網絡(Convolutional Neural Network,CNN)采用多層卷積的方式提取特征,并在挖掘數據的深層特征表示方面具有獨特優勢,可解決傳統方法中特征提取繁瑣和不同故障特征間的耦合問題,經典模型有LeNet-5,GoogleNet,殘差網絡(ResNet)等[2]。長短期記憶網絡(Long and Short Term Memory,LSTM)作為循環神經網絡(RNN)的變體,可解決RNN收斂困難和梯度消失問題[3]。注意力機制在圖像處理領域取得了較好效果,也被推廣應用于故障診斷領域,文獻[4]提出了基于多重注意力-卷積神經網絡-雙向門控循環單元的機械故障診斷方法,在CNN中加入卷積注意力模塊(Convolutional Block Attention Module,CBAM)進一步加強模型對關鍵信息的提取能力,結果表明該方法的故障診斷性能優于一維CNN。

很多學者對滾動軸承故障診斷方法進行了研究:文獻[5]提出了小波包能量與CNN相結合的滾動軸承故障診斷方法,有效提高了卷積神經網絡的故障識別準確率;文獻[6]提出了基于AlexNet和極限學習機(ELM)的軸承故障診斷方法,獲得了較高的分類精度和較短的訓練時間;文獻[7]提出了基于離散小波變換-多尺度模糊熵與最小二乘支持向量機(LSSVM)的滾動軸承故障診斷方法并驗證了其可行性;文獻[8]提出了基于奇異譜分解和2層支持向量機的故障診斷方法并成功完成滾動軸承故障診斷工作。

雖然許多傳統機器學習和深度學習方法已能夠完成滾動軸承故障診斷任務,但實際生產中仍迫切需要更高精度、更佳穩定性的滾動軸承故障診斷方法,以最大限度地降低故障造成的損失。注意力機制可以有效增強數據重要特征的關注度并減弱不重要特征的關注度,有助于提高模型的故障診斷精度。以自注意力機制[9]為核心的Transformer模型在圖像分類[10]、醫學圖像分割[11]、句子生成[12]、機器翻譯[13]等方面得以成功應用。因此,本文基于注意力機制和Transformer模型,提出2種數據驅動的滾動軸承故障診斷方法:1)基于CAR模型的滾動軸承故障診斷方法,將注意力機制與殘差網絡相結合,提取滾動軸承振動信號中的重要特征,避免梯度消失或爆炸現象,從而有利于模型的訓練;2)基于Transformer模型的滾動軸承故障診斷方法,使用Vision Transformer編碼器對軸承振動信號進行處理并提取內部相關性,僅使用該編碼器即可完成有效的特征提取,提高模型故障診斷精度。

1 相關理論及方法

1.1 卷積神經網絡

卷積神經網絡包含卷積層、池化層和全連接層這3個主要層結構,通過堆疊形成完整的網絡:處于核心地位的卷積層用于特征提取;池化層用于數據壓縮,降低決策成本,可以減少網絡中的參數量并有效控制過擬合;卷積層與池化層配合使用具有局部連接、權值共享和空間池化的特點,使得卷積神經網絡具有比其他網絡更深的特征提取能力[14];經過一系列卷積和池化操作后將提取特征輸入全連接層,得到整個網絡的輸出結果,如圖1所示。

(a) 卷積

1.2 殘差網絡

隨著深度卷積神經網絡層數的增多,可采用ResNet網絡避免出現梯度消失或爆炸現象[15]。ResNet的一種快捷連接如圖2所示,該網絡層的輸入為X,堆疊的非線性層映射為F(X),輸出為H(X)=F(X)+X。當H(X)近似為X時,這組堆疊的網絡層可看作一個恒等映射,則F(X)=H(X)-X,F(X)即殘差函數。在神經網絡中添加若干恒等映射,可增加網絡深度但不會導致網絡退化。

圖2 殘差函數

1.3 卷積注意力模塊

CBAM的原理如圖3所示,特征圖1為卷積的輸出,通道注意力模塊用于捕捉特征圖各通道之間的聯系,空間注意力模塊則用于捕捉特征圖空間區域之間的聯系,可表示為

圖3 CBAM原理

F′=MC(F)?F,

(1)

F″=MS(F′)?F′,

(2)

(3)

(4)

式中:Cconv為核尺寸為7×7的卷積操作。

1.4 Vision Transformer

標準Transformer接收一維標記嵌入序列作為輸入。為處理二維圖像,Vision Transformer將圖像x∈RH×W×C重塑為一系列扁平的二維圖塊xp∈RN×(P2×C)。其中,(H,W)為原始圖像的分辨率,C為通道數,(P,P)為每個圖塊的分辨率,N為圖塊的數量,N=HW/P2。

Vision Transformer在其所有層中使用恒定的潛在向量大小D(D=P2×C),因此將圖像展平成二維圖塊并線性映射到D維,可表示為

(5)

(6)

Vision Transformer編碼器由l(l=1,…,L)個多頭自注意力和多層感知器的交替層組成,在每個塊之前應用層歸一化(NLN),即

(7)

(8)

標準qkυ自注意力(Self-Attention,SA)是神經架構的流行構建塊。q,k,υ均由輸入序列得到,即

[q,k,υ]=zUqkυ;Uqkυ∈RD×D,

(9)

其中,q和k充當匹配和被匹配向量,計算其相似性A并應用于υ可得

(10)

sSSA(z)=Aυ。

(11)

多頭注意力(Multiheaded Self-Attention,MSA)是SA的擴展,通過并行k個SA操作并將其輸出拼接進行線性學習以得到多頭注意力結果,即

SMSA(z)=[SSA1(z);SSA2(z);…;

SSAk(z)]UMSA;UMSA∈RkDh×D。

(12)

2 基于注意力機制和數據驅動的滾動軸承故障診斷模型

2.1 試驗數據及其預處理

本文采用CWRU和江南大學滾動軸承故障數據進行研究。

CWRU數據集[16]中的試驗軸承為驅動端的SKF 6205深溝球軸承,由驅動端軸承座上方的加速度傳感器以48,12 kHz的采樣頻率采集在0,1,2,3 hp工況(對應轉速分別為1 797,1 772,1 750,1 730 r/min)下的滾動軸承振動信號,共得到8個樣本集。每個樣本集中包含9 800個樣本,涉及9種故障工況和1種正常工況,具體的數據描述見表1(以48 kHz+0 hp為例,其他樣本集與其類似)。

表1 CWRU(48 kHz+0 hp)軸承數據集描述

江南大學軸承數據集的試驗軸承為NU205,內、外圈及滾動體上的缺陷尺寸(寬×深)均為0.25 mm×0.30 mm,通過PCB MA352A60型加速度傳感器以50 kHz的采樣頻率采集在600,800,1 000 r/min下的滾動軸承振動信號[17],共得到3個樣本集,每個樣本集中包含3 920個樣本,涉及3種故障工況(滾動體故障、內圈故障、外圈故障)和1種正常工況,具體的數據描述見表2(以600 r/min為例,其他樣本集與其類似)。

表2 江南大學軸承數據集描述(600 r/min)

軸承數據輸入診斷模型前先進行量綱一化處理,即

(13)

式中:x為傳感器測量值;xmax為最大測量值;xmin為最小測量值。

2.2 基于CAR的滾動軸承故障診斷模型

基于CAR的滾動軸承故障診斷模型總體結構如圖4所示,包括特征學習器和分類器2個部分,具體診斷步驟為:1)將預處理后的一維向量輸入二維卷積神經網絡,根據經驗將1×864維傳感向量轉換為24×36維向量輸入CAR模型;2)在特征學習器中進行2次自主特征提取操作(自主特征提取模塊1,2操作過程相同),具體過程為卷積層→批處理層→ReLU→CBAM→最大池化層→殘差塊;3)將提取的特征送到分類器(全連接層→Softmax分類器),輸出故障診斷類別。

圖4 基于CAR的滾動軸承故障診斷模型總體結構

所設計的CAR模型結構將卷積神經網絡、卷積注意力模塊、殘差網絡有效結合,以高精度、高穩定性進行滾動軸承故障診斷工作:首先,使用卷積層進行滾動軸承故障特征提取,使用批處理(BN)層將提取后的特征進行歸一化以提高網絡穩定性,使用ReLU激活函數增加非線性使網絡能夠更好地解決復雜問題;然后,對特征添加CBAM注意力機制,使網絡可以增強重要特征的關注度并減弱不重要特征的關注度,并對添加注意力機制后的特征進行池化操作以減少參數量并有效控制過擬合;最后,引入ResNet避免梯度消失或爆炸現象發生。

2.3 基于Transformer的滾動軸承故障診斷模型

基于Transformer的滾動軸承故障診斷模型總體結構如圖5所示,具體診斷步驟為:1)將預處理后的1×864維傳感向量轉換為24×36維,以使Transformer更好地應用于滾動軸承故障診斷領域;2)將轉換后的24×36維向量進行展平、線性映射、添加分類標記,進行位置編碼并完成序列化;3)序列化后輸入Transformer模型,通過歸一化→多頭注意力機制→歸一化→多層感知器完成特征學習;4)將學習到的類嵌入通過全連接層,Softmax分類器完成分類,得到故障診斷類別。

圖5 基于Transformer的滾動軸承故障診斷模型總體結構

基于Transformer的滾動軸承故障診斷方法將層歸一化、多頭注意力、多層感知器和殘差連接有效結合,通過自注意力捕捉數據特征之間的依賴關系,使用多頭注意力機制更好地挖掘滾動軸承故障特征與故障工況之間的關系,從而使得Transformer方法能夠高精度、高穩定性地完成滾動軸承故障診斷工作。

2.4 損失函數

基于CAR和基于Transformer的滾動軸承故障診斷模型依據特征診斷工況,屬于監督學習中的分類問題,因此選用交叉熵作為損失函數[18]。

交叉熵主要用于計算實際輸出(概率)與期望輸出(概率)的距離,其值越小,表明診斷結果越接近真實結果,交叉熵可表示為

(14)

式中:xi為第i個樣本;n為樣本總數;p(xi)為實際輸出;q(xi)為期望輸出。

2.5 優化算法

基于CAR和基于Transformer的滾動軸承故障診斷模型均使用Adam作為優化算法。Adam算法利用梯度的一、二階矩估計動態修正各個參數的訓練步長[19],其更新規則為

(15)

3 試驗分析

利用深度學習框架PyTorch,在4個CPU和2個GPU的集群環境下針對CWRU和江南大學滾動軸承數據進行故障診斷,訓練集和測試集的劃分比例為7:3,為測試所提模型對滾動軸承故障診斷的準確性和穩定性,每組試驗進行20次。試驗流程如圖6所示,CAR模型和Transformer模型的參數信息分別見表3、表4。

表3 CAR模型的參數設置

表4 Transformer模型的參數設置

圖6 基于CAR模型和Transformer模型的滾動軸承故障診斷流程圖

3.1 CAR模型的試驗結果

3.1.1 結果分析

CAR模型對CWRU和江南大學數據集進行20次試驗得到的準確率及其標準差見表5(訓練的迭代次數為200,學習率為1×10-2),結果表明CAR模型可以有效識別滾動軸承故障類型。

表5 CAR模型的滾動軸承故障診斷結果

使用t-SNE算法[20]將CAR模型在最后一個隱藏層提取的高維特征映射為二維特征向量進行可視化,取得最高準確率時的特征可視化結果和混淆矩陣分別如圖7、圖8所示。以CWRU 48 kHz+0 hp樣本集為例,CAR模型在20次試驗中的最高準確率達到了99.7%, 對應分析混淆矩陣和特征可視化圖,發現第0類有0.7%被錯誤預測為第1類,第1,2類也有類似錯誤,其余均正確分類。

(a) 600 r/min(95.3%)

(a) 48 kHz+0 hp(99.7%)

3.1.2 模型對比

在同樣的試驗條件下,選擇RF+LSTM,ResNet,ResNet+LSTM模型與CAR模型進行對比,結果如圖9所示:

(a) CWRU軸承數據集

1)RF+LSTM將RF提取后的特征輸入LSTM網絡(包含LSTM層、全連接層和Softmax分類器)進行訓練和分類[20],其故障診斷平均準確率低于CAR且標準差均高于CAR,試驗結果表明CAR具有比RF+LSTM更高的分類準確率和更好的模型穩定性。

2)CAR在ResNet基礎上引入注意力機制加強了模型對關鍵信息的提取能力,因此ResNet的故障診斷平均準確率均低于CAR且標準差均高于CAR。

3)ResNet+LSTM在ResNet的基礎上添加了LSTM層,而CAR則在ResNet的基礎上添加了CBAM,注意力機制在學習特征上優于LSTM,因此ResNet+LSTM的故障診斷平均準確率低于CAR,標準差高于CAR,在ResNet基礎上加入注意力機制要比加入LSTM可取得更準確、穩定的結果。

綜上,CAR模型相較RF+LSTM,ResNet和ResNet+LSTM模型具有更高的故障診斷準確率和更好的穩定性。

3.2 Transformer模型的試驗結果

Transformer模型對CWRU和江南大學數據集進行20次試驗得到的準確率及其標準差見表6(訓練的迭代次數為1 000,學習率為1×10-3), 2個示例的特征可視化結果和混淆矩陣如圖10所示,結果表明Transformer模型也取得了較好的診斷效果。

表6 Transformer模型的滾動軸承故障診斷結果

(a) CWRU軸承數據集(48 kHz,1 797 r/min)

3.3 分析與討論

進一步分析試驗結果可知:對于CWRU軸承數據,CAR的準確率比Transformer高0.738%,訓練時長比Transformer少48.401 s,標準差比Transformer高0.001 88;對于江南大學軸承數據,CAR的準確率比Transformer高5.280%,訓練時長比Transformer少24.440 s,標準差比Transformer高0.000 60。以上分析表明CAR的準確率更高,訓練更快,但Transformer的穩定性略優,2種模型均能夠以高準確率和低標準差完成滾動軸承故障診斷任務。

其他文獻對CWRU和江南大學軸承數據集的診斷結果見表7。

表7 不同文獻對CWRU和江南大學軸承數據集的

對于CWRU軸承數據,本文所提CAR模型和Transformer模型在12 kHz下10種工況的最低故障診斷準確率也優于文獻[5-7];對于江南大學軸承數據,CAR模型和Transformer模型的故障診斷準確率分別比文獻[8]高4.77%,0.44%:結果表明,基于CAR模型和Transformer模型的滾動軸承故障診斷方法較已有研究成果具有更高的故障診斷準確率和更好的性能。

4 結束語

本文將卷積神經網絡、注意力機制與殘差網絡相結合構建了適用于滾動軸承故障診斷的CAR網絡模型,并嘗試將多用于圖像處理和自然語言處理等領域的Transformer應用于滾動軸承故障診斷領域以取得高精度的故障診斷準確率。所提CAR與Transformer滾動軸承故障診斷模型簡單且易于實施,可直接將軸承振動信號轉化成二維向量輸入模型而無需進行復雜的傳感信息預處理,2種模型在滾動軸承故障診斷試驗中均得到較高的診斷準確率和穩定性。今后的研究工作會嘗試將適用于類腦計算、可同時融入時空信息的似真神經網絡(脈沖神經網絡)應用于滾動軸承故障診斷領域,并將本文所提方法應用于故障預測和健康管理領域。