MHSACAE-CNN在噪聲下的電機軸承故障診斷

摘要 電機的運行情況復雜，實際運行工況下會有大量的噪聲，導致其軸承故障診斷精度下降。為了改善這一問題，提出了一種基于多頭自注意力機制的一維全卷積自編碼網絡（One-dimensional Fully Convolutional Autoencoding Network Based on Multi-head Self-attention， MHSACAE）與卷積神經網絡（Convolutional Neural Network，CNN）結合的軸承故障診斷方法。該方法先采用MHSACAE網絡進行降噪，再通過CNN進行故障診斷。其中MHSACAE去噪網絡采用無監督訓練的方式，充分考慮了實際工況和序列數據內在聯系，在實現對噪聲的濾除效果的同時，最大限度地保留下了原始的故障信息，使得CNN可以實現在噪聲情況下對電機軸承故障的高精度診斷。通過與其他軸承故障診斷方法在噪聲情況下進行對比，證明提出的方法具有更好的效果。

關鍵詞 故障診斷; 軸承; 自注意力; 噪聲; 卷積神經網絡

引 言

軸承是電機最重要的零件之一，軸承故障會直接影響到電機的運轉，嚴重時甚至會造成電機損傷和使用壽命縮短［1］。突發性的故障更可能會造成人員受傷和高額經濟損失，因此對電機軸承進行精準的、實時的故障診斷十分重要［2］。

振動信號分析是電機軸承故障診斷中常用的方法［3］。傳統的故障診斷方法依靠人類專業知識提取特征并判斷其故障狀態。傳統的特征提取方法是對振動信號分別在時域、頻域或者時頻域中采用時域統計分析［4］、短時傅里葉變換［5］、小波變換［6］和經驗模態分解［7］等方法提取其特征。提取的特征依靠人類豐富的經驗來判斷具體故障狀態，十分耗時耗力。

在過去幾年時間里，基于深度學習的方法得到了快速發展，并應用于各個領域，例如自然語言處理、計算機視覺和模式識別。同樣，使用深度學習進行電機軸承故障診斷和軸承壽命預測也取得了一些成果。

Zhang等［8］提出一種基于第一層寬卷積核的卷積神經網絡（Deep Convolutional Neural Networks with Wide First-layer Kernel， WDCNN），第一層卷積采用寬卷積核，增大了感受野，與傳統的卷積神經網絡相比極大提高了故障診斷的精度。宮文峰等［9］采用全局均值池化技術代替傳統CNN的全連接部分，有效解決了傳統CNN模型參數過多的問題，在減少參數的情況下實現了對軸承的故障診斷。肖雄等［10］將一維振動信號轉換為二維灰度圖，然后利用卷積神經網絡進行特征提取，得到了較好的結果。

上述方法在無噪聲情況下取得了很好的結果，但是在實際情況中，采集到的振動信號往往伴隨著各種隨機噪聲，無法直接采用帶噪聲的振動信號對軸承故障做出明確診斷，因此去噪已經成為振動信號處理中的關鍵問題。為了解決噪聲問題，Zhao等［11］提出了深度殘差收縮網絡，將注意力機制與軟閾值濾波結合，實現自適應閾值濾波，在高噪聲情況下取得了較好的效果。但是閾值濾波不僅過濾掉了噪聲，也會濾掉實際的振動信號，造成原始信號的缺失。

卷積自編碼網絡已經在圖像去噪方面得到了廣泛應用。為了在濾波的同時，較好地保留原始信號，萬齊楊等［12］使用卷積自編碼網絡去噪，再用CNN網絡進行故障診斷。但是該方法采用有監督學習的訓練方式進行訓練，采用原始振動信號的帶噪聲時頻圖作為卷積自編碼網絡輸入，不帶噪聲學習的訓練時頻圖作為標簽，可實際情況中很難得到噪聲信號的標簽。丁云浩等［13］采用一維多尺度卷積自編碼網絡對軸承故障進行診斷，能在去除噪聲的同時較好地還原原始數據。該方法先訓練好自編碼網絡，在網絡基礎之上添加softmax分類層，對網絡進行分類訓練微調。但是隨著分類訓練的進行，預先訓練的去噪能力被改變為分類能力，削弱了網絡去噪效果。

基于上述情況，為了改善在噪聲下的軸承故障診斷問題，本文將多頭自注意力機制和一維全卷積自編碼網絡相結合，提出MHSACAE去噪網絡，并采用無監督學習的訓練方式對MHSACAE網絡進行訓練，在實現無監督去噪的同時能較好地保留原始振動信號。再通過CNN網絡進行故障診斷，構造了一種無需人工提取特征的端到端的MHSACAE-CNN故障診斷模型。

1 卷積自編碼網絡

卷積神經網絡是受生物視覺皮層運作機理啟發而來，2012年Alex設計的AlexNet使其大火［14］。網絡包含了卷積層和池化層，對數據有很好的特征提取能力，是目前運用最為廣泛的深度學習網絡架構之一。

卷積自編碼網絡［15］使用卷積神經網絡代替自編碼網絡中的全連接神經網絡，使用卷積操作進行編碼，反卷積操作進行解碼，可以對輸入數據進行還原重構。卷積自編碼網絡結合了自編碼網絡和卷積神經網絡的優點，不僅可以還原數據，而且充分利用了卷積神經網絡強大的特征提取能力和濾波功能，在處理復雜數據方面具有更好的效果。其結構如圖1所示。

2 改進的一維卷積自編碼網絡

本文對一維卷積自編碼網絡在網絡結構、激活函數方面做了一定的改進，并加入了多頭自注意力模塊，具體改進內容如下。

2.1 激活函數

在有噪聲干擾的情況下，振動信號和噪聲信號的關系十分的復雜，無法用線性關系表示，而卷積和反卷積的本質都是線性運算。所以，為了提高網絡的非線性學習能力，必須在卷積和反卷積的操作后添加非線性的激活函數。目前常用的激活函數是Relu激活函數，該函數將小于0的部分置零，這個函數適合處理數據全為正的圖像。但是，振動信號是有正有負的，且負值部分也包含了很多有效信息，而使用ReLU函數會忽略大量的負值信息，導致有效特征的大量丟失。為了解決這一問題，在網絡中采用了被稱為PReLU的激活函數［16］。它的數學表達式如下：

式中 a的初始值為0.25，可以固定或者隨著學習一起更新。當a=0時，PReLU就變化為ReLU激活函數，當a=0.01時，變化為Leaky ReLU激活函數。

2.2 多頭自注意力機制

注意力機制［17］模仿人類的對事物的思維方式，能夠對輸入信息進行篩選，忽略一些不重要的信息，自動尋找對當前任務最有幫助的信息，充分利用計算資源。它的數學本質是一種數據加權的方式，給重要信息高的權重，不重要信息低的權重。在噪聲背景下，噪聲是冗余信息，而原始振動信號是重要的特征信息，所以利用注意力機制可以有效濾除噪聲。

自注意力機制［18］是注意力機制的一種改進，在普通注意力的基礎上，更加注重樣本數據的內相關性。振動數據本身是一種時間序列，其數據內部之間在時間上有很強的相關性，所以自注意力機制十分適合用于一維振動數據的特征提取。其數學表達式如下：

式中 I表示輸入振動數據，是一個時序的向量；Wq，Wk和WV分別表示數據向量線性映射所需要的權重矩陣；Q代表當前時刻數據的信息映射；K代表其他時刻數據的信息映射；V代表輸入向量自身的特征映射；dk為輸入向量的維度，用于歸一化處理。兩個向量的點乘可以表示兩個向量的相似度，它們的相似度越高，點乘后的值越大。為了得到不同數據的內在聯系，使用Q與K進行內積，得到表征數據之間相關性的度量值。網絡結構如圖2所示。

自注意力機制計算過程如下：

首先將輸入的數據乘以權重參數得到Q，K和V向量；然后計算每一個向量的權重分數：score=Q·K，為了保證梯度的穩定性，將score通過softmax進行歸一化得到權重分布α；最后將α與表征特征的V進行加權求和得到最終結果。

為了最大尺度地表征數據的信息和特征，對每個數據采用了多個Q，K，V進行信息和特征映射，這種注意力機制被稱為多頭自注意力機制［19］，多頭自注意力機制是在自注意力機制上的進一步改善。多頭自注意力機制從多個角度對軸承故障信號進行特征提取映射，可以更全面地提取輸入信息的特征，深入挖掘軸承振動信號內在的時序關系，增強神經網絡抗噪能力。其數學表達式如下：

由式（3）可知，多頭注意力機制采用了多個參數矩陣對數據求取不同Q，K和V，再將得到的結果進行拼接，得到更加全面的特征。

2.3 改進的卷積自編碼網絡模型

改進的MHSACAE網絡模型如圖3所示。池化層會模糊數據的特征，為了增強網絡特征的提取能力，在該網絡中采用了全卷積的方式，去除了在傳統卷積自編碼網絡中采用的池化層。為了增強故障診斷的能力，本文將CNN寬卷積核的思想引入到該網絡之中，MHSACAE網絡的第一層卷積層核最后一層反卷積層均采用了較寬的卷積核，增強了感受野，提高網絡的濾波能力。在網絡的編碼和解碼部分，分別加入2.2節中所提的多頭自注意力層，加強了數據內部相關性特征的提取，進一步提高網絡的濾波能力。為了能保持較好濾波的同時還原原始數據，激活函數采用2.1節所提的PReLU函數。

3 MHSACAE-CNN軸承故障診斷

3.1 診斷模型介紹

基于MHSACAE-CNN的故障診斷模型如圖4所示。

首先通過一維的MHSACAE網絡對輸入的數據進行降噪還原處理，然后將降噪后的數據作為CNN輸入，最后使用CNN網絡進行故障診斷。

由于MHSACAE網絡和CNN故障分類網絡并沒有特定的結構，受文獻［8］提出的WDCNN網絡的啟發，第一層卷積均采用寬卷積核，增大感受野，提高診斷精度。后續卷積層均采用小卷積核，可以深入挖掘樣本間隱藏的深層信息，且網絡參數量少，反應速度快。MHSACAE網絡參數如表1所示。CNN網絡參數如表2所示。

對于整個MHSACAE-CNN診斷模型，優化器統一采用Adam優化器，學習率為0.001。MHSACAE采用MSELoss損失函數，CNN采用交叉熵損失函數。

3.2 故障診斷步驟

本文將無監督學習的MHSACAE與有監督學習的CNN網絡相結合，構造了一種端到端的基于深度學習的軸承故障診斷網絡，具體的故障診斷過程如下。

3.2.1 數據預處理

采集電機在正常、外圈故障、內圈故障和滾動體故障4種狀態下的軸承振動信號。然后將信號分為訓練集、驗證集和測試集。在測試集上加入不同信噪比的噪聲，得到不同噪聲等級的測試集。

3.2.2 網絡訓練

對MHSACAE網絡和CNN網絡分別進行訓練。首先采用無監督學習方式對MHSACAE網絡進行訓練，以原始無噪聲的振動信號作為輸入數據，同樣的數據作為標簽作為誤差反饋，使去噪網絡可以充分學習到原始數據的特征。訓練原理圖如圖5所示。

CNN采用有監督訓練的方式，將原始無噪聲的振動信號作為輸入，各種故障種類作為標簽，訓練CNN網絡對故障進行分類。訓練原理如圖6所示。

3.2.3 網絡驗證和測試

訓練時使用無噪聲的數據，而在驗證和測試的時候向原始數據中加入不同信噪比（Signal to Noise Ratio， SNR）的高斯白噪聲。信噪比的計算公式如下：

式中 PSignal和PNoise分別表示原始信號和噪聲的能量。

將帶噪聲的數據作為MHSACAE降噪網絡的輸入，而降噪網絡的輸出作為CNN網絡的輸入，最終通過分類網絡得到故障診斷精度。精度計算公式如下：

式中 NTrue和Nall分別表示分類正確的樣本數和測試集總的樣本數。

故障診斷原理圖如圖7所示。

4 實驗結果與分析

所有的實驗均是在單張GT730 GPU上完成，使用PyTorch深度學習框架。在本節通過兩個實驗案例驗證所提方法的效果，并可視化各種噪聲等級下去噪實驗的結果，展現降噪網絡的性能。最后在各個已知的噪聲水平下，通過與其他去噪方法進行比較，展示所提方法的優越性。

4.1 實驗一

實驗采用美國凱斯西儲大學的軸承故障數據驗證本文方法的有效性，其軸承數據采集系統如圖8所示。

通過在電機驅動端以48 kHz的采樣頻率進行采樣獲得故障數據。被診斷的軸承一共有4種狀況，分別是正常、內圈故障、外圈故障和滾動體故障，對于每種故障考慮了3種故障大小，共計9種故障情況。

為了使多頭自注意力層最大限度地提取樣本在時序上的相關性，通過重疊采樣的方法，將各種不同故障狀況的數據劃分為660個樣本，每個樣本2048個數據點，并按照8∶1∶1的比例劃分為訓練集、驗證集和測試集。訓練集總共5280個樣本，測試集和訓練集各660個樣本。

為了符合實際情況，以及充分體現所提方法的去噪能力，在訓練時用的數據是原始無噪聲數據，驗證和測試時用帶噪聲的數據。為了模擬實際情況，在驗證集和測試集中都分別加入一定信噪比的噪聲來污染數據，希望通過訓練好的網絡消除噪聲，并對軸承故障進行診斷。

4.1.1 超參數的選擇

本文采用多頭自注意力機制與卷積自編碼結合對數據降噪，其中自注意力層的頭數和其層數至關重要。本文通過多次實驗選擇最優的參數。自注意力層數實驗如表3所示。

在表3中，解碼部分層數代表MHSACAE網絡的解碼部分中包含的自注意力層的層數，同樣的編碼部分層數代表網絡中編碼部分自注意力層的層數。為了得到網絡最優參數，表3以0 dB下的故障診斷精度作為參數選取的標準。

從表3可以看出，解碼部分層數增加會明顯削弱MHSACAE的抗噪性，導致在高噪聲情況下故障診斷精度下降。所以通過實驗，選擇在MHSACAE網絡編碼部分加入兩層自注意力層，在解碼部分加入一層自注意力層。

確定自注意力層后，在確定的網絡模型下，繼續通過實驗選擇自注意力層的頭數。其實驗參數如表4所示。

表4中編碼部分頭數表示編碼部分自注意力層的頭數，解碼部分頭數表示解碼部分自主注意力層的頭數。由2.3節所知，MHSACAE網絡的作用主要分為兩個部分：一個部分是對噪聲的濾除；另一部分是對原始數據的恢復。由表4數據可知，在MHSACAE網絡中，編碼部分的自注意力層的頭數增加更加注重于噪聲的濾除，但會降低原始數據恢復能力，解碼部分自注意力層的頭數增加更有利于原始數據恢復，但是會降低抗噪能力。通過實驗綜合分析，選擇MHSACAE網絡解碼部分自注意力層頭數為2，編碼部分為1。

4.1.2 降噪實驗分析

為了檢驗MHSACAE網絡的降噪能力，首先對網絡的降噪部分進行了可視化。選取3種信噪比情況下的噪聲數據，即4，0，-2 dB。通過將3種情況下的去噪前數據、原始數據和去噪后的數據同時進行可視化對比，直觀地展現了網絡的去噪能力，其數據可視化如圖9所示。

圖9從左到右分別為原始無噪聲數據，加噪信號和去噪后的信號。由圖9可以看出在各個噪聲等級下，去噪效果都比較好。再通過用本文方法去噪后的故障診斷精度與其他方法在不同噪聲情況下的精度進行對比，來展示所提方法的優越性。其在-4～6 dB下的精度對比如圖10所示。

在圖10中，CNN是僅通過卷積神經網絡進行診斷的方法，DCAE-CNN是普通的卷積自編碼去噪后再用CNN診斷的方法，MHSACAE-CNN是本文提出的方法，SVM是使用傳統機器學習中支持向量機的診斷方法。由圖10可知，當信噪比在6 dB的情況下，3種深度學習方法得到的診斷精度差異均不大，達到98%，說明3種網絡對于低噪聲都具有一定的抵抗力，但SVM的預測精度僅為70%，其抗噪性能較差。隨著信噪比逐漸降低，3種深度學習方法的精度差異也越來越大。

在0 dB情況下，本文的方法依然有95.30%的精度，DCAE-CNN的方法卻只有70%的精度，用CNN進行故障診斷的精度僅僅只有48%。當信噪比低于0 dB時，后面兩種方法的精度會更低。本文所提出的方法在-2 dB的情況下診斷精度依然超過90%，-4 dB的情況下也有超80%的精度，充分體現了MHSACAE-CNN方法的抗噪能力。

前面只采用了高斯白噪聲檢驗網絡的抗噪性能，在此使用脈沖噪聲與高斯白噪聲混合的混合噪聲進一步檢驗MHSACAE網絡的抗噪性能。在振動信號中最明顯的特征是脈沖特征，用脈沖噪聲來代表強干擾下產生的噪聲，可以對原始特征產生有效干擾。加噪后信號如圖11所示，圖11從左到右分別為原始無噪聲信號、加高斯白噪聲信號和加混合噪聲后的信號。與其他方法在0 dB混合噪聲下的診斷精度對比如圖12所示。

由圖12可知，在0 dB的混合噪聲情況下，基于MHSACAE-CNN的診斷精度高于其他方法，表現出良好的抗噪性能。

為了進一步明確在噪聲情況下使用本文方法對軸承故障診斷的情況，在測試數據信噪比為0 dB的情況下進行測試，并對測試結果做分類混淆矩陣熱力圖，展示各個類別故障的分類情況，混淆矩陣熱力圖如圖13所示。

在圖13中，橫坐標為網絡預測的故障種類，縱坐標為實際的故障總類。測試數據集有10類故障，各類故障66個樣本，共660個樣本。B代表滾動體故障，IR代表內圈故障，OR代表外圈故障，NO代表正常狀態；0.17，0.35和0.53分別代表故障損傷直徑，單位為mm。對角線為各類故障預測正確的數量，其余為各類別預測混淆數量。由圖13可知，在0 dB的信噪比下，0.35 mm損傷的故障混淆程度最大，其中滾軸故障與內圈故障混淆了11個樣本，與外圈故障混淆5個樣本。

4.2 實驗二

為了進一步驗證MHSACAE網絡的去噪效果，采用巴西里約熱內盧聯邦大學所提供的軸承診斷數據集進行實驗。該數據集由機械故障模擬器對中平衡振動訓練器上的傳感器獲得。該數據集包括正常狀態、不平衡故障、外圈故障、內圈故障和滾軸故障5種狀態。為了與實驗一作對比，選取正常、外圈故障、內圈故障和滾軸故障4種狀態作為本次實驗數據集。每種狀態有500個樣本，每個樣本有2048個數據點。同樣按照8∶1∶1的比例劃分為訓練集、驗證集和測試集。網絡的結構和超參數與實驗一相同。與其他方法的實驗比較結果如圖14所示。

由圖14可知，采用SVM時診斷精度整體低于深度學習方法，且抗噪性能較低，在0 dB信噪比下診斷精度僅有30%。在只采用CNN的方法時，在信噪比為15 dB的情況下，診斷精度為97%，而當信噪比降低，噪聲量加大，其診斷精度迅速下降。當信噪比為10 dB時，CNN診斷精度為86%，當信噪比為6 dB時，診斷精度只有73%。

由圖14可知，在采用DCAE?CNN和MHSACAE?CNN的方法時，抗噪性有了明顯提升，尤其是在使用MHSACAE-CNN方法的情況下。在信噪比為4～15 dB的情況下，使用MHSACAE-CNN方法的診斷精度一直穩定在98%以上，而DCAE-CNN的方法診斷精度下降明顯，說明了MHSACAE-CNN方法優越的抗噪性。

在-4～4 dB的區間中，對比實驗一和實驗二中MHSACAE?CNN方法的診斷精度，發現實驗二的精度低于實驗一，而且精度下降尤為明顯。在實驗一中，信噪比為0 dB的情況下診斷精度為95.3%，但實驗二只有84.64%；在-4 dB的情況下，實驗一的精度為80%，實驗二只有65%。

分析原因是因為該實驗數據集中的原始噪聲大于凱斯西儲大學數據集中的原始噪聲，而噪聲與原始數據之間并沒有直接的聯系，使得MHSACAE網絡的多頭自注意力模塊不能很好地學習到樣本中的內相關性，導致其抗噪性在強噪聲情況下效果不夠好。所以為了保證MHSACAE網絡的去噪效果，需要在無監督訓練的時候使用盡量干凈無污染的數據，這是該網絡的一個局限性，有待后續改進。

采用混合噪聲進一步檢驗MHSACAE網絡的抗噪性能，在2 dB信噪比下的故障診斷精度如圖15所示。

由圖15可知，在2 dB的混合噪聲情況下，基于MHSACAE-CNN的診斷精度高于其他方法，表現出良好的抗噪性能。

為了進一步明確診斷情況，在2 dB信噪比下測試結果混淆矩陣熱力圖如圖16所示。

由圖16可知，在噪聲情況下，內圈故障預測誤差最大，測試結果與外圈故障混淆了15個樣本。

4.3 噪聲對訓練影響分析

通過實驗二分析得到的結論是在無監督訓練時盡量使用干凈無污染的數據，原始數據中的噪聲會影響MHSACAE網絡的抗噪性能。為了定量分析噪聲對訓練的影響，本文以實驗一的實驗數據進行實驗，通過在訓練數據中添加不同含量的噪聲觀察測試結果，以具體的測試精度衡量訓練數據中的噪聲對MHSACAE網絡抗噪性能的影響，同時給出訓練時數據噪聲含量的量化標準，具體的實驗結果如表5所示。

在表5中訓練信噪比和測試信噪比分別代表訓練數據集和測試數據集中的噪聲含量，信噪比越大，噪聲含量越低，反之相反。由表5可知，在訓練數據信噪比不低于15 dB時，在測試信噪比為0 dB得到的測試精度都在95%以上。當訓練數據信噪比等于13 dB時，在測試信噪比為0 dB得到的測試精度只有92.03%，所以在訓練時候應使訓練數據信噪比在14 dB以上，可以使MHSACAE網絡得到較好的抗噪性能。

5 結 論

為了改善復雜環境下高噪聲導致的軸承故障診斷精度低下的問題，通過研究提出了一種基于MHSACAE-CNN的故障診斷方法，并使用凱斯西儲大學和里約熱內盧聯邦大學的公開軸承數據集驗證了該方法的有效性和優越性，得到以下結論：

（1）提出的基于MHSACAE-CNN端到端的軸承故障自動診斷的方法，改善了人工提取故障特征耗時耗力的問題。

（2）將自注意力機制與一維卷積自編碼網絡結合，設計了用于降噪的MHSACAE網絡。不僅可以很好地保留原始信息，而且充分地考慮到了序列數據的內在聯系，實現在強噪聲情況下的故障診斷。

（3）采用無監督學習的方式對去噪網絡進行訓練，更加符合實際工況，在實用性能方面表現更為優異。

（4）通過實驗，定量分析了訓練數據中噪聲對MHSACAE網絡的抗噪性能影響，給出了量化標準。

除此之外，該方法需要在訓練時盡量使用污染程度小的數據，但是獲取大量無污染的訓練數據難度較大。下一步將研究在本文算法的基礎上優化網絡和損失函數，用較少且帶噪聲的訓練數據得到更好的結果，以改善實際工程中訓練數據難獲取的問題。

參考文獻

1李兵，韓睿，何怡剛，等.改進隨機森林算法在電機軸承故障診斷中的應用［J］.中國電機工程學報，2020，40（4）：1310-1319.

Li Bing， Han Rui， He Yigang， et al. Application of improved random forest algorithm in fault diagnosis of motor bearing［J］. Proceedings of the Chinese Society of Electrical Engineering， 2020，40（4）：1310-1319.

2杜小磊，陳志剛，王衍學，等.形態經驗小波變換和改進分形網絡在軸承故障識別中的應用［J］.振動工程學報，2021，34（3）：654-662.

Du Xiaolei， Chen Zhigang， Wang Yanxue， et al.Application of morphological experience wavelet transform and improved fractal network in bearing fault recognition［J］. Journal of Vibration Engineering， 2021，34（3）：654-662.

3陳向民，于德介，李蓉.齒輪箱復合故障振動信號的形態分量分析［J］.機械工程學報，2014，50（3）：108-115.

Chen Xiangmin， Yu Dejie， Li Rong. Morphological component analysis of gearbox compound fault vibration signal［J］. Chinese Journal of Mechanical Engineering， 2014，50（3）：108-115.

4Poongodi C， Hari B S， Arunkumar S. Vibration analysis of nylon gear box utilizing statistical method［J］. Materials Today： Proceedings，2020，33（7）： 3525-3531.

5Peng B， Wei X， Deng B， et al. A sinusoidal frequency modulation Fourier transform for radar-based vehicle vibration estimation［J］. IEEE Transactions on Instrumentation and Measurement， 2014，63（9）： 2188-2199.

6LEE W， PARK C G. Double fault detection of cone-shaped redundant IMUs using wavelet transformation and EPSA［J］. Sensors，2014，14（2）：3428-3444.

7朱文龍，周建中，肖劍，等.獨立分量分析?經驗模態分解特征提取在水電機組振動信號中的應用［J］.中國電機工程學報，2013，33（29）：95-101.

Zhu Wenlong， Zhou Jianzhong， Xiao Jian， et al.Independent component analysis-application of empirical mode decomposition feature extraction in vibration signals of hydroelectric generating units［J］. Proceedings of the Chinese Society of Electrical Engineering，2013，33（29）：95-101.

8Zhang W， Peng G， Li C， et al. A new deep learning model for fault diagnosis with good anti-noise and domain adaptation ability on raw vibration signals［J］. Sensors， 2017， 17（2）： 425.

9宮文峰，陳輝，張澤輝，等.基于改進卷積神經網絡的滾動軸承智能故障診斷研究［J］.振動工程學報，2020，33（2）：400-413.

Gong Wenfeng Chen Hui， Zhang Zehui， et al.Research on intelligent fault diagnosis of rolling bearing based on improved convolutional neural network［J］. Journal of Vibration Engineering，2020，33（2）：400-413.

10肖雄，王健翔，張勇軍，等.一種用于軸承故障診斷的二維卷積神經網絡優化方法［J］.中國電機工程學報，2019，39（15）：4558-4568.

Xiao Xiong， Wang Jianxiang， Zhang Yongjun， et al. A two-dimensional convolutional neural network optimization method for bearing fault diagnosis［J］. Proceedings of the Chinese Society of Electrical Engineering， 2019，39（15）：4558-4568.

11Zhao M， Zhong S， Fu X， et al. Deep residual shrinkage networks for fault diagnosis［J］. IEEE Transactions on Industrial Informatics， 2020，16（7）：4681-4690.

12萬齊楊，熊邦書，李新民，等.基于DCAE-CNN的自動傾斜器滾動軸承故障診斷［J］.振動與沖擊，2020，39（11）：273-279.

Wan Qiyang， Xiong Bangshu， Li Xinmin， et al.Fault diagnosis of rolling bearing of automatic tilter based on DCAE-CNN［J］. Journal Vibration and Shock， 2020，39（11）：273-279.

13Ding Yunhao， Jia Minping. A multi-scale convolutional self-encoding network and its application in fault diagnosis of rolling bearings［J］.Journal of Southeast University （English Edition），2019，35（4）：417-423.

14Krizhevsky A， Sutskever I， Hinton G. ImageNet classification with deep convolutional neural networks［J］. Communications of the ACM， 2017，60（6）：84-90.

15張繼冬，鄒益勝，蔣雨良，等.基于全卷積變分自編碼網絡FCVAE的軸承剩余壽命預測方法［J］.振動與沖擊，2020，39（19）：13-18.

Zhang Jidong， Zhou Yisheng， Jiang Yuliang， et al.Prediction method of bearing remaining life based on fully convolutional variational auto-encoding network FCVAE［J］. Journal of Vibration and Shock，2020，39（19）：13-18.

16He K， Zhang X， Ren S， et al. Delving deep into rectifiers： surpassing human-level performance on imageNet classification［C］. Proceedings of IEEE International Conference on Computer Vision （ICCV）. Samtiago，Chile， 2015：1026-1034.

17Li F， Bai H， Zhao Y. Learning a deep dual attention network for video super-resolution［J］. IEEE Transactions on Image Processing， 2020，29：4474-4488.

18Wang X， Girshick R， Gupta A， et al. Non-local neural networks［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City，UT， USA，2018：7794-7803.

19Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need［C］.Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach， CA， USA， 2017：6000-6010.