基于雙路并行多尺度ResNet的滾動軸承故障診斷方法

趙小強， 張毓春

(1.蘭州理工大學 電氣工程與信息工程學院，蘭州 730050；2.甘肅省工業過程先進控制重點實驗室，蘭州 730050；3.蘭州理工大學 國家級電氣與控制工程實驗室教學中心，蘭州 730050)

隨著科技的發展，現代工業控制系統越來越復雜，對各種設備的穩定性以及可靠性要求也逐步提高。在“大數據”時代，許多機械都智能化和高速化，這使得機械發生故障的幾率也增加，一旦發生故障，極大可能會造成不可估量的損失。滾動軸承是旋轉機械中應用最廣泛的，同時也是最容易發生故障的，據相關數據顯示，在旋轉機械中近40%的故障是由于滾動軸承發生故障而引起的，所以對其故障檢測、識別以及診斷的研究起到至關作用[1]。

傳統的故障診斷方法一般使用信號分解的方法進行特征提取，如小波變換[2]和經驗模態分解[3]，然后利用神經網絡、支持向量機[4-5]等進行故障分類完成診斷任務。小波變換能有效的從信號中提取信息，但是小波變換缺乏自適應性，很難選取最優小波基[6]；楊宇等[7]用經驗模態分解信號提取特征，簡化信號復雜度，然后利用神經網絡實現故障診斷，但經驗模態分解會出現模態混疊和端點效應[8]。閆文源[9]用變分模態分解與支持向量機結合對軸承故障診斷，變分模態分解克服了經驗模態分解的缺點，但是支持向量機對少數樣本分類效果不明顯，影響故障診斷精度。

近年來，隨著深度學習[10]被應用到多個領域，許多學者結合深度學習對故障診斷和預測。張立智等[11]提出一種短時傅里葉變換與二維卷積網絡結合的診斷方法，比傳統CNN(convolutional neural networks)[12]有更好的效果，解決了難以特征提取問題，但網絡沒有考慮到梯度消失問題。張建付等[13]利用長短時記憶神經網絡對風電機組滾動軸承故障進行診斷，解決了梯度消失問題，在特征提取時缺乏自適應。曲建嶺等[14]將一維卷積神經網絡應用到滾動軸承的故障診斷中，提出了“端到端”的自適應診斷算法，解決了傳統診斷方法缺乏的自適應性，但單一尺度特征提取無法將細節信息完全挖掘。章立軍等[15]提出了多尺度自適應的形態學分析方法，有利于特征提取，且避免了單尺度的盲目性和依賴性。但在實際工業過程中故障都是發生在變工況、變噪聲等多種因素下的，這些方法的實際效果達不到預期目標，相繼又提出多尺度的特征提取方式，Inception網絡[16]為典型代表，被學者們用到諸多領域。孔子宇等[17]采用Inception和殘差模型對軸承故障分類。雷景生等[18]結合Inception設計了卷積自編碼器模型去除噪聲。但是多尺度卷積神經網絡仍存在以下問題：一是當前模型無法處理復雜環境變噪聲和變工況的故障診斷；二是多尺度的特征提取沒有重點關注有用的特征信息，導致信息的利用率不高。

基于此，本文提出了一種雙路并行多尺度的改進殘差神經網絡的方法。在原有的單支路網絡中加入多尺度的殘差Inception，充分提取振動信號的特征信息；為了避免卷積提取的信息冗余，采用注意力機制提高通道的信息利用率；此外，將提取的特征信息融合后使用多個空洞殘差塊來增強網絡的平穩性和診斷的準確性。最后通過滾動軸承數據來驗證本文所提出的方法的有效性。

1 殘差神經網絡

He等提出的殘差神經網絡[19](residual neural network,ResNet)是在普通的卷積上加入殘差學習，這種網絡有明顯的層級關系，消除了深度過大網絡訓練困難問題，保證了輸出特征表達能力，且加快了訓練速度，這種恒等映射的結構從根本上解決了梯度消失和退化問題。殘差塊的結構如圖1所示。

圖1 殘差塊結構

圖1中:x為輸入;F(x)為映射函數;G(x)=F(x,{Wi})+x為恒等映射函數。殘差結構中這種跳層連接保證了輸入與輸出維度一致，在前向傳播時，輸入信號可以從任意底層直接傳播到高層，使得前后向傳播更加順暢。

卷積神經網絡可以處理復雜的信號，網絡通過引入局部感知、權值共享和下采樣，降低運算復雜度提高識別精度。典型的卷積神經網絡由卷積層、池化層和全連接層構成。卷積層負責提取圖像中的局部特征，池化層用來大幅降低參數量級(降維)，全連接層一般和softmax一起作為分類器[20]。卷積神經網絡結構圖如圖2所示。

圖2 卷積神經網絡結構圖

1.1 卷積層

卷積層是整個網絡的核心，通過大大小小的卷積核完成圖像特征信息的提取。卷積核即所謂的濾波器，用來計算不同的特征圖，卷積具體運算如下

(1)

式中:zi,j為輸入數據第i個通道第j個特征值;wi,j和b分別為卷積核的權重和偏置;f(z)為卷積得到的特征輸出。卷積后，需要進行批標準化和激活函數非線性化。本文選用ReLU函數，因為該函數不僅可以提高網絡稀疏性，而且能夠解決梯度爆炸問題，在深度學習中也是最為廣泛的一種激活函數，函數公式如下

ReLU(x)=max(x,0)

(2)

1.2 池化層

池化層的作用是對數據進行降維，用更高層次的特征表示圖像。因為池化具有特征不變性，在一定程度上還可以防止過擬合現象，這對于網絡來說也極為關鍵。本文采用最大池化，可以有效的提取圖像邊緣的紋理結構，具體公式如下

(3)

式中:{bl(i,t)}是神經元的激活值;n為池化層的寬度;fl(i,j)為池化層輸出。

1.3 全連接層

全連接層將上兩層提取的特征實現分類，由于全連接層每個節點都與上層每個節點連接，所以該層權值參數是最多的。為了提高網絡泛化能力，防止過擬合，引入Dropout方法，在訓練過程中對于神經網絡單元，按照一定的概率將其暫時從網絡中丟棄，具體公式如下

(4)

1.4 損失函數

損失函數用來估量模型的預測值與真實值的不一致程度，它是一個非負實值函數，一般使用L[Y,f(x)]來表示，損失函數越小，模型的魯棒性就越好。本文采用交叉熵函數作為損失函數。

(5)

2 多重Inception-Attention-Improve ResNet模型結構

2.1 注意力機制結構

傳統的卷積神經網絡在特征提取時無法考慮到不同特征映射程度，而且網絡計算能力有限，通過引入通道注意力機制，降低無用信息的關注度，解決信息過載問題，提高處理效率和準確性[21]。采用通道注意力可以分配各個卷積通道之間的資源，讓網絡選擇性的增強信息量最大的特征，使得后期充分利用這些特征并抑制無用信息。SE-block(squeeze and excitation block)是通道注意力機制里較新穎的方法，過程分為壓縮和激發兩步：壓縮獲得每個通道的全局特征向量，激發學習每個通道的特征權值。通過網絡學習每個通道的權重信息，然后乘以每層的特征信息，有目的地增強可用特征信息，實現各個通道的自適應校準。

SE-block結構如圖3所示。圖3中:C,h,w分別為長、寬、通道;Conv為卷積，Fsq為壓縮;Fex為依據權重信息激勵;Fscale為重新縮放;u為卷積后的特征圖;z為拉伸后特征圖。依據式(6)，采用通道注意力機制，可以提高網絡的非線性能力，降低網絡計算量。

圖3 SE block的結構

(6)

式中:σ為Sigmoid函數;W為兩個完全連接層的權重信息;δ為ReLU函數。

2.2 殘差Inception網絡結構

卷積網絡為了提取高維特征，往往需要進行更深層次的卷積，但網絡深度和寬度變換會造成其他性能指標下降。本文提出的殘差Inception網絡在保證模型質量的前提下，減少參數個數，提取高維特征，既增加網絡的寬度，同時也增加了網絡對尺度的適應性。Inception采用多個不同尺度的卷積核提取特征，接著進行多尺度特征融合，不僅對數據進行降維，還引入了更多的非線性，提高了泛化能力。同時為了解決網絡的退化問題，通過調整殘差塊內的通道數量以及堆疊塊數，使得網絡的寬度和深度變化，得到表達能力不同的網絡。此外多個卷積核后的批標準化加速了網絡的收斂性。

改進Inception結構如圖4所示，圖4中，采用3個1×1、3個3×3和1個5×5的卷積核構造了不同尺寸的卷積，其中1×1卷積降低輸入通道的維度，再進行卷積操作，有效提升了網絡的寬度，同時還解決了時間復雜度和空間復雜度的激增。此外，引入的殘差連接緩解了網絡加深帶來梯度消失的問題，提高了整體的泛化能力。

圖4 改進的Inception結構

2.3 整體網絡結構

本文基于殘差網絡提出了一種雙路并行多尺度的改進殘差神經網絡的方法，有效解決了特征提取時計算量大問題和單通道網路的局部泛化問題。雙路并行模型可以對特征信息進行再利用，充分提取特征的細節。每個分支由不同多尺度的殘差Inception和殘差空洞卷積塊構成，以獲取不同深度下的特征信息，采用特征融合各分支的可用信息實現故障診斷。模型以一維故障數據為輸入，經過滑動窗以784的采樣點數重構成28×28的二維特征圖，然后進入改進的殘差Inception網絡，該網絡為了獲取多尺度的特征信息，采用不同大小的卷積核，拓寬網絡寬度。為了解決特征提取過程中的部分信息丟失問題，引入殘差連接，同時將通道注意力機制結合到網絡中，讓網絡自適應的學習并調整讓性能達到最佳。為了增大感受野，用空洞卷積代替普通的卷積，總共利用3個空洞的殘差塊，提高了泛化能力。經過殘差塊后將雙路信息融合在一起，采用concat的方式特征融合，只是進行通道數的合并，加強了特征的傳播，全連接層利用權值矩陣對特征進行重組，最后由 softmax分類器對故障進行準確的分類。本文方法的網絡框架如圖5所示。

圖5 本文方法的網絡結構

本文所提方法對滾動軸承故障診斷的訓練與測試的整體流程圖，如圖6所示。首先對使用的數據集做預處理，使用滑動窗對每類工況下的數據以784為采樣點作為一個樣本，最終按照3∶1的比例分為訓練集和測試集。搭建網絡模型設置參數并計算評價指標，若沒有達到迭代批次則返回模型繼續訓練，反之使用測試數據開始模式識別并分類。前向傳播加權求和，經過激活函數非線性化，計算損失，反向使用梯度下降法，從后往前逐層求取模型參數。

圖6 本文方法的訓練和測試流程圖

3 實驗仿真與結果分析

為了驗證本文方法具有較好的故障診斷能力和泛化能力，本文分別使用美國凱斯西儲大學(Case Western Reserve University，CWRU)電機軸承采集的數據集和東南大學變速箱數據集進行有效的實驗。實驗使用深度學習的框架為TensorFlow，在Ubuntu上的Pycharm軟件利用python語言編程，計算機的處理器是Intel(R) CoreTMi9-9900K CPU@3.60 GHz×16.內存為62.7 GiB。另外，本實驗選取10次測試結果取平均作為最后結果。

3.1 CWRU軸承數據集實驗

3.1.1 實驗數據集與參數設置

本實驗數據集來自美國凱斯西儲大學研究所，該數據集是軸承故障研究的主流數據集[22]，實驗裝置如圖7所示，實驗軸承型號是SKF6205，它是由電機驅動端和風扇端的加速度傳感器采集數據，實驗中每種故障在不同的工況下出現的故障位置在滾動體、內環、外環，其中外環上分別在3點鐘、6點鐘、12點鐘方位，損傷直徑為0.177 8 mm,0.355 6 mm,0.533 4 mm,0.711 2 mm,電機的轉速分別為1 797 r/min,1 772 r/min,1 750 r/min,1 730 r/min，振動采樣頻率為12 kHz，振動信號由16通道數據記錄儀采集得到。按照故障類型，將采集的數據分為16種標簽，以784為采樣點數劃為一個樣本數據，電機在0負荷、1負荷、2負荷、3負荷下得到不同的樣本數，將樣本數的75%作為訓練集，25%作為測試集。實驗數據集劃分如表1所示。

圖7 實驗裝置平臺

表1 實驗數據劃分

本實驗采用Adam優化算法更新網絡超參數，學習率初始化設為0.001，閾值過大會增加網絡的訓練時間，閾值過小無法保證準確率，本文實驗通過對比分析和參考文獻[23]最終將迭代批數閾值設為2 200，每次訓練衰減為0.9，每次批量樣本數為64，全連接層中為防止過擬合Dropout按50%的丟棄。為了讓網絡獲取更多得有效特征信息，訓練過程中不存在波動性，選取r=3的擴張率，這樣的設置有助于增強網絡的泛化能力。具體參數如表2所示，其中(3,3,64,2)表示卷積核的大小為3×3，通道數是64，使用2個這樣的卷積核，同理，其他參數也是如此。

表2 本文網絡的結構參數

3.1.2 實驗結果與性能分析

為了進一步說明本文方法對滾動軸承的診斷優越性，實驗選取LeNet-5、AlexNet、ResNet方法和引用改進AlexNet網絡[24]方法作為其對比實驗。本實驗在同樣的仿真平臺上搭建卷積層大小5×5、池化層大小2×2的LeNet-5和3個傳統殘差塊的ResNet網絡，測試了不同信噪比和不同工況下的數據，本文以A、B、C、D分別表示0負荷、1負荷、2負荷、3負荷，A-B,A-C,A-D表示以A為訓練樣本，B,C,D為測試樣本，其他組實驗與此同樣。如圖8所示，最高測試準確率99.05%，最低準確率也在92.29%，本文提出方法的準確率明顯高于其他方法，這是因為本文采用雙路并行互補的殘差Inception網絡和通道注意力機制提高了對樣本特征的提取，挖掘出深層的特征信息并加以利用，所以在變工況下仍然能自適應的克服問題。

圖8 不同方法的變負荷診斷結果

實際工業過程中故障發生都伴隨有噪聲影響，所以本文選擇了轉速為1 750 r/min、負荷為1.492 kW下軸承數據且驗證了在不同信噪比情況下的測試樣本的精確度。在實驗過程中加入高斯白噪聲，來驗證網絡的抗噪聲能力。結果如圖9所示，本文實驗在信噪比分別以2 dB和3 dB為單位變化，從測試精度明顯可以看出在低信噪比干擾下測試精度有很大的提升，這是因為本文殘差多尺度的Inception網絡能極大限度地提取噪聲中的特征信息，隨著高強度的噪聲影響準確率會有較小的下降，但整體來說還是具有很好的抗干擾性。

圖9 不同信噪比的測試準確度

負荷變化實驗是在0,0.746 kW,1.492 kW,2.238 kW 4種負荷下以其中的一個負荷為訓練樣本，其他3種負荷為測試樣本。如圖10所示，本文方法在變工況情況下，以1.492 kW的負荷向其他3種負荷轉化，故障診斷準確率仍然在95%以上，這主要是本文采用雙路并行互補的改進殘差網絡結構結合Inception網絡在特征提取時獲取了足夠的信息，此外還利用通道注意力機制，不僅加速了網絡的學習效率，而且具有很好的泛化性。滾動軸承往往在變工況下作業，同樣也驗證了在變工況下本文方法仍然具有一定的抗干擾能力和泛化能力。

圖10 變工況的診斷結果

為了驗證本文提出的方法具有較強的泛化能力和一定的抗干擾性，本文做了多組對比實驗，在高信噪比12 dB和低信噪比6 dB下采用不同的方法做了變工況實驗，對比實驗結果說明本文方法相比經典網絡LeNet-5和ResNet有較高的測試準確率。Zhao等設計的由Inception網絡和多個跳躍殘差網絡較經典網絡深度有一定加深，但面對復雜的變工況準確率有大幅度的降低。實驗結果如圖11所示，其他方法在6 dB干擾下診斷準確率都在70%～85%，明顯達不到診斷效果。圖11(a)是本文方法在6 dB變負荷實驗，明顯看出在6 dB干擾且變負荷時還有一定的穩定性，最高準確率平均能達到95.27%，最低平均準確率都在85%以上。圖11(b)是本文方法在12 dB變負荷實驗，在12 dB干擾下準確率明顯提升，最高準確率可以達到97.25%，最低準確率也能達到93.10%。主要是本文雙路并行互補網絡，克服了單支路的絕對化，加強對特征信息的深層挖掘，提高了網絡對特征信息的利用率。

(b)

(a)

時間復雜度決定了模型的訓練時間，過高會導致訓練耗時，無法快速收斂；空間復雜度決定了模型的參數數量。本文所提的殘差Inception結構在降低了時間復雜度的同時還減少了空間復雜度。本文方法平均訓練耗時90.49 s，相比LeNet-5耗時69.97 s和ResNet耗時82.66 s慢了數幾秒，但是診斷效率有明顯的提高。由于傳統網絡結構簡單，容易訓練，所以耗時較少。但針對滾動軸承數據龐大且是變工況和強噪聲干擾的情況下，本文方法在訓練時間相對少的同時準確率都有較高的提升。

同時為了更為直觀的反映本文方法具有較好的故障診斷特點，在每個池化層后做了t-SNE可視化分析，t-SNE(t-distributed stochastic neighbor embedding)可視化的參數設置如下：嵌入空間維度選2，困惑度設為30，學習率為1 500，嵌入的初始化為pca，前期放大系數為4，結果如圖12所示，圖12中數據離散點的變化說明隨著網絡的訓練，16種故障類型在逐漸被正確診斷，該結果是網絡在2hp訓練集上，0,0.746 kW,2.238 kW為測試集上t-SNE可視化輸出的詳細結果，圖中16種不同的顏色代表16種不同的故障類型。由圖16可知，本文方法能有效分離出絕大多數的樣本，并能把每類樣本都匯聚在一起，盡管個別類分離開沒能匯聚在一起，但對整體的分類沒有太多影響。由此可見，本文方法在故障診斷過程中，有較好的泛化能力和診斷效果。

(a) 池化層1

為了更進一步說明本文方法比ResNet方法的優越性，實驗做了t-SNE可視化圖，結果如圖13所示，可以直觀看見本文方法對故障類型準確診斷并無誤的將16種故障診斷分類，而ResNet方法不能很好的診斷。主要是因為本文方法提取了更深更多的特征信息，提升了對有用信息的利用率。

(a) 本文方法

3.2 變速箱數據集實驗

為了進一步驗證本文方法的優勢，本實驗選取了東南大學的變速箱數據集[25]，該數據集在實驗平臺上，轉速負載為20 Hz-0和30 Hz-2 V兩種工況，采集了8個通道的數據。本文選擇其中一個通道實驗，將數據集按照75%作為訓練集，25%作為測試集劃分，每種故障選擇600個樣本，故障類型分成5類，包括滾動體故障、內圈故障、外圈故障、內圈與外圈混合故障和正常。為了避免實驗的偶然性，取9次測試結果分別與經典卷積網絡LeNet-5和ResNet在同樣的仿真環境下做了對比實驗，具體參數設置如表3所示，表3中(3,3,1)表示使用3×3的卷積，步長為1；殘差塊中使用3個卷積層，這樣的設計能大大提升網絡的診斷效果。故障診斷結果如圖14所示。

表3 對比方法網絡的結構參數

圖14中，橫坐標為測試的次數，縱坐標為測試的準確率，從圖14中可以直觀地看出本文方法相比其他方法具有明顯的優勢，診斷準確率平均高達99%以上，因為本文方法采用雙路并行的殘差注意力網絡，在特征提取時引入了多尺度的卷積，挖掘出了深層特征信息。由于LeNet-5結構相對簡單，所提取的淺層特征信息不能充分反映軸承運行的狀況，導致診斷效果不太好，而ResNet恒等映射的結構較LeNet-5網絡有所改善，解決了網絡退化問題，診斷效果較LeNet-5有所提高，但ResNet實則是多個淺層網絡的融合，還不能從根本上解決深層特征信息的提取。

圖14 不同方法的診斷結果

為了更直觀地看出分類結果，根據測試結果做了混淆矩陣圖，結果如圖15所示，其中橫坐標代表預測標簽，縱坐標代表真實標簽。本文提出的方法對故障測試的整體準確率高達99.27%，誤分率只有0.7%，由此可見，本文方法在不同工況下仍然具有較強的泛化能力。為了進一步展現分類結果，做了t-SNE可視化圖，結果如圖16所示，可以直觀地看出本文方法對5種故障類型能準確診斷。

圖15 本文方法的測試結果混淆矩陣圖

圖16 本文方法的測試結果t-SNE可視化圖

4 結 論

本文提出了一種雙路并行多尺度的改進殘差網絡用來處理滾動軸承變工況的診斷問題。具體結論如下：

(1) 本文提出了一種殘差的多尺度Inception網絡，該網絡可以提取輸入數據的有效信息。殘差連接線不僅可以提升網絡學習效率還可以對卷積過程中丟失的重要信息作為補充。

(2) 本文提出了雙重通道注意力機制的殘差網絡并結合空洞殘差塊。在加深有效特征學習的同時還起到數據降維。選擇合適的擴張率來增大感受野，提高網絡的利用率。雙重的特征信息融合避免了局部泛化，相較經典網絡具有較高的診斷準確率。

(3) 本文從公開數據集上做了大量仿真測試，不論從變噪聲還是變負荷乃至變工況情況下診斷準確率平均都在95%以上，驗證了本文網絡有超強的抗噪聲能力和泛化能力。雖然本文可視化可以準確達到故障診斷的效果，但是在針對實時故障診斷方面還要做進一步研究。