深度學習在旋轉機械設備故障診斷中的應用研究綜述

吳春志，馮輔周，吳守軍，陳 湯，王 杰

（ 陸軍裝甲兵學院 車輛工程系，北京100072 ）

旋轉機械是指主要依靠旋轉動作完成特定功能的機械，典型的旋轉機械有變速箱、減速機、汽輪機、燃氣輪機、風機、發(fā)電機、發(fā)動機等，它們被廣泛應用于電力、石化、冶金、汽車制造、航空航天等部門。這些核心部件一旦發(fā)生故障，輕者會影響使用，嚴重的會造成停機甚至是人員傷亡。因此對旋轉機械進行在線監(jiān)測與故障診斷成為系統(tǒng)設計和維護中非常關鍵的一環(huán)。旋轉機械設備面臨的主要的故障有不平衡、軸承不對中、松動、齒輪部件的斷裂磨損等。而油液分析、溫度分析、聲發(fā)射檢測、振動分析等診斷和測試方法是故障特征提取及故障診斷的主要手段。相對于其他幾種監(jiān)測方法，基于振動信號的分析所需具備的條件更容易獲取，相關研究更加成熟。

旋轉機械的故障診斷主要為了實現(xiàn)三個任務，一是確定設備的運行狀態(tài)，二是判斷故障發(fā)生的原因，三是預測故障發(fā)展的趨勢。進一步講，故障診斷可以看作是對設備狀態(tài)的模式識別問題。近年來，針對故障診斷的人工智能模式識別方法已經(jīng)做了很多研究，例如K-NN，樸素貝葉斯，SVM，人工神經(jīng)網(wǎng)絡等等。傳統(tǒng)的基于振動信號的故障診斷方法通常需要先對采集到的信號進行故障特征提取，再通過模式識別方法進行分類診斷，這不僅需要很多預先研究的專業(yè)知識，而且模型的可移植性相對較差，往往一種模型只針對某一特定設備的故障。近年來人工智能(AI)發(fā)展迅速，受到學術界和工業(yè)界的高度關注，而深度學習，作為人工智能的一大類方法，在圖像識別、視頻分割、語音以及神經(jīng)語言程序學中得到了廣泛的應用，近年來也逐漸有研究人員將其應用到旋轉機械的故障診斷中來。

“深度學習”這個概念最早是由機器學習大師，多倫多大學教授Hinton 和他的學生Ruslan 于2006年發(fā)表在《Science》的一篇論文中定義的[1]。而其被人們所熟知是在2012年，Hinton 課題組用他們研究的由卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network，CNN)構建的AlexNet 網(wǎng)絡參加了ImageNet 圖像識別比賽，一舉奪得冠軍，且遠遠超過第二名(SVM 方法)。深度學習的成功并非偶然，而是近半個世紀研究的積淀所得，其核心的BP 算法最早由Werbos 于1974年提出，被用來訓練人工神經(jīng)網(wǎng)絡。Hinton 在1986年提出了用于多層感知器(Multi-Layer Perception，MLP)的BP 算法，并引入Sigmoid 激活函數(shù)，有效解決了非線性學習分類的問題。1998年，后來被稱為“深度學習三巨頭”的紐約大學教授Yann Le-Cun 提出并完善了LeNet5，這奠定了卷積神經(jīng)網(wǎng)絡的基礎結構，卷積(Convolution)、池化(pooling)和非線性。2014年Goodfellow 提出了無監(jiān)督學習的生成式對抗網(wǎng)絡被LeCun評價為“機器學習過去20年最重要的思想之一”。隨著計算能力的提升尤其是GPU加速計算的實現(xiàn)，為解決不同類型的問題，越來越豐富的網(wǎng)絡模型相繼被提出，模型深度也在逐漸加深。

本文主要從理論及應用兩個角度就目前應用在旋轉機械故障診斷中較廣的幾種深度學習模型進行綜述分析，包括自編碼器(AutoEncoder，AE)及其發(fā)展的網(wǎng)絡結構、深度置信網(wǎng)絡(Deep Belief Network，DBN)、卷積神經(jīng)網(wǎng)絡以及遞歸神經(jīng)網(wǎng)絡(Recurrent Neural Network，RNN)，生成式對抗網(wǎng)絡(Generative Adversarial Network，GAN)等。最后探討現(xiàn)有研究面臨的挑戰(zhàn)以及未來的發(fā)展趨勢。

1 自編碼器

自編碼器這個概念最早是來自Rumelhart，2006年Hinton 在《Science》提出一種深度自編碼器算法[2]，通過逐層學習深度的網(wǎng)絡然后對整個網(wǎng)絡進行參數(shù)調(diào)優(yōu)，解決了容易陷入局部最小值的問題。自編碼器是一種無監(jiān)督的學習算法，由編碼器和解碼器組成，其結構原理和工作流程如圖1所示。

圖1 自編碼器工作流程圖

數(shù)據(jù)經(jīng)過編碼器進行壓縮后再通過解碼器解壓恢復，通過不斷訓練從而減少輸入輸出之間的損失，最終實現(xiàn)特征的抽取和數(shù)據(jù)的降維。自編碼器的優(yōu)點在于結構簡單易于實施，容易跟蹤反向傳播最小化的損失函數(shù)，缺點在于訓練需要數(shù)據(jù)量較大，不能判斷哪些問題是相關的。針對不同的應用環(huán)境，研究人員對自編碼器進行了許多改良，諸如降噪自編碼器(Denoising AutoEncoder，DAE)，稀疏自編碼器等(Sparse AutoEncoder，SAE)，卷積自編碼器(Convolutional AutoEncoder，CAE)變分自編碼器(Variational AutoEncoder，VAE)等等。

1.1 降噪自編碼器

降噪自編碼器優(yōu)點在于能更好地對數(shù)據(jù)進行壓縮和特征提取，缺點在于模型輸入的是隨機噪聲，可控性差。侯文擎等[3]提出一種改進的堆疊降噪自編碼器(Stack DAE)診斷方法，利用粒子群算法對DAE網(wǎng)絡超參數(shù)進行自適應的選取來確定SDAE網(wǎng)絡結構，據(jù)此得到故障狀態(tài)的特征表示，輸入到Soft max分類器中進行故障分類識別，對變工況的軸承故障診斷取得了不錯的效果。Shao 等對DAE 做了較深入的研究，通過DAE和收縮自編碼增強特征提取能力，用局部保持投影融合特征來提高特征質量[4]。文獻[5]提出了一種集成深度自動編碼器(EDAEs)方法，采用不同的激活函數(shù)作為隱藏函數(shù)來設計具有不同特性的一系列自動編碼器(AEs)。EDAE 由各種自動編碼器構成，可用于對振動信號進行無監(jiān)督的特征學習；在文獻[6]中提出了深度跟蹤小波自適應編碼器(TDWAE)方法。首先采用高斯小波函數(shù)作為設計小波自動編碼器(WAE)的激活函數(shù)，然后利用多個WAE構建深度小波自動編碼器(DWAE)實現(xiàn)電力機車軸承故障診斷。

1.2 稀疏自編碼器

稀疏自編碼器是在自編碼器的基礎上對每層神經(jīng)元做了L1正則化(約束使隱藏層中的節(jié)點大部分都為0)，這使得當模型神經(jīng)元數(shù)量較大時仍可以得到較好的隱層特征。張紹輝等[7]預先對低層頻域信號提取包絡線，得到表征頻域變化態(tài)勢的信息成分，接著再與稀疏自編碼結合構建了故障診斷模型，降低了計算復雜度和存儲空間。侯榮濤等[8]通過堆疊SAE，以頻譜信號作為輸入提取低維特征，有效診斷了軸承故障。

1.3 卷積自編碼器

卷積自編碼器在傳統(tǒng)編碼器基礎上結合了卷積神經(jīng)網(wǎng)絡的卷積和池化操作對數(shù)據(jù)進行特征提取，應用反卷積操作對特征進行解碼，通過堆疊形成一個深度網(wǎng)絡結構。張西寧等[9]構建了卷積自編碼器，通過卷積和反卷積對軸承信號進行編碼和解碼，解決了卷積神經(jīng)網(wǎng)絡權值隨機初始化造成局部最優(yōu)的問題，同時通過反卷積重構探討了卷積神經(jīng)網(wǎng)絡的結構含義。

1.4 變分自編碼器

變分自動編碼器是一種無監(jiān)督學習網(wǎng)絡，可以顯示設計一個生成模型并根據(jù)輸入數(shù)據(jù)的分布來生成數(shù)據(jù)。與自編碼器基礎結構不同之處在于它有兩個編碼器，通過神經(jīng)網(wǎng)絡來計算樣本的均值和方差，加入噪聲增強魯棒性并使之接近服從正態(tài)分布，并從分布中解碼生成數(shù)據(jù)。Yoon等[10]將其用于剩余壽命估計，并且認為它是處理未來可靠性預測中標簽不足問題的有效手段。張祥等[11]將VAE 和DBN 結合起來，將VAE學習到的隱變量特征作為DBN的輸入實現(xiàn)故障診斷。

2 深度置信網(wǎng)絡

深度置信網(wǎng)絡由Hinton在2006年提出，是一種概率生成模型，如圖3所示。DBN 在監(jiān)督學習和非監(jiān)督學習中都有應用。用作非監(jiān)督學習可對信號進行降維，提取特征，類似于自編碼器；用作監(jiān)督學習可以作為分類器。DBN 由若干個受限玻爾茲曼機(Restricted Boltzmann Machine，RBM)和Softmax 回歸層組成，如圖2所示。

圖2 RBM結構示意圖(V代表顯層，h代表隱層)

圖3 DBN結構示意圖(W代表權重)

DBN的基礎部件RBM包含2個層，隱藏層和可視層。特點是層內(nèi)無連接，層間全連接(如圖2所示)。受限玻爾茲曼機主要有2 種應用方式，一種是編碼數(shù)據(jù)，采用其他監(jiān)督學習的方法進行分類或者回歸，第二種是將計算得到的權重和偏置從而初始化神經(jīng)網(wǎng)絡。李敬微等[12]將計算得的到滾動軸承信號的包絡譜構造成特征向量，然后利用高斯RBM進行故障診斷。Zhao 等[13]構建了一個由多個RBM 組成的DAE模型，通過使用DAE網(wǎng)絡輸入及其輸出重構值計算重構誤差，用于反映組件健康狀況的狀況檢測指標。

深度置信網(wǎng)絡在旋轉機械故障診斷中的優(yōu)點在于可以適用于一維振動信號數(shù)據(jù)，而且在樣本較少的情況下也能實現(xiàn)不錯的性能。Ma 等[14]提出了一種基于DBN 的軸承加速壽命試驗下的退化評估方法。Shao等在文獻[15]中提出了一種用于感應電機故障診斷的DBN，其中直接使用振動信號作為輸入，并采用t-SNE 算法對學習表示進行可視化。在文獻[16]中，Shao 提出了一種壓縮感知改進卷積深度置信網(wǎng)絡(CDBN)的新方法，并采用指數(shù)移動平均技術來提高構建的深層模型的泛化性能。此外，Zhang 等[17]提出了一種多目標進化優(yōu)化的DBN 集合，用于多元輸入的故障診斷。Tang 等[18]提出了一種結合牛頓動量優(yōu)化梯度和自適應學習率的深度置信網(wǎng)絡，用來對旋轉機械故障進行診斷分類。李川等[19]用3 種深度神經(jīng)網(wǎng)絡模型(DBM，DBN 和DAE)來識別滾動軸承的故障狀態(tài)，并討論了包括時域，頻域和時頻域在內(nèi)的4種預處理方案，結果表明這3種深度學習模型對軸承故障診斷結果都取得了較高的精度。

深度玻爾茲曼機(Deep Boltzmann Machine，DBM)和深度置信網(wǎng)絡一樣擴大了RBM 的使用范圍，并且基本上是由眾多的RBMs 層組成的概率模型，其網(wǎng)絡結構如圖4所示。

圖4 DBM結構示意圖

DBM優(yōu)點在于它的參數(shù)可以同時優(yōu)化，而且能從大量無標簽數(shù)據(jù)中學習出高階特征，然后再用少量帶標簽樣本進行微調(diào)。與DBN 不一樣，DBM 既有從下而上的傳播，又有從上至下的反饋，權重可以全局優(yōu)化。Li等[20]提出了一種多模式深度支持向量分類方法，作者從振動信號中提取時域、頻率和時頻特征并輸入到高斯-伯努利DBM 中，使用支持向量分類來融合3個輸出以進行最終預測。

3 卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡是受哺乳動物視覺皮層細胞感受機理啟發(fā)而建立的一種前饋神經(jīng)網(wǎng)絡，現(xiàn)在已經(jīng)是圖片和視頻識別領域應用最為廣泛的方法。

一個傳統(tǒng)的CNN模型如圖5所示。由一個輸入層，兩組交替出現(xiàn)的卷積層和池化層，以及全連接層組成。卷積層中每一個特征圖都對應一個卷積核，這些卷積核通過一組權重來卷積前一層的輸入并組成一組特征輸出，成為下一層的輸入。與傳統(tǒng)濾波器需要人工設定參數(shù)不同，卷積神經(jīng)網(wǎng)絡的權值和偏置通過BP 算法進行訓練。池化層主要是為了實現(xiàn)兩個目的，一是大幅減少輸入卷積層的空間維度，使權重參數(shù)減少75%，從而降低計算成本。二是控制過擬合，使測試集準確度更接近訓練集準確度。主流的池化方式有最大值池化、平均池化、L2-norm池化。經(jīng)過兩組卷積層和池化層后，會接一個全連接層。與傳統(tǒng)的神經(jīng)網(wǎng)絡類似，全連接層可以應用到不同的分類模型。全連接層后接一個隱藏層，最后由Softmax回歸層完成分類。

由于CNN 設計之初就是為了解決圖像的分類識別問題，如今在圖像領域的應用也最為廣泛。而開始將CNN引入旋轉機械故障診斷領域中時，許多研究人員仍然采用原始的CNN結構，即構造二維的訓練集訓練網(wǎng)絡，提取二維數(shù)據(jù)的特征并完成診斷。Lu[21]等對采集到的振動信號進行傅里葉變換，將頻譜信號作為CNN網(wǎng)絡的輸入，實現(xiàn)旋轉機械狀態(tài)監(jiān)測。He[22]使用小波包能量圖像用作CNN的輸入，來進行故障診斷。曾雪瓊等[23]和王麗華等[24]使用短時傅里葉變換將故障信號轉換成時頻譜圖作為CNN的輸入，實現(xiàn)異步電機和變速箱故障診斷。Chen等[25]通過繪制振動信號的特征統(tǒng)計圖作為CNN 的輸入，實現(xiàn)故障的分類診斷。韓濤等[26]將信號做多小波變換和時頻變換，以多小波系數(shù)圖和時頻圖作為CNN的輸入來診斷故障。

后來研究人員通過改造CNN，將卷積、池化的思想應用在一維信號上，得到適用于一維信號的卷積神經(jīng)網(wǎng)絡。相比二維CNN，一維CNN可以將原始振動信號或者頻譜信號直接作為輸入，實現(xiàn)由原始輸入端到最終分類診斷輸出端的“端對端”故障診斷。Jing等[27]直接以振動信號的頻率數(shù)據(jù)作為CNN的輸入，并和從原始數(shù)據(jù)，頻譜和組合時頻數(shù)據(jù)的特征3 種類型數(shù)據(jù)作對比，結果表明CNN 能夠從頻率數(shù)據(jù)中自適應學習特征，并且比其他比較方法具有更高的診斷精度。張偉[28]為檢測軸承故障，構造了第一層大卷積核以及多層小卷積核的WDCNN 模型，在CWRU 數(shù)據(jù)庫上的識別率達到了100 %。Chen等[29]提出了一種基于改進算法的分層學習速率自適應深度卷積神經(jīng)網(wǎng)絡，用于診斷軸承故障并確定其嚴重程度。

圖5 卷積神經(jīng)網(wǎng)絡結構示意圖

除了在故障模式識別中取得的不錯成果，卷積神經(jīng)網(wǎng)絡也可以完成機械設備的故障預測。Babu等[30]以傳感器的時間序列數(shù)據(jù)作為輸入，增加了一個回歸層來進行剩余壽命預測，通過實驗證明了基于CNN的回歸模型比多層感知器、支持向量回歸和相關向量回歸方法更好。Youngji 等[31]將信號的小波功率譜作為輸入，以CNN構建滾動軸承的健康指標。任等[32]通過提取主頻譜能量組成向量作為CNN的輸入，來進行軸承退化趨勢預測。Guo 等[33]提出了一種基于卷積神經(jīng)網(wǎng)絡的考慮趨勢毛刺的健康指標構造方法。所提出的方法首先通過卷積和池化操作來學習特征，然后通過非線性映射操作將這些學習的特征構造成健康指標，使用軸承數(shù)據(jù)集驗證所提出方法的有效性。

4 遞歸神經(jīng)網(wǎng)絡

遞歸神經(jīng)網(wǎng)絡最早是由Schmidhuber提出，并經(jīng)過了許多研究人員的改良。RNN 是一類處理序列數(shù)據(jù)的深度學習網(wǎng)絡，在自然語言處理中應用較多。與其他神經(jīng)網(wǎng)絡不同，RNN網(wǎng)絡在層間的神經(jīng)元也建立連接，如圖6所示。

圖6 遞歸網(wǎng)絡結構示意圖

RNN 通過使用來自過去網(wǎng)絡結果的信息來產(chǎn)生輸出，從而克服了簡單神經(jīng)網(wǎng)絡的局限性，在一個RNN 中，每一步的隱藏狀態(tài)取決于之前的隱藏狀態(tài)。RNN有許多變體結構，其中長短期記憶(LSTM)和門控循環(huán)單元(GRU)的網(wǎng)絡應用最多。這些變體網(wǎng)絡可以幫助解決RNN 中零點梯度的消失問題。文獻[34]認為由于能夠在時間序列數(shù)據(jù)中存儲長期相關性和非線性動力學，因此這些基于RNN的變體網(wǎng)絡在時間序列傳感器數(shù)據(jù)處理和健康監(jiān)測中比傳統(tǒng)的RNN更好。在旋轉機械故障診斷領域，RNN通常被用來做故障預測。

與其他體系結構一樣，RNN也可以擴展多個隱藏層，可以將多個觀測值之間的隱藏狀態(tài)連接起來，并沿著序列傳播信息。Yuan等[35]比較了3種不同的RNN變體(簡單的RNN，LSTM，GRU)在航空發(fā)動機的故障診斷和預測中的應用。許寅等[36]使用LSTM對航天器在軌狀態(tài)趨勢進行了預測，并與RNN進行了對比，指出LSTM可以實現(xiàn)高精度的中長期預測。楊嘉明等[37]將LSTM 和BP 神經(jīng)網(wǎng)絡結合起來完成了列控車載設備的故障診斷。牛哲文等[38]在將傳統(tǒng)門控循環(huán)單元(GRU)神經(jīng)網(wǎng)絡和卷積神經(jīng)網(wǎng)絡(CNN)結合起來，同時引入dropout 降低了過擬合，結果表明在短期風功率預測上要好于LSTM。

5 生成式對抗網(wǎng)絡

在GAN誕生之前，非監(jiān)督學習的基本思想是根據(jù)數(shù)據(jù)集估計樣本分布p(x)，然后對p(x)進行采樣，生成分布類似的新樣本。這種方法難以解決高維樣本的生成問題。GAN 作為非監(jiān)督深度學習的代表[39]，創(chuàng)造性地提出了生成器和判別器。生成器學習樣本的分布，并從噪聲數(shù)據(jù)中生成新樣本，而判別器判別是否是真實樣本，二者進行博弈從而優(yōu)化模型(如圖7所示)，很好解決了非監(jiān)督學習的著名問題：“給定一個樣本，訓練一個系統(tǒng)，生成類似的新樣本”。在GAN 提出后不久，研究人員相繼提出了數(shù)十種以其為原型的各種優(yōu)化生成模型，如DCGAN、InfoGAN、cGAN、WGAN等等。

圖7 生成式對抗網(wǎng)絡示意圖

在設計機械故障診斷分類模型時，各個故障狀態(tài)的樣本數(shù)量通常保持一致，而在真正的應用環(huán)境中，類別分布并不均衡，故障數(shù)據(jù)往往相對較少。當傳統(tǒng)分類方法直接應用到不均衡樣本時，為了提高分類精度，分類器會減少對少數(shù)類的關注度，分類邊界會偏向多數(shù)類樣本。最終導致少數(shù)類樣本很難被識別，嚴重影響分類器的性能。GAN則很好解決了這個問題。Wang等[40]通過GAN生成與原始樣本具有相似分布的新樣本以擴展故障樣本集，輔助SDAE(堆棧自編碼器)來診斷行星齒輪箱故障，交替訓練SDAE-GAN的生成器和鑒別器，可以明顯提高樣本生成質量和故障分類能力。Georgios 等[41]將條件反饋GAN(cGAN)方法應用到少數(shù)類樣本生成中，在不均衡樣本分類中取得了不錯的效果。

6 研究展望

雖然深度學習進入大眾視線的時間不長，但越來越多的研究人員參與到深度學習的研究中，并將其應用到除圖像識別外的各種模式識別領域，給眾多行業(yè)帶來了新思路。本文簡單梳理了深度學習的發(fā)展脈絡，針對旋轉機械設備故障診斷領域應用最廣泛的幾種深度學習模型，從原理到應用做了分類綜述。通過對相關文獻的梳理總結，筆者認為在本領域應用深度學習方法，仍有如下幾個方面問題需要研究：

(1)深度學習最大的特點就是能在信號中迭代學習更新權重，自動提取特征，這也是和傳統(tǒng)人工智能方法相比優(yōu)勢所在。那么，模型每一層到底從原始信號中學習到了什么？在圖像領域，有許多文獻對此做了研究說明，而在故障診斷領域相關研究還不夠成熟。

(2)深度學習模型多種多樣，對解決故障診斷領域中的某個問題，似乎沒有一種明確的選擇方式。現(xiàn)有研究大都根據(jù)已有深度學習模型進行修改，能否應用深度學習的思想，根據(jù)振動信號的特點設計一種更“合身”的深度學習模型可能是未來研究的一個方向。

(3)傳統(tǒng)方法解決故障診斷問題時往往是多個方法的組合，先提特征再進行模式識別；深度學習將這些過程集中到一起，很好地完成了“端到端”的故障診斷，這是否是最完美的解決方案？特征提取方法是否應被淘汰？二者如何各自發(fā)揮所長，共同更好地解決問題也值得繼續(xù)研究。