一種用于跨域軸承故障診斷的深度自適應網絡

夏 懿， 徐文學

(1. 安徽大學 電氣工程與自動化學院, 合肥 230601；2. 安徽大學 安徽省人機共融系統與智能裝備工程試驗室， 合肥 230601)

滾動軸承作為很多旋轉機構的核心零件，對其進行故障診斷能夠有效保證設備正常平穩運行及防止重大事故發生[1]。近年來，基于機器學習、模式識別的智能故障診斷由于其較高的準確率以及良好的魯棒性日益受到業界和學界的廣泛重視。早期的智能故障診斷其一般步驟如下：針對不同軸承故障的傳感器數據，首先提取其相應的分類特征，如時、頻域特征以及統計學特征；然后利用這些特征通過有監督或者無監督的方式來訓練一個分類模型，如支持向量機(support vector machines,SVM)[2]、人工神經網絡[3]等；最后利用這些分類模型進行故障類型的預測從而實現故障診斷。傳統的故障診斷方法其準確率很大程度上取決于特征提取的有效性，這就需要大量的專家知識和反復的特征選擇，因此過程復雜[4]。近年來，隨著深度學習技術的蓬勃發展，通過端到端的網絡設計并利用大數據來學習數據的內在特征從而實現所謂的自動特征提取，這一思路已經在很多領域取得了巨大成功。在機械系統故障診斷領域，卷積神經網絡(convolutional neural networks, CNN)[5]、自編碼器[6]等深度神經網絡不僅可以實現強分類能力特征的提取，并且具有較強的泛化能力，特別適合大數據背景下的故障診斷。

基于深度網絡模型的機械故障診斷其訓練需要大量的標簽數據，但在實際工業應用中，針對每一個新工作環境下的機器，難以采集足夠多的典型故障樣本。再者，將一個事先訓練的深度模型直接應用到變工況條件下的故障診斷，其隱含假設是有標記的訓練數據(源域)和無標記的測試數據(目標域)來自相同的分布。然而由于工作條件的變化以及機器的差異，目標域和源域數據分布通常會出現不匹配現象，導致模型在新的工作條件下診斷性能顯著下降[7]。針對這一問題，域自適應技術利用大量有標簽的源域數據和無標記或者少量標記的目標域數據，力圖實現模型對不同域數據分布的跨域自適應，從而提高目標域未標記數據的分類準確率，進而促進故障診斷模型的實際應用和部署[8]。Tzeng等[9]采用最大均值差異(maximum mean discrepancy，MMD )距離來度量特征向量在源域和目標域之間的距離，并通過最小化MMD距離來縮小數據特征的邊緣分布在不同域之間的偏差。作為上述工作的改進，Zhu等[10]提出一種多層多核的最大均值差異分析框架并成功應用于變工況條件下的軸承故障診斷。Han等[11]將基于對抗學習的域分類器作為正則化方法引入到卷積神經網絡中，提出一種新的深度對抗卷積神經網絡，從而學習邊緣分布跨域差異化最小的特征向量，并應用于軸承故障的跨域診斷。Chen等[12]提出利用Wasserstein距離來度量條件分布在不同域之間的差異，相應設計了一種條件自適應網絡，并在4個數據集上驗證了Wasserstein距離用于條件分布匹配的優越性。

實際情況中，不同域的數據不僅在邊緣分布上有顯著差異，在條件分布上也存在顯著差異。對齊數據在不同域的邊緣分布，可以學習到域不變的特征向量，但是由于沒有考慮數據在不同域之間的條件分布差異，因此難以獲得跨域的最優分類超平面。另一方面，如果要獲取數據的條件分布在不同域之間的最佳匹配，則需要利用邊緣分布的對齊來獲取一個跨域的不變特征空間，進而在該空間拉近不同類別之間的條件分布。本文將多核MMD度量和Wasserstein度量結合起來，分別用于跨域的邊緣分布對齊和條件分布對齊，并應用到不同工況條件下的軸承故障診斷中。兩種分布的聯合對齊能進一步提升樣本特征與樣本類別之間的關聯性，得到分類性能更佳的源域到目標域的遷移模型，試驗通過軸承的兩種跨域故障診斷驗證了該方法的有效性。

1 基本理論

1.1 域自適應

為了構建能夠連接差異化使用場景的模型，域自適應技術[13]得到了廣泛的研究和應用。域自適應技術本身是遷移學習的一個分支，它試圖通過挖掘域不變特征來減少數據分布在不同域之間的差異。下面給出域、任務以及域自適應學習的定義：

域的定義：設樣本集X=[x1,x2,…,xn]∈χ，χ為一個特征空間，數據的邊緣分布為P(X)，χ和P(X)構成一個域D。若有χt≠χs或者P(Xt)≠P(Xs)，則Dt和Ds為兩個不同的域。

任務的定義：學習任務T由標簽空間Y以及標簽預測函數F(X)構成。這里F(X)可以通過數據X學習得到。如果Y或函數F(X)不同，那么兩個任務Tt和Ts就被認為是不同的。

域自適應學習：給定一個源域Ds以及相應的學習任務Ts，一個目標域Dt及其相應的學習任務Tt，域自適應學習利用源域Ds和學習任務Ts所積累的先驗知識來建立目標域的學習任務Tt。這里一般情況下Ds≠Dt,Ts≠Tt。

傳統的基于機器學習的故障診斷，為了簡化問題，通常假設Ds=Dt,Ts=Tt，這顯然會降低模型在不同工作條件下的診斷準確率。因此，近年來基于邊緣分布和條件分布匹配的跨域自適應模型被提出，并且取得了一定的成功。

1.2 聯合分布自適應

假設測試數據和訓練數據來自不同但相近的域，分別是未標記的目標域Dt：{Xt}和有標記的源域Ds：{Xs,Ys}。下面分布給出邊緣分布和條件分布自適應的定義，然后再引出本文所提的聯合分布自適應。

1.2.1 邊緣分布自適應

設目標域和源域的邊緣分布分別為P(Xt)和P(Xs)，且一般有P(Xt)≠P(Xs)，域自適應深度模型通過學習得到嵌入特征F(Xt)和F(Xs)，使得P(F(Xt))≈P(F(Xs))，從而建立從源域到目標域的知識轉移。如圖1的①、②，在目標域中直接使用源域訓練好的判別超平面會導致大量的誤分類，邊緣分布自適應通過對齊兩個分布的中心點來提高模型的跨域分類性能，從而減少了分類錯誤。

1.2.2 條件分布自適應

在實際應用中，不同數據域下的分類任務可能會有不同的判別超平面，僅僅匹配數據的邊緣分布是不夠的，還要考慮它們基于類別的結構信息，讓源域和目標域屬于同一類別的數據分布盡可能的對齊。為實現這一目標，文獻[14-15]提出利用標簽信息來匹配不同域的條件分布P(Y|X)。不失一般性，可以假設源域和目標域的條件分布是相同的，也即存在P(Yt|Xt)=P(Ys|Xs)。根據貝葉斯原理

(1)

為使這一假設成立，在匹配好邊緣分布P(X)的情況下，還需要匹配P(X|Y)和P(Y)。進一步簡化問題，假設P(Yt)=P(Ys)，也即在不同的工作環境下，各類故障發生的概率是不變的，因此尋找跨域不變的條件分布使得P(Xt|Yt)≈P(Xs|Ys)就可以實現式(1)所表達的類別條件分布的對齊。從圖1的②、③可知，條件分布P(Y|X)在源域和目標域的對齊，使得目標域的類別分布盡可能在結構上匹配源域的類別分布，進一步減少了分類錯誤，提高了域自適應的效果。

圖1 不同分布自適應效果圖

1.2.3 聯合分布自適應

本文力圖實現邊緣分布和類別條件分布在源域和目標域的同時匹配，這一自適應模型為聯合分布自適應。基于聯合分布自適應的智能診斷模型同時最小化目標域與源域的邊緣分布和條件分布min(P(F(Xt)),P(F(Xs)))和min(P(F(Xt)|Yt),P(F(Xs)|Ys))，從而可以進一步利用有標記數據的先驗知識，提高跨域條件下的故障診斷準確率。

1.3 卷積神經網絡

卷積神經網絡是深度學習常用網絡，它具有強大的特征學習能力，可以有效避免局部信息的丟失，在圖像分類領域表現優異。其基礎結構在Lecun等[16]提出的LeNet-5之后基本就被確定了下來。卷積神經網絡由輸入層、卷積層、池化層、全連接層和輸出層構成，如圖2所示。

圖2 卷積神經網絡基本結構

由于本文的輸入信號是一維的，因此卷積被設計成一維運算，如圖3所示。

圖3 一維卷積神經網絡基本結構

(2)

式中：*為一維卷積操作；n為卷積核的數量；bc為相應的偏移值；f(·)為一種激活函數。

池化操作是接著卷積后的下一步操作，對卷積后的特征進行降維，讓學習到的卷積特征具有移不變性。本文使用最大池化函數，返回某一子區域內的最大值，用k表示池化長度，則第j個點的池化輸出

pj=max{cj×k∶(j+1)×k}

(3)

最后采用全連接網絡將卷積得到的高維特征映射成低維特征f

f=δ(wTs+b)

(4)

式中：w為連接兩個全連接層的權值矩陣；b為對應的偏移值；s為輸入數據；δ(·)同樣表示一種激活函數。

1.4 最大均值差異

最大均值差異MMD定義為再生核希爾伯特空間(reproducing kernel Hilbert space，RKHS)中數據分布的核嵌入距離的平方。近年來，MMD被廣泛應用到域自適應領域中，通過最小化源域和目標域之間的MMD距離來進行特征的跨域自適應。MMD計算公式如下

(5)

式中：H為再生核希爾伯特空間RKHS，φ:Xs,Xt→H；ns和nt分別為源域和目標域的樣本數。

為了計算特征分布在不同域之間的距離，經驗上一般采用核函數法。于是，MMD的實際計算為

(6)

式中，k(*,*)為高斯核函數，其表達式為

(7)

式中，δ為核函數的帶寬，可以取多個不同的值來計算MMD并疊加其計算結果，形成所謂的多核MMD，本文利用這一函數來度量邊緣分布的跨域差異。

1.5 Wasserstein度量

Wasserstein度量是指在給定度量空間(M,ρ)上不同概率分布之間的距離，其中的ρ(x,y)是集合M中兩個樣本對x和y的距離函數。兩個Borel概率之間的第p階Wasserstein距離定義為

(8)

式中：P和Q為M上具有有限p階矩的兩個概率度量；Γ(P,Q)為M×M上所有測度的集合。

根據Kantorovich-Rubinstein對偶原理[17]，當M為可分離變量，1階Wasserstein距離可等價于

(9)

2 聯合自適應深度網絡

本文所提聯合自適應網絡(joint adaptation network, JAN)結構，如圖4所示，主要有3個模塊：特征提取器fs，Wasserstein度量網絡fw和分類器fc，其中fw和fc均為全連接網絡。圖4中：Conv1、Conv2為卷積層；Pool1、Pool2為池化層；F1、F2、Fc1、Fc2、Fw1和Fw2為全連接層；hs和ht分別為特征提取器提取源域和目標域隱層特征；Lc為分類損失函數；Ld為邊緣分布匹配損失函數；Lwcd為條件分布匹配損失函數，網絡通過優化這3種損失函數既可以針對有標簽的源域數據保持較高的分類精度，同時通過聯合匹配源域和目標域數據的邊緣分布和條件分布，將基于源域有標簽數據的診斷模型有效遷移到數據無標簽的目標域空間。

圖4 聯合自適應網絡結構

(10)

式中，K為不同高斯核的數量。

fw將源域和目標域的特征映射到一個實數，其相應的參數矩陣可以通過網絡的學習得到。于是，Wasserstein距離W1(Xs,Xt)的計算如下

EPht[fw(fs(xt))]

(11)

由式(11)，給定數據標簽條件下的特征條件分布在源域和目標域之間的Wasserstein距離計算如下

Wcd(Xs,Xt)=EPxs[fw(fs(xs))|ys]-

(12)

由于目標域標簽是未知的，本文采用一種相關標簽遷移算法來獲取目標域的偽標簽。在源域和目標域之間的類別分布一致的情況下，針對一個訓練數據批中有標簽的源樣本和無標簽的目標樣本，并不是直接利用分類網絡fc所預測的后驗類別概率來給這些無標簽的目標樣本進行標簽標記。本文所采用的思想是：針對某個考慮中的無標簽數據以及所有有標簽數據，分類網絡fc均輸出一個類別概率，將距離無標簽數據類別概率分布最近的某個有標簽數據的類別作為該無標簽數據的類別。這一過程隨著網絡的優化迭代，無標簽數據類別預測的準確率也逐漸提高。更加具體一點，設通過fc網絡預測源域和目標域的標簽后驗分布分別為ps，j=p(ys=c|xs)=fc(fs(xs))以及pt,i=p(yt=c|xt)=fc(fs(xt))，其中j∈ns，i∈nt。則概率分布ps，j和pt,j之間的距離或者近似度可通過kL(Kullback-Leibler)距離計算如下

(13)

得到目標域數據的偽標簽后，特征條件分布在源域和目標域之間的Wasserstein距離計算為

Lwcd(Xs,Xt)=Wcd(Xs,Xt)=

(14)

在域自適應的過程中，分類器網絡fc可以保證分類的準確性，同時其誤差的反向傳播有助于1維卷積網絡學習域不變特征。fc的輸出采用典型的Softmax函數，分類損失函數采用監督學習中廣泛使用的交叉熵函數，具體計算如下

(15)

綜合以上，最終的優化目標L如式(16)，并采用自適應動量項算法 (algorithm with an adaptive momentum term，Adam)[21]來進行目標函數L(θ)優化，同時通過誤差逐層傳遞反向更新模型參數。

L(θ)=Lc+λ1Ld+λ2Lwcd

(16)

式中，λ1和λ2為一對權衡參數，代表兩種不同分布的域自適應性在目標函數中的重要性。

3 試驗及對比分析

3.1 數據集介紹

在軸承故障診斷中，凱斯西儲大學軸承數據集[22]是目前學界廣泛使用的標準試驗數據庫。該數據集一共有4種軸承狀態的數據，即健康狀態、內圈故障、外圈故障和滾子故障，并分別以12 kHz頻率和48 kHz頻率采樣。同時，每種故障類型的數據，還根據故障嚴重程度的不同(0.177 8 mm、0.355 6 mm和0.533 4 mm故障直徑)分為3類。每種類型的故障軸承都配有測試電機，負載分別為0、746 W、1 492 W、2 238 W，相應的電機轉速分別為：1 797 r/min，1 772 r/min，1 750r/min，1 730 r/min。根據測試電機的負載不同，數據又分為4個小類。數據采集的傳感器分別位于電機殼體的驅動端和風扇端，它們的位置如圖5所示。

圖5 試驗設備

用于本文試驗的不同負載、不同故障類型、不同故障尺寸的數據分布如表1所示。根據不同的故障診斷任務場景，分別設計了如下兩個轉移場景。

表1 試驗所使用數據的分布情況

負載下的轉移根據負載的不同，分別用A、B、C、D來標記0、746 W、1 492 W、2 238 W下的數據，于是它們之間的兩兩轉移一共構成12個轉移任務，具體的轉移場景如表2所示。例如，轉移任務A→B表示代表源域的0數據向代表目標域的746 W數據的轉移，其他的均類似。每個轉移任務中，源域和目標域數據均有4種故障類型，每種類型共收集300個樣本(每種類型針對3種不同故障尺寸大小分別采集100個樣本)，每個樣本包含1 200個時域數據點。

傳感器位置下的轉移這里本文采用文獻[23]的方案，將負載0和負載2 238 W下的數據混合在一起進行故障診斷，這樣每種故障類型在源域和目標域分別有2 400個樣本。兩個轉移任務的設置如表2所示，其中E→F代表源域的驅動端數據向代表目標域的風扇端數據轉移，反之用F→E表示。另外這里設置10個不同的隨機種子將目標域數據隨機劃分10次進行測試并計算報告其結果的平均值和標準差。

表2 傳輸場景和任務的總結

作為預處理，通過對原始振動信號進行傅里葉變換(fast Fourier transform，FFT)，從而得到其相應的頻率譜信號，并以此作為網絡模型的輸入信號。訓練數據由所有有標簽的源域數據和隨機抽取一半的無標簽目標域數據所構成，另一半目標域數據用于測試。

3.2 試驗參數設置

試驗中，聯合自適應網絡的參數設置，如表3所示。此外，本文工作中批處理的個數為200，學習率設置為0.000 2，采用5種不同的高斯核δ=[0.01,0.1,1.0,10.0,100.0]，權重參數λ1和λ2分別設置為1.0和0.5。

表3 網絡層的拓撲結構

3.3 試驗分析

為了評估聯合自適應網絡在軸承故障診斷問題上的有效性，試驗中也選用了其他的深度學習方法以進行比較。

(1) 卷積神經網絡不使用域自適應轉移技術，網絡結構與本文卷積網絡一樣，只用源域數據訓練，目標域數據測試。

(2) 域對抗神經網絡(domain adversarial training of neural networks，DANN)采用域鑒別器對模型進行對抗訓練，從而學習跨源域和目標域的域不變特征。

(3) 深度適應網絡(deep adaptation network，DAN)[24]使用多核MMD最小化源域和目標域之間的特征分布。

(4) 深度多層自適應網路(deep transfer learning based convolutional neural network，DTLCNN)使用多核MMD分別對特征層和分類層進行多層域自適應。

不同負載下的軸承故障診斷結果如表4所示，不具有域自適應的CNN平均診斷精度為93.30%。深度域自適應網絡DANN和DAN在CNN的基礎上嵌入了域自適應技術，它們的平均診斷精度分別為97.68%和98.44%，相對于CNN都有了很大的提升，說明深度域自適應對跨域故障診斷有很好的促進作用。DTLCNN平均精度為99.00%，相對DAN略有提高，說明多層特征自適應效果要好于單層特征域自適應。本文方法JAN是在DAN的基礎上嵌入條件分布自適應，在各種轉移任務中精度都達了100%，優于其他的深度特征自適應方法，體現了聯合自適應方法的有效性。為了更好的展示聯合自適應網絡JAN與無域自適應網絡以及其他特征自適應網絡之間的對比，在圖6中用柱狀圖顯示了CNN、DAN、JAN在12項轉移任務中的診斷精度。可以看出在A→D、C→A和D→A幾個域差別較大的轉移任務中，JAN有著比較明顯的優勢。

圖6 負載下12項轉移任務中的3種方法比較

表4 不同負載遷移的診斷結果

為了進一步驗證本文網絡的有效性，不同傳感器位置所采集的數據也進行了知識遷移學習，其故障診斷的結果如表5所示。相對于不同負載下的知識遷移，不同位置傳感器數據所體現的域之間的差別較大，為了進一步驗證本文算法在這一任務上的有效性，本文又加入了傳統的SVM分類方法以及傳統的遷移分量分析法(transfer component analysis，TCA)[25]來進行對比試驗。TCA是一種常用的遷移學習方法，使用MMD正則化子空間學習，提取一些基于專家知識的手動特征，然后使用SVM分類。

表5 不同傳感器位置的診斷結果

從表5可以看出，在不同傳感器位置下的知識遷移學習任務中，JAN相對其他方法有著最高的精度和最小的標準差，進一步說明本文方法可以學習到更穩定，更一致的特征。傳統方法SVM直接分類，效果較差，準確率只有25%左右，傳統的遷移學習方法TCA，由于使用MMD提取域相關的分類特征，相對于SVM，其分類精度有了顯著的提升。無域自適應的深度學習方法CNN達到了70%以上的診斷精度，這表明深度學習相對于傳統方法可以更好的學習各類故障的有效分類特征。具有深度特征自適應方法的DANN、DAN、DTLCNN，它們的分類精度在無域自適應CNN的基礎上有了進一步的提高，平均診斷精度分別為87.73%、89.35%、90.05%，均比CNN提高了超過10個百分點以上，說明深度特征自適應模型可以通過深度特征匹配來最大程度的消除源域和目標域之間的差異。本文所提的聯合自適應方法JAN通過同時匹配深度特征的邊緣分布和條件分布，相對于其他深度特征自適應方法其分類精度又有了進一步的提升，尤其是在風扇端到驅動端F→E的轉移任務中，診斷精度接近100%，比第二名的方法JAN_MMD準確率高出4.08%。JAN_MMD嘗試用MMD代替Wasserstein去度量條件分布，雖然相對其他深度自適應方法有著更高的識別精度，但仍然在多數情況下不如本文所提JAN的性能好。因此，同時匹配特征的邊緣分布和條件分布是非常有必要的，并且在條件分布自適應上采用Wasserstein距離去度量分布差異也是一個非常有前景的技術。

圖7顯示了3種代表性方法在訓練過程中的分類精度，這3種方法分別為無域自適應的CNN模型，深度特征自適應的DAN模型，以及JAN模型。圖7中橫坐標是迭代次數，縱坐標是相應的分類準確率。由于在源域上是有監督訓練，隨著迭代次數的增加，3種方法在源域上的診斷精度很快就收斂到接近100%的精度。然而在無監督的目標域測試中，無域自適應的CNN模型，診斷效果比較差，由于域之間的差別，當訓練達到一定的閾值，容易出現過擬合。圖7中，CNN模型在50次迭代后其目標域的診斷結果就出現了過擬合現象。DAN模型由于引入了域之間的相互適應機制，因而沒有出現CNN模型那樣明顯的過擬合現象。本文的JAN模型在目標域的診斷精度最終穩定在近100%的精度，相對前面兩個模型無論是精度上，還是穩定性上，都有了很大的提升。這里需要注意的是模型在訓練的時候，盡管源域很早就飽和收斂，但DAN和JAN由于具有域自適應性能，隨著訓練的迭代，源域和目標域的特征分布逐漸匹配，因而模型在目標域的診斷性能在后期仍然在進一步提升。針對上述3種模型，引入t分布隨機鄰接嵌入(t-distributed stochastic neighbor embedding, t-SNE)來非線性降維網絡的最后一層特征，從而實現特征分布的可視化，不同類別的特征圖顯示在圖8中。從圖8的3個子圖可以看出，CNN、DAN、JAN 3種模型所提供的特征在源域中能夠很好的區分4種故障樣本，但在目標域中則存在著明顯的區別。如圖8(a)所示，4種故障類別的目標域樣本在分布上存在很大的重疊區域，而且源域和目標域的同類別特征分布也沒有很好的對齊，這表明CNN所提取特征不僅在邊緣分布上存在域差異，在條件分布上也存在域差異，因此導致診斷結果的退化。在圖8(b)和圖8(c)中，可以發現在域自適應學習框架下，分布的域自適應有了明顯的改善，尤其是JAN很好地對齊了域之間同一類別的條件分布，并且可以觀察到源域類別和目標域類別都有著清晰的分類結構。

(a) CNN

(a) CNN

接著，本文分析了參數學習率對本文JAN模型的影響，分別從精度上和效率上進行了分析，如圖9所示，左邊的縱坐標表示診斷精度，右邊的縱坐標表示網絡開始穩定收斂的迭代次數，橫坐標表示不同的學習率。迭代次數越多，收斂速度越慢。可以清晰的看出，使用0.000 05～0.001 00的學習率，測試精度都是先增大后減小。當學習率為0.000 20時，性能達到峰值。同時，收斂速度會隨著學習率的增大而加快。在性能和收斂效率之間進行權衡，將學習率設置為0.000 20。此外，本文將JAN方法在轉移任務FE→DE中的3種訓練損失可視化，如圖10所示。可以看到JAN模型的分類損失收斂是最快的，在160次迭代之后基本趨于穩定，邊緣分布匹配損失和條件分布匹配損失需要一個域自適應的過程，收斂速度慢一點，總體大概在400次迭代之后都趨于穩定。

圖9 JAN模型在F→E轉移任務中不同學習率下的性能

圖10 JAN在F→E轉移任務中的訓練損失

4 結 論

針對不同工況下的軸承故障診斷，本文基于傳統基于邊緣分布對齊的深度特征自適應，考慮可利用的有標簽信息以及偽標簽信息，力圖實現同類別特征分布在源域和目標域盡可能的對齊，最終提出一種深度聯合自適應網絡，分別使用最大均值差異(MMD)測度以及Wasserstein度量網絡來進行數據深度特征邊緣分布和條件分布的同時匹配，從而更好的學習域不變特征去實現不同故障的分類，提升模型的跨域診斷性能。試驗中設計了兩個遷移學習場景，即不同負載環境下的遷移和不同傳感器位置環境下的遷移，前者域之間的差異較小，而后者的域差異則較大。凱斯西儲大學軸承數據集上的試驗結果驗證了本文方法的有效性，且相對于其它深度自適應模型，本文方法不僅有著較高的跨域診斷精度，還有著不錯的跨域穩定性。