變工況下基于自適應深度置信網絡的軸承智能故障診斷

馬航宇， 周 笛， 衛宇杰， 吳 偉， 潘爾順

(1. 上海交通大學 機械與動力工程學院， 上海 200240； 2. 上海電機學院 凱撒斯勞滕智能制造學院， 上海 201306)

故障診斷是對機械設備故障原因的追溯，通常包括特征信號采集、信號提取處理、故障類別判斷3個環節.伴隨互聯網技術發展和以神經網絡為代表的深度學習興起，部分學者將神經網絡融合多領域技術用于故障識別、分類和診斷[1-6].孫旺等[1]將蟻群算法和神經網絡相結合，解決神經網絡在關鍵設備性能檢測時收斂速度慢、容易陷入最小值的問題；雷亞國等[2]利用頻域信號訓練深度神經網絡，擺脫對信號處理技術與診斷經驗的依賴，完成故障特征自適應提取與健康狀況智能診斷；Wen等[3]將主成分分析法與神經網絡相結合，通過降低數據特征冗余度以提高診斷準確性；Hashim等[4]將離散小波變換和神經網絡相結合，有效提升故障狀態聚類和分類的速度效果.隨著統計分析、信號處理、啟發式算法等各類方法的融入，神經網絡在故障診斷領域的應用愈發普及且取得較好效果.

軸承是旋轉機械的重要組成零件，也是故障高發零件之一.在旋轉機械故障中，僅軸承故障就高達30%[7].同時，在工程實際過程中，由于生產環境和工況條件不斷變化，設備服役工況并非恒定不變，定工況的神經網絡故障診斷方法不足以有效識別所有故障類型，誤診率較高，所以需考慮變工況下系統運轉過程與服役特征.結合部件服役的工況變化提取變工況特征信息和軸承故障信息，開展變工況下軸承故障診斷研究具有重要理論研究價值和工程應用意義.

變工況故障診斷主要難點之一在于如何提取保留故障深層特征，使其在不同工況下依然能被有效識別.圍繞該問題的故障特征提取方法大致可分為信號處理、遷移學習(Transfer Learning, TL)和神經網絡等.在信號處理過程中，通常采用多尺度熵從振動信號提取故障特征，以時間序列動態變化表征變工況.Minhas等[8]借助互補集成經驗模態分解法處理原始信號，采用加權多尺度熵提取故障特征；Ma等[9]針對故障多元信號問題，提出多元多尺度模糊分布熵提取故障特征，并用支持向量機識別工作狀態.兩者均實現了對變工況振動信號的處理和故障診斷.在遷移學習方面，主要通過降低源域和目標域的故障提取特征差異，實現不同工況下故障特征遷移.沈飛等[10]針對變工況需要建立不同模型的問題，提出譜質心遷移學習模型，通過最小化源工況和目標工況領域質心均值距離實現特征遷移，減少后者的建模代價并增強模型通用性；Li等[11]提出基于知識映射的對抗域適應法，將知識從目標域泛化到源域，提取領域不變特征.而神經網絡則是憑借其優秀的自學習能力完成深層故障特征提取.Zhao等[12]針對設備頻繁改變工況的問題，設計了歸一化卷積神經網絡，通過批量歸一化消除特征分布差異，并結合卷積神經網絡提取故障特征；趙小強等[13]針對軸承多工況下時域信號時變性較強等問題設計改進殘差神經網絡，采用小卷積層串聯和堆疊以及加入殘差連接方式構建數據池化層，有效提取深層特征信息.基于所提取深層特征，結合深度學習等各類方法進一步完成變工況智能故障診斷.

在提取數據特征方面，作為典型神經網絡之一的深度置信網絡(Deep Belief Network, DBN)[14]，基于貝葉斯思想，通過找出數據的聯合概率分布，自動獲取潛藏在數據中難以解讀的深層信息.當樣本數量較多時，DBN擁有強大的故障深層特征信息提取能力，是變工況智能故障診斷的有力工具.李艷峰等[15]將奇異值分解和DBN結合，通過把高維相關變量壓縮為低維獨立特征矢量完成故障特征提取；Ma等[16]將卷積殘差網絡、深層自動編碼器和DBN進行加權集成，提出多目標多工況的整體深度學習診斷方法；Wang等[17]提出基于半監督受限玻爾茲曼機的DBN以縮減不同工況間的分類差距，提高故障分類準確性；Che等[18]將時頻域特征輸入DBN，通過遷移學習將不同工況間數據差異最小化，實現變工況軸承故障診斷.通過融合各領域相關技術，DBN提取深層故障特征的優勢得到進一步增強，在變工況故障診斷中具有更優越的泛化性和更高的準確率.

上述對于DBN故障診斷的相關研究主要通過統計分析或信號處理等方法對輸入參數進行降噪優化預處理，特征提取過程均基于預處理數據進行，雖在一定程度上提高了故障診斷正確率，但也導致原始數據深層特征和信息并未被完全保留.為更好發揮DBN在變工況下特征提取和故障診斷的優勢，考慮系統運轉的變工況特征，以滾動軸承為分析案例，通過有機融合DBN、遷移學習、數據丟失技術等提出考慮平移不變特征的自適應深度置信網絡(Domain Adaptive Deep Belief Network with Shift-Invariant Features, SIF-DADBN)，實現變工況智能故障診斷，具體如下：①針對變工況故障特征提取困難，設計固定學習步長的特征提取方法，結合DBN優勢充分提取原始數據的平移不變特征，是變工況故障診斷的基礎；②針對變工況同類故障難以被有效識別并分類，引入領域自適應方法并加以改進，增強提取特征的普適性，是變工況故障診斷的關鍵；③針對本文特征提取方法導致的參數維度過高問題，結合數據丟失技術簡化網絡結構的同時避免過擬合現象，最終提升變工況智能故障診斷的泛化性和準確性.

1 深度置信網絡

1.1 DBN算法基本架構

DBN是由多個受限玻爾茲曼機(Restricted Boltzmann Machine, RBM)堆疊而成.如圖1所示，RBM是由顯層和隱層組成的隨機神經網絡[19]，顯層表征輸入數據，通過訓練完成權重計算形成隱層并作為第2個RBM的顯層，依次進行堆疊，形成完整DBN網絡.

為實現進一步判別，需在DBN頂層加入數據標簽和Softmax函數等進行分類.在此基礎上，Hinton等[14]在Softmax之前添加多層前饋神經網絡，通過反向微調優化網絡權值以提高判別準確率，這就是經典的DBN-深度神經網絡(Deep Neural Network，DNN)模型，也是DBN改進的重要基礎.

圖1 DBN結構示意圖Fig.1 Schematic diagram of DBN structure

1.2 DBN的訓練和微調技術

DBN-DNN運行主要包含兩個關鍵步驟：基于RBM和對比散度(Contrastive Divergence, CD)算法的無監督訓練；基于反向傳播(Back Propagation，BP)算法的有監督微調.

1.2.1基于RBM和CD算法的無監督訓練 在訓練過程中，需對RBM逐層訓練最終完成對DBN整體的無監督訓練.考慮最底層RBM(記為第1層)，顯層節點v1=(v1,v2, …,vi)(i=1, 2, …,I)和隱層節點h1=(h1,h2, …,hj)(j=1, 2, …,J)的聯合狀態能量函數表示為[20]

(1)

式中：ai和bj為顯、隱層的偏置；I和J為顯、隱層的節點數；wij為顯隱層的連接權重.第j個隱層節點激活函數為

(2)

第i個顯層節點激活函數為

(3)

考慮軸承振動信號作為顯層向量v1輸入，利用式(2)可對隱層狀態函數求解，利用式(3)重構顯層狀態函數.因此，RBM通過調節參數w1、a1=(a1,a2, …,ai)和b1=(b1,b2, …,bj)，使重構誤差達到最小值實現信號特征提取和降維.其中

基于Hinton[21]提出的CD算法，權重和偏置變化量如下：

(4)

式中：ε為學習率；γ為采樣階次；〈 〉0為原始數據期望值；〈 〉γ為經過γ次采樣并重構后的數據期望值.基于式(4)進一步可得權重和偏置更新公式為

(5)

式中：η為迭代次數.

結合式(4)和(5)，迭代計算各層RBM的參數，用于下一步有監督微調.

(6)

式中：Xl為第l層理想輸出；wl和bl為該層待更新的權重和隱層偏置.采用梯度下降法進行微調和更新，通過有監督反向微調提高DBN分類準確率，完成DBN訓練和調優過程.

2 變工況下自適應深度置信網絡設計

2.1 考慮固定學習步長的平移不變特征提取方法

在DBN軸承故障診斷相關研究中，為提升診斷正確率，通常對信號數據進行預處理從而導致原始信號一定程度特征損失.因此，本文從盡可能保留原始數據特征的角度出發，按固定學習步長(S)將原始信號進行分解后充分學習.

考慮包含M個數據的軸承振動信號，基于固定學習步長S將其分解成N段，每段表示為yn(t)，n=1, 2, …,N，N=

M/S

，其中“

”表示向下取整.將分解后各段信號輸入到RBM網絡中進行訓練，結合式(1)，得到此時RBM的能量函數如下：

(7)

fn=sigmoid(wnyn(t)+bn)，fn∈R1×J1

參照GB-T14452-93標準A型試樣，將釬焊后試樣線切割為長約34 mm、寬5±0.25 mm、高5±0.25 mm的條狀小試樣進行三點彎曲試驗，測定釬焊接頭的抗彎強度。

(8)

式中：wn和bn為第n段信號的權重和偏置.將每段信號均做訓練計算并進行堆疊，得到原始信號特征向量矩陣，進一步獲得該RBM層的輸出特征，表示為

(9)

F1∈R1×J1

式中：colmax表示對矩陣每一列求取最大值.具體平移不變特征提取過程如圖2所示.

圖2 基于固定學習步長的平移不變特征提取示意圖Fig.2 Schematic diagram of shift-invariant feature extraction based on fixed learning step size

2.2 基于領域自適應法的變工況特征遷移

基于提取并訓練強化后的深層數據特征，進一步和變工況特征進行比對遷移，完成對同一故障不同工況特征的淡化.此處引入遷移學習中的領域自適應方法，以多核最大平均差異(Multi-Kernel Maximum Mean Discrepancies, MK-MMD)概念表征不同工況下兩種數據樣本差異：針對存在于再生核希爾伯特空間Hk的概率分布p和q之間的距離，其MK-MMD的平方公式[22]為

(10)

式中：k為空間Hk中的特征核；xs～p和xt～q分別表示數據來源為源域的概率分布p和目標域的q.在特征映射Φ當中，核映射表示為k(xs,xt)=〈Φ(xs),Φ(xt)〉，可進一步被定義為由m個內核組合成的凸組合K，具體[23]表示為

(11)

式中：ku和αu為第u個內核和對應的權重，且所有權重之和為1.相比傳統單一核的最大平均差異，MK-MMD區別在于通過多核來構造總的大核，使其能夠在運算過程中擁有更多內核選擇，提高特征差異計算準確性.

考慮在變工況下進行智能故障診斷，需使不同工況特征差異最小化，將領域自適應和DBN相結合，采用MK-MMD計算不同工況間特征差異；另一方面，為保證故障診斷分類準確率，需使DBN損失函數最小化.結合式(6)和(10)，得到新的最小化目標函數如下：

E=EDBN+EMK-MMD=

(12)

利用式(12)對目標函數進行調整，可使BP算法在更新網絡參數過程中，兼顧故障分類準確率和變工況特征差異.如圖3所示，在2.1節中采用固定學習步長的特征提取，已實現軸承原始數據的各類深層特征提取(特征A～C)，此時如果將工況三的測試集樣本直接輸入到由工況一訓練好的DBN中，不同工況差異可能導致相同故障難以正確歸類，生成新故障種類(故障D～F)；但若先將工況一和二的數據通過領域自適應進行學習調整，生成更具泛化性的訓練集，在該情況下將工況三的測試集輸入到訓練好的DBN中，就能準確輸出故障種類，完成變工況下智能故障診斷.

圖3 基于領域自適應法的特征遷移示意圖Fig.3 Schematic diagram of feature migration based on domain adaptive method

2.3 基于數據丟失技術的神經網絡微調

基于固定學習步長的特征提取方法能夠充分保留原始數據有效信息，雖更好地發揮了DBN優勢，但同時也存在維數過高的弊端.結合神經網絡運作模式不難發現，維度過高不僅會增加神經網絡處理時間，也會增大網絡過擬合可能性，嚴重影響故障診斷準確率.為保證所提方法有效性，在基于固定學習步長的特征提取上，引入數據丟失技術應對上述兩個問題.

數據丟失技術是Hinton針對過擬合問題提出的有效技術之一[24].該技術核心在于訓練過程中隨機將部分隱層節點舍棄.其中，舍棄節點并非永久移除，只是暫時不參與本次迭代和權值更新，從而完成訓練過程中的網絡精簡，提高各隱層節點獨立性.集成數據丟失技術優化DBN結構，能夠在提升運行效率的同時，一定程度上規避過擬合問題.

結合所設計的DBN網絡，在無監督訓練過程中，式(2)給出隱層節點激活函數，加入數據丟失技術二進制隨機變量r后如下所示：

(13)

式中：r服從參數為P的伯努利分布.當r=1時概率為P，表示該隱層單元正常工作；當r=0時概率為1-P，表示該單元暫時失效.

在后續有監督微調中，計算節點誤差項時也以隨機概率將該節點舍棄并完成DBN訓練.在測試階段，需將隱層節點輸出按照數據丟失技術設置的比例對應減少.集成數據丟失技術的本文DBN訓練過程如圖4所示.圖中：“×”代表該單元暫時失效.

圖4 集成數據丟失技術的DBN示意圖Fig.4 Schematic diagram of DBN in combination with dropout

2.4 深度置信網絡整體設計和診斷流程

融合DBN、遷移學習和數據丟失技術等方法，設計搭建DBN網絡架構如圖5所示.圖中：w1～w5為第一輪訓練時的權重；w1F～wF5為基于第1輪訓練結果在第2輪訓練時的權重.其中第1層(v0)為特征提取層，第2、3層(h1和h2)為訓練優化層，第4、5層(h3和h4)為自適應訓練層，第6層(Softmax)為分類輸出層.

圖5 DBN整體設計架構示意圖Fig.5 Schematic diagram of DBN overall design architecture

在故障診斷過程中，首先結合DBN優勢充分且有效提取故障特征，在提升診斷準確率同時確保故障特征在變工況下依然能被有效識別；進一步結合領域自適應方法，通過變工況下的特征遷移學習減少特征差異，淡化工況特征，強化故障特征，最終實現變工況下智能故障診斷.具體診斷流程如圖6所示.圖中：η1～η4為各工況最大迭代次數.

圖6 變工況診斷流程圖Fig.6 Diagnosis flow chart under variable working conditions

3 實例驗證與分析

作為故障高發零件，軸承在工程實際中受變化服役工況的影響，故障診斷困難程度大大增加.對于變工況下軸承智能故障診斷，確保診斷方法正確率和泛化性尤為重要.

3.1 數據集簡介和樣本劃分

為驗證所設計方法在變工況下故障診斷的有效性，采用凱斯西儲大學驅動端軸承公開數據集作為樣本.基于電機轉速建立4個不同工況樣本數據集A、B、C、D，如表1所示，其中空白表示無此項.軸承故障位置分別有內圈、外圈和滾動體3處，每處故障均包含3種損傷直徑，組合后共計9種故障類型.每個數據集選取1組正常樣本與9組不同類型故障樣本的組合，共計400個樣本，每個樣本包含 2 000 數

表1 數據集劃分情況Tab.1 Data set division

據點，且均從原始數據的隨機位置開始提取，但在48 kHz采樣頻率下需保證提取至少1個周期的信號數據.在此基礎上，進一步劃分訓練和測試集.其中，訓練和測試集分別包含500和100個樣本，具體選取規則如下：訓練集應包括至少兩種工況，例如將數據集A的400個樣本作為源域進行訓練，將數據集B的100個樣本作為目標域協助遷移學習；測試集任取某一工況的100個樣本(如數據集C)，此時組合記為A-B～C，表1中訓練集和測試集劃分以A-B～C組合為例.

3.2 網絡參數設置

由圖5可知，所提網絡共由6層組成，節點數設置依次為200、200、160、100、50、10.RBM訓練、BP算法微調的學習率均設為0.1，迭代次數分別設為100和150，訓練批次為20，初始動量為0.1，持續動量為0.5.參數設置與傳統DBN無明顯差異.

本文搭建的DBN增加了固定學習步長S、領域自適應法中的懲罰因子β和數據丟失概率P等3個參數.其中，S是對原始信號數據的分解程度，設置大小應適宜具體情況(本文設定為10).β在目標能量函數中直接影響診斷結果，需進行重點選擇.以A-B～B為例，令P=1(保留所有節點)，β∈[0, 6](步進0.3)且每組參數輸入DBN后重復10次，取其平均值和標準偏差，得到β和診斷正確率(Q)的關系如圖7所示.由圖可知，初始階段診斷正確率隨β增大而提升，說明遷移學習在變工況故障診斷中逐漸發揮重要作用.當β=2.4，診斷正確率達到最高點并開始下降，說明β設置過高覆蓋了故障分類差異的能量函數.

圖7 不同β取值下的診斷正確率Fig.7 Diagnostic accuracy rate at different β values

為配合數據丟失技術尋找最佳組合參數，令β∈[1.6, 3.2](步進0.2)，與P∈[0.1, 1.0](步進0.1)進行交叉組合實驗，結果如圖8所示.由圖可知，β整體趨勢無明顯變化，診斷率最高點仍集中在2.4附近；P值較小時，由于舍棄網絡單元過多，導致正確率明顯下滑，隨著P值增長至0.4并逐漸接近1時(所有單元幾乎重新被激活)，正確率逐漸提升.當0.6≤P≤0.8且β=2.2時，故障診斷正確率達到峰值且附近幾乎為平面，說明此時正確率無明顯差異.令P取最小值0.6，可有效簡化網絡結構(暫時舍棄盡可能多的單元).綜上，參數選擇β=2.2，P=0.6，可在有效提升診斷正確率的同時提升診斷速率.

圖8 β和P的交叉組合實驗曲面圖Fig.8 Curved surface diagram of cross combination experiment of β and P values

3.3 診斷結果分析

基于3.2節參數設置，仍以A-B～B組合為例得到重構誤差，如圖9所示(第1層RBM經分解后重構誤差較復雜，未在圖中表示).由圖可知，隨著迭代次數增加，每層重構誤差逐漸減少，最后一層穩定后接近0.05，說明提取特征已得到充分訓練強化.

圖9 各層RBM重構誤差圖Fig.9 RBM reconstruction error of each layer

試驗發現，集成數據丟失技術后損失函數能更快下降(見圖10).當迭代次數約大于150時，損失函數便提前進入平穩低值，神經網絡已得到充分訓練，說明數據丟失技術能有效提升分類正確率和運算速率.

圖10 最終損失函數變化趨勢圖Fig.10 Trend chart of final loss function

在此基礎之上進一步探究所提網絡運行過程的故障分類效果，借助t分布隨機近鄰嵌入算法(t-distributed Stochastic Neighbor Embedding,t-SNE)[24]將訓練過程關鍵節點可視化，如圖11所示.圖中僅展示內圈故障(Inner race Fault, IF)、滾動體故障(Roller Fault, RF)、外圈故障(Outer race Fault, OF)和正常4類樣本.如圖11(a)所示，經過基于固定學習步長的信號特征提取，4種樣本基本已相互分離，但各自并未完全聚集在一起，以IF為例就有多個聚集中心點.通過多層RBM反復強化訓練，得到輸出情況如圖11(b)所示，各類故障逐漸圍繞某一中心點開始聚攏，說明該DBN已經基本能夠完成定工況下故障診斷.進一步結合遷移學習后，由圖11(c)可知，此時DBN仍有較好的故障分類效果，且已具備變工況下故障診斷能力.圖中：t1和t2分別表示不同的t-SNE尺寸.

對A-B～B組合重復實驗10次取均值，測得診斷正確率為97.8%，說明該方法已成功實現變工況故障診斷.為進一步探究該方法的準確性和泛化性，分別取數據集A-B和C-D作為訓練集，并取數據集A～D作為測試集，獲取變工況故障診斷正確率如圖12所示.由圖可見，測試集選擇對故障診斷率有較大影響，正確率高低依次為源域>目標域>其他.然而從A-B～C、A-B～D、C-D～A和C-D～B也能發現，即便相較于其他4組診斷率較低，但正確率也均在90%以上.8個組合平均故障診斷正確率高達95.65%，說明所提網絡能有效實現變工況的故障診斷.

圖12 不同工況組合下的故障診斷正確率Fig.12 The diagnostic accuracy rate with different combinations of working conditions

4 故障診斷方法比較與分析

為進一步證明所提方法的準確性和泛化性，選取另外5種方法進行實驗且相關參數設置如表2所示.其中，方法1為考慮平衡不變特性(Shift-Invariant Features, SIF)的自適應DBN(SIF-DADBN)，采用本文所提出的DBN：方法2(Raw-DBN)采用傳統DBN，以所有信號數據作為顯層直接輸入網絡；方法3則參照文獻[18]采用快速傅里葉變換(Fast Fourier Transform, FFT)對數據進行預處理，提取12個時頻域特征輸入DBN；方法4參照文獻[25]，將遷移學習和支持向量機(Support Vector Machine, SVM)相結合，通過遷移高相似度樣本到源空間進行訓練并以SVM識別和分類；方法5僅以傳統SVM方法進行診斷；方法6為基于遷移學習的生長型DBN(TL-GDBN)，參照文獻[26]同樣將遷移學習和DBN結合形成自適應DBN進行診斷.各方法相關參數(如學習率、迭代次數等)盡量與本文保持一致，同樣集成數據丟失技術，且方法4～6采用本文固定學習步長的信號分解方法提取故障特征作為輸入.

表2 不同方法的參數設置和比較Tab.2 Parameter setting and comparison of different methods

通過實驗，定工況下(測試集與源域相同，如A-B～A、B-C～B組合等)各方法故障診斷正確率如圖13所示.由圖可見，采用DBN的深度學習方法能更好提取數據特征并完成故障診斷，正確率穩定在90%以上；進一步對比方法1～3，發現本文所提方法的診斷正確率均相對較高，說明采用固定學習步長的特征提取方法更好地保留數據深層特點，具有更高準確率.

圖13 定工況下不同方法的故障診斷正確率Fig.13 Comparison of diagnostic accuracy of different methods under invariable working conditions

變工況下(測試集和源域不同)各方法診斷正確率如圖14所示.比較圖13和14發現，變工況下未結合遷移學習的方法2、3、5正確率下降較為嚴重，基本難以達到90%.而結合遷移學習的方法1、4、6正確率僅呈小幅度下降，說明遷移學習在變工況故障診斷中發揮重要作用.進一步觀察方法1和6，發現將深度學習和遷移學習結合后，無論是定工況和變工況下均有良好的表現，診斷正確率均高于其他方法.

圖14 變工況下不同方法的故障診斷正確率Fig.14 Comparison of diagnostic accuracy of different methods under variable working conditions

綜合來看，SIF-DADBN在各類工況的故障診斷正確率均能穩定高達90%，平均正確率接近95%，說明該方法能有效實現變工況故障診斷.此外，相較其他5種方法，該方法在變工況下具有更高的故障診斷正確率和泛化水平.

5 結語

本文通過DBN、遷移學習和數據丟失技術等方法的有機融合，提出考慮平移不變特征的自適應深度置信網絡，并用于軸承智能故障診斷，網絡共由4部分組成.特征提取層考慮固定學習步長對原始信號進行分解，提取數據平移不變的深層特征，并集成數據丟失技術進行全網絡結構優化以規避過擬合問題；強化訓練層基于RBM逐層堆疊對提取特征進行反復強化；自適應學習層結合MK-MMD完成變工況特征差異計算并進行特征遷移，淡化工況特征，強化故障特征；分類輸出層基于特征和工況差異對網絡參數進行二次微調更新，輸出變工況故障診斷結果.該方法對變工況故障識別率較高，實驗樣本診斷正確率能穩定在90%以上，平均診斷正確率高達95.65%；通過與其他方法的比較，進一步驗證所提方法在變工況下具有更高的準確率和泛化性.未來，針對該方法樣本需求量較大和診斷對象單一的局限性，將通過結合標記樣本擴充方法研究小樣本下智能故障診斷，并應用于齒輪等其他零部件故障診斷.