全參數動態學習深度信念網絡在滾動軸承壽命預測中的應用

楊 宇,張 娜,程軍圣

(湖南大學 汽車車身先進設計制造國家重點實驗室，長沙 410082)

設備故障預測與健康管理(Prognostics Health Management，PHM)是設備壽命周期管理中的重要一環，剩余使用壽命預測(Remaining Useful Life，RUL)是實現的關鍵技術之一。滾動軸承是決定機械健康狀態與壽命的關鍵部件之一，其壽命是衡量滾動軸承性能的重要指標，因此開展滾動軸承壽命預測研究具有重要的意義，也一直是人們關注的焦點。

目前滾動軸承壽命預測方法主要有：基于統計分析、基于斷裂力學、基于狀態監測的軸承壽命預測模型[1]。基于狀態監測的壽命預測方法是近年來滾動軸承壽命預測研究領域的熱點，它隨著信息技術與人工智能的快速發展而產生。傳統的智能預測步驟一般為：首先借助傳感技術獲得能夠反映滾動軸承主要性能的動態信號；然后借助特征提取與信號分析技術獲得能夠表示滾動軸承性能變化的主要特征；最后借助人工智能技術建立特征參數與剩余使用壽命之間的映射關系，從而實現滾動軸承剩余使用壽命的預測。在這個過程中，需要人為參與特征值的選取，因此降低了預測的智能性。

相比之下，深度學習可以直接處理原始數據，機器自動學習特征，降低了人工選擇與參與性，提高了機器學習的智能性。深度神經網絡分為：前饋深度網絡、反饋深度網絡和雙向深度網絡[2-4]。深度信念網絡(Deep Belief Networks，DBN)是雙向深度網絡中的模型之一，是由多個受限玻爾茲曼機(Restricted Boltzmann Machine，RBM)堆疊成的多層感知器神經網絡，采用低層表示原始數據信息，采用高層表示數據的特征與屬性信息，訓練過程中從低層到高層逐層抽象表示，從而達到深度挖掘數據本質特征的目的。

DBN預測方法與傳統預測方法比較，如圖1所示。

圖1 分析過程比較圖Fig.1 Analytical process comparison

本文將深度信念網絡應用于滾動軸承壽命預測中，盡管DBN預測方法具有可以直接處理原始數據、自動提取特征值、深度挖掘數據信息、構建精度較高的預測模型等優點，但是仍然存在需要根據經驗手動調整學習率、通過不斷嘗試才可確定固定學習率等缺點，從而導致預測網絡存在很多不可控因素，大大降低了網絡的智能性。傳統DBN網絡采用固定學習率，如果學習速率太小，則會使收斂過慢，影響計算時間；如果學習速率太大，則會使代價函數振蕩，導致算法不穩定。而且目前傳統的方法是根據具體情況通過不斷嘗試找到合適的學習率，這種方法工作量很大，且不一定能找到最優值，不利于迭代尋優；有學者在此基礎上為RBM 模型的三個參數設置了相同的動態學習率，但是權重與偏置屬于不同類型的參數，設置相同的動態學習率存在很大的不合理性。在RBM訓練過程中，運算初期在大范圍內調整，而到迭代后期，網絡基本趨于穩定，只需要部分且小步的調整，因此傳統的固定長度的學習速率不適用于迭代尋優；且RBM模型中的三個參數屬于不同類型，為其設置相同的學習率是不合理的?；诖耍疚奶岢隽巳珔祫討B學習策略：即在RBM前向堆疊和后向微調的兩個過程中，均根據不同類型參數的特點設置不同的動態學習率。并在此基礎上提出了一種改進的深度信念網絡——全參數動態學習深度信念網絡(Global Parameters Dynamic Learning Deep Belief Networks，GPDLDBN)，首先采用自下而上的逐層無監督貪婪算法訓練參數；然后采用自上而下的監督學習算法微調整個網絡參數，兩個過程均采用新的全參數動態學習策略設置各參數。采用GPDLDBN預測模型對實測的滾動軸承壽命數據進行了預測，并與傳統DBN預測結果進行對比，預測結果驗證了本文所提方法的有效性。

1 全參數動態學習深度信念網絡算法(GPDLDBN)

DBN是由多個RBM堆疊成的多層感知器神經網絡[5-7]，低層表示原始數據細節，高層表示數據屬性類別或特征，從低層到高層逐層抽象，可以深度挖掘數據本質特征。訓練過程主要為兩步：第一，使用無監督學習方法訓練每一層RBM，且每個RBM的輸入為上一個 RBM的輸出，即每一層RBM都要單獨訓練，確保特征向量映射到不同的特征空間時，盡可能多的保留特征信息；第二，使用最后一層的BP網絡接收最后一個RBM的輸出，用有監督的方式訓練整個網絡，對其進行微調。

如圖2是一個典型的由三個RBM堆疊成的DBN結構模型。這些網絡被“限制”為一個可視層v和一個隱含層h，層與層之間通過權值w連接，但層內的單元間不存在連接。隱含層單元被訓練去捕捉在可視層表現出來的高階數據的相關性。第一可視層v1為初始輸入數據，和第一隱含層h1組成第一個RBM 1；第一隱含層h2作為第二可視層v2，并和第二隱含層h2組成第二個RBM 2；第二隱含層h2作為第三可視層v3，并和第三層隱含層h3組成第三個RBM 3。

圖2 DBN結構Fig.2 DBN structure

1.1 無監督前向堆疊RBM學習

采用對比散度(Contrastive Divergence，CD)算法進行預訓練獲得生成模型的權值，這是Hinton在2002年提出的RBM的一個快速學習算法[8]，是一種有效的非監督貪婪逐層訓練方法。

無監督前向堆疊RBM學習，首先在可視層生成一個向量v，v將輸入數據從可視層傳到隱層。在這個過程中，可視層的輸入會被隨機選擇，用來嘗試重構原始的輸入信號；接著，新得到的可視層神經元激活單元將繼續前向傳遞，來重構隱層神經元激活單元，獲得h；這些重復后退和前進的步驟就是Gibbs采樣[9]。整個過程中，權值更新的主要依據就是隱層激活單元與可視輸入信號之間的相關性差別。

這個訓練過程，可以歸納為以下幾個步驟：

步驟1確定參數并初始化

樣本數據x，可視層v、可視層偏置b，隱含層h、隱含層偏置c，連接可視層與隱含層單元的權重w，sigm為sigmoid函數，η為學習率，隱含層節點數m，可視層節點數n。

令v1=x；w，b，c初始化為零，因為這三個參數在后續的算法中均會被迭代更新，所以初始化的具體值對結果影響不大。

步驟2對所有的隱含層單元

(j=1,2,...,m)，計算

(1)

步驟3對所有的可視層單元

(i=1,2,...,n)，計算

(2)

步驟4對所有的隱含層單元

(j=1,2,...,m)，計算

(3)

步驟5參數更新

(4)

步驟6按上述步驟完成迭代更新，并依次訓練下一個RBM，最終得到DBN網絡的最后更新參數。

1.2 有監督后向微調學習

無監督前向堆疊RBM學習完成后可以初始化RBM每層的參數，相當于為后續的監督學習提供了輸入數據的先驗知識，然后使用有監督后向微調算法[10-11]對DBN的權值進行微調，接著利用輸出誤差值進行輸出層與前一層之間的誤差估計，同理，經過逐層的反向傳播訓練，來獲取其余各層之間的誤差，最后使用批梯度下降法計算并更新各節點權值，直到輸出誤差滿足要求。后向微調是從DBN網絡的最后一層出發的，若是用于解決多分類問題，例如故障分類識別，則使用Soft-max作為分類器模型；若是用于解決回歸問題則使用線性傳遞函數sigmoid函數，本文解決的壽命預測問題使用的是sigmoid函數。

DBN的BP算法只需要對權值參數空間進行一個局部的搜索，這樣的權值微調算法克服了傳統BP神經網絡因隨機初始化權值參數而容易陷入局部最小和訓練時間過長的缺點[12]，只需在已知權值空間內進行微調即可，大大縮減了參數尋優的收斂時間。其次，使用CD算法可進行快速訓練，將DBN整體框架簡化為多個RBM結構，這樣避免了直接從整體上訓練DBN的復雜度。采用這種方式進行網絡訓練，再使用傳統反向傳播算法進行網絡微調，大大提升了網絡的建模能力，使模型快速收斂到最優。

1.3 全參數動態學習策略

DBN模型中有兩個過程使用了學習率：RBM前向堆疊和后向微調過程。學習率能夠影響網絡的學習進度，合適的學習速率是保證參數θ=(W,b,c)學習到最佳狀態的必要條件。

DBN模型中參數優化，即權重與偏置的一般更新公式為

θ(t+1)=θ(t)-η(t)L(θ(t))

(5)

式中：θ(t+1)為迭代t+1次的參數值；θ(t)為迭代t次的參數值，η(t)為學習率(步長)；L(θ(t))為定義在數據集上的損失函數的梯度。

根據連接權重和偏置的不同特點和作用，本文提出了一種全參數動態學習策略，數學表達式如下：

(1)RBM前向堆疊過程中參數的學習策略

(6)

D(t)=ξd(t-1)2+d(t)2

(7)

(8)

(9)

式中：η(t+1)為連接權重下一回合的學習率；η(t)為當前回合連接權重的學習率；K取1；D(t)為一定比例的上一梯度和當前梯度的平方和，ξ為衰減因子，取值為0.9；α(t+1)和β(t+1)分別為迭代第t+1次可見單元和隱含單元偏置的學習率；α(t)和β(t)分別為迭代第t次可見單元和隱含單元偏置的學習率；使用呈下降趨勢的冪指數函數；E為最大迭代次數；q取0.75。

(2)后向微調過程中參數的學習策略

(10)

G(t)=ξd(t-1)2+d(t)2

(11)

式中：μ(t+1)為后向微調過程中連接權重下一回合的學習率；μ(t)為當前回合連接權重的學習率。

該學習策略的思想是：對于權重而言，利用當前學習率與最近兩個梯度平方和，自適應調節下一回合的學習率。只使用最近兩個梯度的平方和，減少了歷史梯度的冗長計算；同時學習率隨著迭代次數動態變化，這樣都使得模型的收斂速度有所加快。對于偏置而言，從減少計算量的角度出發，為其設置了只與當前學習率有關的冪指數函數，這樣可以加快模型的收斂速度。

2 基于GPDLDBN的滾動軸承壽命預測實驗分析

2.1 實驗平臺設計及實驗數據

為了驗證本文所提方法在滾動軸承壽命預測中的適用性，本文采用兩組不同的實驗數據進行預測。

(1)首先采用辛辛那提大學的智維護系統(Intelligent Maintenance Systems,IMS)的滾動軸承壽命實驗數據[13]。實驗臺簡圖如圖3所示。軸承轉速為2 000 r/min，采樣頻率為20 kHz。采用第一通道采集到的軸承1的數據，共984個文件，每個文件為1 s采集到的振動信號，每隔10 min記錄一組數據，采樣的點數為20 480個點。滾動軸承壽命實驗結束時，軸承1的外圈發生故障。

圖3 滾動軸承壽命數據采集實驗臺簡圖Fig.3 Rolling bearing life data acquisition experiment platform

(2)接著采用法國弗朗什孔泰大學IEEEPHM 2012 Prognostic challenge的滾動軸承壽命實驗數據。軸承轉速為2 000 r/min，采樣頻率為25.6 kHz。所使用的數據集一共有2 803組數據，采集時間間隔為10 s，每組數據采樣時間為0.1 s。滾動軸承的壽命實驗以振動信號振幅超過20g為實驗停止的標志。

根據兩組實驗數據分別畫出滾動軸承的時域圖，如圖4、圖5所示。從圖中可知，軸承正常運行、開始退化、退化加劇和完全失效幾個狀態。需要注意的是，對于IMS滾動軸承壽命數據而言，在運行到約8 500 min的時候滾動軸承已經發生了中度故障，處于退化加劇階段，那么使用明顯失效的數據來預測滾動軸承之后的壽命已經沒有任何工程實際意義，則只需預測0～8 500 min的壽命即可。

圖4 IMS軸承壽命時域圖Fig.4 The time domain waveform diagram of IMS rolling bearing life

圖5 IEEEPHM軸承壽命時域圖Fig.5 The time domain waveform diagram of IEEEPHM rolling bearing life

根據上述兩組數據的具體情況設置參數，如表1所示。

深度學習的“深度”體現在多隱含層，一般而言，網絡層次越多，網絡越能從更多更細方面挖掘數據本質特征，但是網絡層數越多，結構越長，網絡計算耗時越大，會降低效率。本文采用由三個RBM堆疊而成的DBN，即三個隱含層，結果顯示三個隱含層的預測結果已經有足夠的精度。節點數的確定方法：根據數據樣本長度，把數據分為合理的幾段，在這些數據中選取效果最優的數據作為隱含層節點數。例如IMS數據，轉軸轉一圈，傳感器約采集600個數據點，則可以60個數據點為步長，設置成10段不同樣本長度的數據，作為隱含層的節點數，分別為60，120，180，240，300，360，420，480，540，600。首先讓第一個RBM的隱含層節點數在這10種數據中進行計算，分別得到各數據作為隱含層節點數時對應的重構誤差；然后選擇10個重構誤差中最小的重構誤差所對應的數據300作為第一隱含層的節點數。在確定第一隱層節點數的基礎上，同理，可確定第二隱含層節點數600，第三隱含層節點數360。最后，通過上述方法可得到IMS數據的隱含層結構為[300，600，360]。

根據DBN算法，每次挑出一個批量大小的數據來進行訓練，也就是每用批量大小個樣本就調整一次權值，而不是把所有樣本都輸入了，計算所有樣本的誤差了才調整一次權值。

批量大小不是一成不變的，需要根據具體數據集規模、設備計算能力去選。數據集較小時，可采用全數據集；一般情況下需選擇一個適中值，即批梯度下降法(Mini-Batches Learning)，因為當數據集足夠充分時，用一般甚至更少的數據訓練出來的梯度與全部數據訓練出來的梯度幾乎是一樣的。本文根據批梯度下降法確定了具體值。對相同樣本集的訓練次數，原則上迭代次數越多，預測結果越精確，但是會導致訓練時間越長。而且當迭代次數達到一定數值時，預測結果的精度變化越來越微弱，與花費的時間成本比較，提升的精度已經沒有太大的價值。因此需要根據具體情況，平衡預測精度與時間成本，選擇合理的迭代次數。

需要注意的是，以上參數的設置都要考慮到實驗平臺(CPU與MATLAB)的處理能力。

表1 參數設置Tab.1 Parameter settings

2.2 基于GPDLDBN預測模型的壽命預測分析

本文所采用的滾動軸承壽命預測方法的操作流程圖，如圖6所示。

按照上述流程圖，首先讀取全部實驗數據；然后把數據歸一化到[0，1]；接著按照一定的比例設置訓練樣本與測試樣本(例如，IMS實驗數據，按照5∶3設置訓練樣本為50組，測試樣本為30組)；然后使用全參數動態學習策略構建GPDLDBN模型，把訓練樣本輸入該模型并進行訓練；接著把測試樣本輸入訓練好的模型則可得到相應的預測數據；最后按照上述方法循環訓練模型并得到全部的測試結果。對兩組實驗數據分別進行訓練并預測，可得到基于GPDLDBN的滾動軸承壽命預測結果，并在圖中做出真實壽命值，以便比較，如圖7、圖8所示。從預測結果圖可以看出基于GPDLDBN的滾動軸承壽命預測結果與真實值已經非常接近，而且基于GPDLDBN網絡得到的預測結果非常穩定，只在軸承運行的開始與結束附近有輕微的波動。

圖6 基于GPDLDBN的滾動軸承壽命預測流程圖Fig.6 A flowchart of rolling bearing life prediction based on GPDLDBN

圖7 IMS滾動軸承壽命預測結果Fig.7 The results of IMS rolling bearing life prediction

圖8 IEEEPHM滾動軸承壽命預測結果Fig.8 The results of IEEEPHM rolling bearing life prediction

選取IEEEPHM滾動軸承壽命預測結果中第1 001～1 020共20組數據，得到其預測值與真實值的對比表格，如表2所示。

為了能夠定量的描述本文所采用的方法的有效性，使用均方誤差(Main Squared Errar,MSE)來衡量網絡的重構誤差(訓練誤差)，使用平均絕對百分比誤差(Mean Aboolute Percent Error,MAPE)來衡量預測結果，誤差如表3所示。

誤差公式為

(12)

表2 滾動軸承剩余可使用壽命真實值與預測值對比表(IEEEPHM)Tab.2 The comparative tab about real value and predicted value

(13)

表3 預測結果誤差表Tab.3 The error table of predicted results

同時得到IMS數據和IEEEPHM數據的基于GPDLDBN預測模型的重構誤差與迭代次數的關系圖，如圖9、圖10所示。重構誤差是對RBM的似然度的評估，可作為評價預測模型的一個參考指標，可以看出對于IMS數據當迭代到30次以后，對于IEEEPHM數據當迭代到40次以后，重構誤差已趨于穩定。同時，得到損失函數(即預測誤差)與迭代次數的關系圖，如圖11、圖12所示，可以看出對于IMS數據迭代50次時，預測誤差已經足夠小，所以本章確定的迭代次數50是合理的；可以看出對于IEEEPHM數據迭代40次時，預測誤差已經足夠小，所以本章確定的迭代次數40是合理的。

圖9 重構誤差與迭代次數關系曲線圖(IMS)Fig.9 Reconstruction error-iteration times(IMS)

圖10 重構誤差與迭代次數關系曲線圖(IEEEPHM)Fig.10 Reconstruction error-iteration times(IEEEPHM)

圖11 損失函數與迭代次數關系曲線圖(IMS)Fig.11 Loss function-iteration times(IMS)

圖12 損失函數與迭代次數關系曲線圖(IEEEPHM)Fig.12 Loss function-iteration times(IEEEPHM)

為了進一步說明本文提出的基于GPDLDBN的預測模型的效果，分別采用IMS和IEEEPHM滾動軸承壽命數據，比較GPDLDBN模型與傳統DBN模型的預測效果，預測結果如圖13、圖14所示，誤差指標如表4、表5所示。

圖13 GPDLDBN與傳統DBN預測結果對比圖(IMS)Fig.13 Rolling bearing life prediction results of GPDLDBN and traditional DBN(IMS)

圖14 GPDLDBN與傳統DBN預測結果對比(IEEEPHM)Fig.14 Rolling bearing life prediction results of GPDLDBN and traditional DBN(IEEEPHM)

表4 GPDLDBN與傳統DBN滾動軸承壽命預測各項誤差指標對比表(IMS)Tab.4 The comparison table of error indicators

表5 GPDLDBN與傳統DBN滾動軸承壽命預測各項誤差指標對比表(IEEEPHM)Tab.5 The comparison table of error indicators

滾動軸承壽命預測所花費的時間與實驗平臺(CPU與MATLAB)的處理能力有很大的關系，本次實驗是在64位Inter Xeon CPU E3-1231 v3、主頻3.40 GHz、內存8 GB 的計算機配置下進行的。對于IMS實驗數據，GPDLDBN預測模型一共迭代了50次，共花費時間43.326 0 s，則其平均迭代時間為0.866 5 s；對于IEEEPHM實驗數據，GPDLDBN預測模型一共迭代了40次，共花費時間15.050 2 s，則其平均迭代時間為0.376 3 s。

從圖13、圖14可知，對于滾動軸承壽命預測，GPDLDBN預測模型相對于傳統DBN預測模型更接近于真實值，能夠得到精度更高的預測值；對表4、表5中的模型評價指標進行分析可知，GPDLDBN預測模型相對于傳統DBN預測模型，預測誤差和平均迭代時間均有明顯的下降，表明GPDLDBN預測模型較好的克服了傳統DBN預測模型中固定學習率帶來的缺陷，提高了預測精度，GPDLDBN方法可以建立性能更優的滾動軸承壽命預測模型。

對上述實驗結果分析可知，基于GPDLDBN的滾動軸承預測模型是一種高精度、預測結果可靠、收斂速度較快的預測模型，具有工程實際意義。

3 結 論

針對復雜且數據量較大的滾動軸承壽命振動信號，本文提出了一種可以更好地刻畫數據之間復雜非線性關系的滾動軸承預測模型——GPDLDBN預測模型。該預測模型為RBM前向堆疊過程與后向微調過程分別設置了全參數動態學習策略，分別采用傳統DBN預測模型與改進DBN預測模型(GPDLDBN)進行了滾動軸承壽命預測對比實驗，實驗結果證實了本文提出的預測模型能夠更好反映滾動軸承壽命的變化，預測精度高且收斂速度快。但是，滾動軸承壽命預測效果與DBN網絡的結構、節點數、數據長度等參數都有很大的聯系，目前還沒有比較完善的選擇標準，這些都有待研究來進一步提高預測精度或加快收斂速度。