深度梯度下降森林模型在軸承故障診斷中的應用

彭啟明，邵 星，，王翠香，皋 軍

（1.鹽城工學院 機械工程學院；2.鹽城工學院信息工程學院，江蘇鹽城 224051）

0 引言

軸承是機械設備的核心部件，直接關系其性能發揮。軸承故障輕則導致整機失效，降低生產效率，重則導致人員傷亡。軸承故障診斷可根據診斷結果及時提出解決方案，保證機械正常運行，減少或消除機械故障事故。現階段主流的軸承故障診斷方法分為基于特征工程的方法和基于深度學習的方法兩種。基于特征工程的方法主要通過對輸入信號進行頻譜分析（Frequency Analysis）、經驗模態分析（Empirical Mode Decomposition，EMD）、小波變換（Wavelet Transform，WT）等處理后提取得到特征，再使用基于機器學習的分類模型，如人工神經網絡（Artificial Neural Networks，ANN）、支持向量機（Support Vector Machine，SVM）、隱馬爾可夫模型（Hidden Markov Model，HMM）等對特征進行分類故障診斷。該類方法的特征提取與分類診斷過程分離，過度依賴人工經驗，誤差較大。深度學習由于其強大的特征提取能力和端到端的學習特點，能夠直接從原始軸承信號數據中提取故障特征并進行分類診斷，打破了特征工程方法的局限性，使得大量學者對其進行深入研究。例如，Tamilselvan 等提出了一種基于深度置信網絡的故障診斷方法，打開了深度學習在故障診斷領域應用的大門，證實了基于深度學習的故障診斷方法的優勢；Lu 等提出一種基于卷積神經網絡（CNN）的軸承故障診斷方法，雖然具有較高的診斷精度，但模型不夠穩定；Zhang 等提出一種一維CNN 的深度學習模型，可以直接對軸承信號進行故障診斷，但該模型需要大量數據進行前期學習；曲建嶺等提出一種無需手動提取特征的CNN，但其訓練超參數過多，導致訓練和診斷成本過高；李嫄源等提出一種SVM 與PSO 相結合的電機軸承故障診斷方法，但針對復雜的軸承分類問題容易陷入過擬合且泛化能力較差；宮文峰等提出一種改進CNN 的軸承故障診斷方法，準確率達99.04%，但無法在小數據集上進行診斷。由于軸承大多時候處于正常運轉狀態，真實故障數據樣本難以大量獲取，上述基于深度學習的軸承故障診斷方法雖然在一定條件下可取得較好效果，但在小樣本、低開銷的情況下，模型的穩定性、泛化性、魯棒性仍需進一步提升。

深度森林（Deep Forest）模型在小規模數據集上的性能優于其他深度學習模型，且其超參數較少、計算開銷較小。因此，本文基于深度森林模型，提出一種深度梯度下降森林（Deep SGD-Forest，DSGDF）模型用于軸承故障診斷。實驗結果表明，該模型不僅繼承了深度森林模型魯棒性強、泛化性好、超參數較少等優點，還避免了級聯結構收斂速度慢的缺陷，實現了小樣本條件下高精度、低開銷的有效診斷。

1 算法模型

1.1 深度森林模型

2017 年，Zhou 等首次提出深度森林模型，該模型由級聯森林結構與多粒度掃描結構兩部分組成，核心思想為對隨機森林算法進行集成。其借鑒了深度神經網絡（Deep Neural Network，DNN）中的逐層結構（Layer-by-Layer），對前一層輸入的樣本數據和輸出結果數據進行拼接操作后作為下一層的輸入數據。深度森林模型結構簡單、計算開銷小，模型復雜度可自適應伸縮，具有較強的魯棒性，在金融、醫學、交通運輸、軍事等領域均有應用，且針對不同數據類型均取得了較好的實驗效果。

1.2 DSGDF 模型

DSGDF 模型是基于深度森林模型改進而來，在繼承了深度森林較少超參數、小樣本學習、魯棒性強、泛化性好等優點的基礎上，通過集成梯度下降算法改善了級聯結構收斂速度慢的問題，使得計算和優化開銷變小。

1.2.1 梯度下降算法

梯度下降算法是一種優化算法，其在訓練數據時具有降低模型損失、提高訓練速度和算法收斂速度等優點，表示為：

式中，

α

為第n 次迭代學習率，α 為首次學習率，

μ

為衰減率，

λ

為第

n

次迭代學習步數，

λ

為總學習步數。

1.2.2 多粒度掃描結構

多粒度掃描是增強表征學習能力的結構。原始樣本數據通過不同尺度的小窗口進行掃描，從而實現特征轉換，最終得到具有多樣性的表征向量。

為應對軸承數據的固有特點，本文采用序列掃描的方式，過程如圖1 所示。原始輸入為

A

dim 樣本，使用

B

dim、步長為1 的小窗口進行滑動采樣。通過一系列特征轉換后得到

C

=(

A

-

B

)∕1+1個

B

dim 特征子樣本向量。將其送入梯度下降森林和完全隨機森林中訓練后得到每個森林的一個

C

*

E

的表征向量，最后將圖中每層森林產生的表征向量拼接在一起，得到最終樣本輸出并送入級聯森林結構中進行運算。

1.2.3 級聯森林結構

Fig.1 Multi-grained scanning process of mechanical bearing data圖1 機械軸承數據多粒度掃描過程

Fig.2 Comparison of DSGDF model and deep forest model圖2 深度梯度下降森林模型與深度森林模型比較

式中，

k

指

k

個類別，

p

為第

k

個類別的概率，

Gini

(

p

)為基尼系數。

基尼系數為該節點的判別依據，直到每個葉子節點只包含同一類實例后停止運算。然而，相關實驗表明級聯森林的收斂速度較慢。針對該問題，DSGDF 模型集成梯度下降算法，使級聯森林的每一層都由5個完全隨機森林和5個梯度下降算法組成，如圖2 右所示。為防止最后產生的結果發生過擬合現象，需經過K 折交叉驗證處理后輸入到下一層。當級聯森林結構擴展到新的層級后，之前所有級聯結構的效果將通過驗證集評估，當評估結果無法得到進一步提升時則會自動結束訓練過程。因此，級聯森林結構的層數與復雜度由訓練過程自動確定，省去了大量調參的開銷，提高了收斂速度，可使其結構保持穩定收斂狀態。

1.2.4 算法實現步驟

輸入訓練集T，測試集S，驗證集M，N 為森林中子樹數目，T1 為多粒度掃描后的訓練集。具體算法步驟為：

2 軸承故障診斷實驗數據處理

2.1 軸承數據集來源

采用凱斯西儲大學軸承數據集，其數據客觀、可信度高，是軸承故障診斷領域公認的標準數據集。該數據集是以電機、轉矩傳感器、功率計、16 通道數據記錄儀、6203-2RS JEM SKF∕NTN 深溝球軸承以及電子控制設備為實驗器械，使用電火花加工技術人為制造出軸承的故障數據，包含驅動端加速度數據、風扇端加速度數據、基本加速度數據和時間序列數據。具體參數：軸承直徑包括0.007、0.014、0.021 英尺，電機負載包括0、1、2、3 馬力，電機轉速包括1 797、1 772、1 750、1 730rpm（轉∕分），還包括軸承內圈、外圈、滾動體3 點鐘（直接位于受載區）、6 點鐘（正交與受載區）、12 點鐘（相對于受載區）方向，數字信號采樣頻率為12KHz、48KHz 的故障數據集以及各類各方向軸承的健康數據集。

2.2 軸承故障診斷流程

基于DSGDF 的軸承故障診斷流程如圖3 所示。

步驟1：使用凱斯西儲大學軸承數據集中采樣頻率為12KHz，電機負載分別為0、1、2 馬力，故障直徑分別為0.007、0.014、0.021 英尺，6 點鐘方向的軸承內圈、外圈、滾動體風扇端產生的9 組加速度故障數據，以及相對應的1組軸承健康數據，共計10 組數據，10個樣本特征，約300 萬個數據點樣本，具體如表1 所示。

Fig.3 Bearing fault diagnosis process based on DSGDF圖3 基于DSGDF 的軸承故障方法診斷流程

Table 1 Experimental data set表1 實驗數據集

步驟2：對軸承健康數據集進行數據增強和降采樣處理，數據增強滑動窗口時間長度設置為2 048∕12 000，數據重疊部分比例為50%。將軸承健康數據增強為其他故障數據的2 倍，再對其進行降采樣、隨機刪減，以防止因故障、健康數據不平衡而陷入局部最優診斷。然后對所有數據進行歸一化和獨熱編碼，得到有標簽的數據樣本，并按照7∶2∶1 的比例劃分訓練集、測試集和驗證集。最終得到數據增強和0 類數據采樣58 577 條，單個數據長度為2 048個采樣點，重疊量為2 047，采樣點類別數目為：［（0，5 864），（1，5 822），（2，5 850），（3，5 864），（4，5 857），（5，5 850），（6，5 878），（7，5 885），（8，5 850），（9，5 857）］。

步驟3：輸入訓練集至DSGDF 的多粒度掃描結構，步長設置為1。通過一系列特征轉換后將產生的表征向量拼接在一起，送入級聯結構進行學習。

步驟4：設置級聯結構中每層梯度下降森林和完全隨機森林的森林數為5，完全隨機森林中子樹數目為80，計算當前子樹的故障診斷效果并通過投票的方式選出每個森林的最優診斷結果。

步驟5：分別計算當前一層級聯結構在訓練集上的故障診斷率，模型在驗證集上自動評估是否需要擴展下一層級聯結構，若需要則返回步驟4，若不需要則立即停止訓練。

步驟6：在所有擴展層中找出訓練集上診斷率最高的一層作為訓練集的最終診斷結果，模型學習結束。

步驟7：將測試集輸入至DSGDF 模型，循環步驟3-5，在所有擴展層中找出測試集上診斷率最高的一層，并輸出該層的診斷結果作為最終軸承故障診斷率。

3 實驗方法與結果分析

3.1 實驗平臺

計算機硬件配置：Intel（R）Core（TM）i7-6700，3.40GHz處理器，16GB 內存，8 核CPU。

計算機軟件配置：Windows7 X64 位操作系統，Pycharm操作平臺，Python3.5。

3.2 主要參數

如表2 所示，在級聯森林結構部分設置5個梯度下降算法和5個完全隨機森林，其中每個森林內存在80 顆決策樹，采用2 與10 折交叉驗證。在多粒度掃描結構部分設定掃描窗口大小為4，數據切片步長為1，決策樹數量為101顆，每個節點的最小樣本數設置為0.1。

Table 2 Construction parameters of DSGDF表2 DSGDF 模型搭建參數

3.3 結果分析

3.3.1 穩定性、泛化性分析

為確保所得數據的準確性與合理性，本文實驗均重復進行10 次后取平均值作為最終結果。基于特征工程的方法采用文獻［23］的特征提取方法后使用機器學習模型，如K 近鄰算法模型（KNN）、隨機森林算法模型（RF）、決策樹算法模型（DT）、樸素貝葉斯多項式算法模型（Bayes）進行分類診斷；基于深度學習的方法，如卷積神經網絡算法模型（CNN）、長短期記憶人工神經網絡（LSTM）、經典深度森林模型（DF）和深度梯度下降森林模型（D-SGDF）直接自動提取特征后進行分類診斷。

將軸承數據集中0 馬力負載下的9 類故障樣本、1 類健康樣本按照7∶2∶1 的比例劃分成訓練集、測試集和驗證集，采用F1 值進行模型的魯棒性驗證，計算方式為：

F

1 值為精度與召回率的均值，其值為1 時最佳，值為0時最差，越接近1 說明該診斷模型越穩健。評價標準見表3。

Table 3 F1-score evaluation index parameter表3 F1-Score 評價指標參數

由圖4 可知，RF 模型在基于特征工程的方法中表現最好，F1 值為0.8，但仍低于基于深度學習的方法。而DSGDF模型憑借其強大的特征提取能力與基于梯度下降樹的原理在10 種不同數據集診斷中F1 值均在0.98 以上，說明該模型穩定性強，魯棒性好，能適應復雜的軸承故障診斷。

Fig.4 F1 scores of various diagnostic models comparison圖4 各類診斷模型F1 值比較

在實際的機械設備運行中，軸承負載不一。為準確驗證DSGDF 模型的泛化性能，分別采用0、1、2 馬力負載下的軸承數據集進行故障診斷，驗證其在不同負載工況下的故障診斷能力。故障診斷正確率如表4 所示。

由表4 可知，DSGDF 模型對軸承故障診斷的平均正確率為99.35%。為進一步驗證該模型在其他負載條件下的泛化能力，引入負載為1 馬力、2 馬力的軸承數據集，進行與0 馬力相同配置的故障診斷試驗。結果表明，在1 馬力、2馬力負載狀況下，DSGDF 模型的平均故障診斷正確率均達99%以上，具有良好的泛化能力。

3.3.2 故障診斷效果與開銷驗證

選取0 馬力負載下，采樣頻率為12KHz，軸承內圈、外圈、滾動體風扇端加速度的9 組故障數據以及相對應的1組軸承健康數據，共10 組數據，10個樣本特征，約300 萬個數據點樣本。數據預處理按照“2.2”節步驟2 進行，得到級聯結構在訓練集上的學習效果如圖5 所示。可以看出，DSGDF 模型在50 次訓練時準確率達90%以上，在約160 次訓練時準確率達99.58%且收斂維持穩定的學習效果。該模型在測試集上的最終診斷效果如圖6 所示，在數據集0～9上的診斷率最低為99.32%，最高為99.58%，平均診斷率為99.53%，具有較高的故障診斷精準率。

Table 4 Accuracy of fault diagnosis of different load bearings with DSGDF表4 DSGDF 模型在不同負載下的軸承故障診斷正確率 單位：%

Fig.5 Learning effect of cascade structure on training set圖5 級聯結構在訓練集上的學習效果

Fig.6 Diagnostic effect of DSGDF method on the test set圖6 DSGDF 模型在測試集上的診斷效果

在診斷開銷方面，為控制單一開銷變量，各模型診斷效果忽略不計。圖7 為各模型診斷300 萬個數據點的時間開銷，其中DT 的診斷時間最長，為6h，基于特征工程的方法診斷開銷普遍大于基于深度學習的方法。DSGDF 模型表現出色，診斷開銷最少且相較DF 模型開銷降低了0.73h。

Fig.7 Cost comparison of various diagnostic methods圖7 各類診斷方法開銷比較

3.3.3 小樣本數據故障診斷效果驗證

采用4 種不同類型的小樣本平均故障診斷精準率驗證軸承故障診斷方法的性能，結果如表5 所示。“5 類”表示在訓練模型時有1 類健康樣本和4 類故障樣本，且每類樣本含有1 000個數據點，其余依此類推。當使用5 類樣本訓練模型時，KNN、DT 這類基于特征工程的方法診斷正確率最低；基于深度學習的方法，如CNN、LSTM 的診斷正確率嚴重受樣本個數影響。使用20 類樣本數據時，CNN 的診斷正確率相較使用5 類樣本數據時提高了25.51%，LSTM 提高了34.00%。基于樹的3 類模型RF、DF、DSGDF 受樣本數據影響較小，在小樣本數據為5 類時，RF 診斷正確率為83.24%，DF 診斷正確率為93.32%，DSGDF 診斷正確率為98.00%，且DSGDF 在各類小樣本數據集診斷中均表現出色。

實驗結果表明，訓練樣本數量會在一定程度上影響模型的訓練效果，可能有以下兩個原因：①對于大多數基于特征工程的方法來說，較少的樣本數據會導致其無法多樣性分割信號間隔，精準率不高；②對于大多數基于深度學習的方法來說，當樣本數據較少時，超參數較多的深度學習方法會產生嚴重的過擬合現象。

Table 5 Accuracy of fault diagnosis for small sample data of various methods表5 各類方法小樣本數據故障診斷正確率 單位：%

4 結語

本文提出一種基于DSGDF 模型的軸承故障診斷方法，其通過集成深度森林模型與梯度下降算法，克服了現階段基于深度學習模型的軸承故障診斷方法超參數多、診斷開銷大、無法診斷小樣本的短板，為軸承故障診斷提供了新思路。通過理論分析、實驗驗證得出以下結論：①DSGDF模型所需超參數較少，平均診斷F1 值在0.98 左右，證明該模型具有良好的魯棒性與穩定性；②通過多負載變化實驗以及開銷驗證，發現DSGDF 模型具有良好的泛化性與小開銷特性；③DSGDF 模型每類診斷只含有1 000個數據點，適用于小樣本故障診斷。然而，本文在實驗過程中僅在CPU上對DSGDF 模型進行實驗驗證，未使用GPU 加速，這將是下一步研究的重點。