基于CNN-SVM的深度卷積神經(jīng)網(wǎng)絡(luò)軸承故障識(shí)別研究

胡曉依， 荊云建， 宋志坤， 侯銀慶

(1.中國(guó)鐵道科學(xué)研究院 鐵道科學(xué)技術(shù)研究發(fā)展中心，北京 100081；2.北京交通大學(xué) 機(jī)械與電子控制工程學(xué)院，北京 100044)

基于數(shù)據(jù)驅(qū)動(dòng)的智能診斷主要是通過(guò)機(jī)器學(xué)習(xí)方法對(duì)由信號(hào)處理得到的故障特征進(jìn)行分類識(shí)別，常用的識(shí)別算法有：支持向量機(jī)(Support Vector Machine, SVM)、人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，ANN)、鄰近1算法(k-Nearest Neighbor，KNN)等，識(shí)別效果取決于故障特征能否準(zhǔn)確地反映出故障類型的本質(zhì)區(qū)別，雖然傳統(tǒng)智能診斷取得了重要成果，但基于模式識(shí)別的“淺層網(wǎng)絡(luò)”模型表達(dá)能力有限、泛化能力不足，且依賴于信號(hào)處理技術(shù)和故障診斷經(jīng)驗(yàn)[1]。而深度學(xué)習(xí)模型有強(qiáng)大的表達(dá)能力，將特征提取與分類識(shí)別融為一體，降低對(duì)信號(hào)處理技術(shù)依賴的同時(shí)也滿足了工業(yè)大數(shù)據(jù)背景下海量、高維數(shù)據(jù)的分析需求[2]。近年來(lái)國(guó)內(nèi)外學(xué)者對(duì)深度學(xué)習(xí)應(yīng)用于故障診斷已作出一些研究，如Jia等[3]針對(duì)不平衡樣本數(shù)據(jù)集，通過(guò)正則化權(quán)值、加權(quán)損失函數(shù)等改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)，對(duì)非平衡樣本下的滾動(dòng)軸承故障進(jìn)行識(shí)別，并且對(duì)卷積核的物理意義作了探究；Shao等[4]提出改進(jìn)的壓縮感知卷積深度置信網(wǎng)絡(luò)用于滾動(dòng)軸承振動(dòng)信號(hào)的特征學(xué)習(xí)與故障識(shí)別，使用壓縮感知減少振動(dòng)數(shù)據(jù)量以提高分析效率，再通過(guò)高斯可見單元構(gòu)建CDBN模型對(duì)軸承故障進(jìn)行分類識(shí)別；袁建虎[5]提出基于小波時(shí)頻圖和卷積神經(jīng)網(wǎng)絡(luò)的診斷方法，對(duì)振動(dòng)信號(hào)進(jìn)行連續(xù)小波變換得到以灰度圖顯示的時(shí)頻圖作為故障特征，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)識(shí)別滾動(dòng)軸承故障。王麗華等[6]使用短時(shí)傅里葉變換將振動(dòng)信號(hào)轉(zhuǎn)換為時(shí)頻圖后通過(guò)卷積神經(jīng)網(wǎng)絡(luò)識(shí)別異步電機(jī)故障，取得了理想的識(shí)別效果，基于深度學(xué)習(xí)理論建立故障診斷模型的研究已初見成效,但均存在計(jì)算量龐大、模型復(fù)雜度高、模型訓(xùn)練較困難等問(wèn)題。

本文使用深度學(xué)習(xí)的經(jīng)典算法-卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)，并將支持向量機(jī)融入模型，引入深度學(xué)習(xí)的模型優(yōu)化技術(shù)，提出適于軸承故障診斷的CNN-SVM深度卷積神經(jīng)網(wǎng)絡(luò)模型，模型直接作用于原始實(shí)測(cè)軸承振動(dòng)信號(hào)，自適應(yīng)地從原始數(shù)據(jù)中逐層學(xué)習(xí)故障特征，模型頂層分類器實(shí)現(xiàn)不同故障的精細(xì)化識(shí)別，文中引入批量歸一化(Batch Normalization，BN)與dropout等模型優(yōu)化技術(shù)配合改進(jìn)型的SVM分類器，來(lái)提升模型的收斂速度與泛化能力。

1 CNN卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)與算法原理

1.1 卷積層與池化層

池化層又稱下采樣層，對(duì)卷積得到特征圖做進(jìn)一步壓縮，以均值池化和最大值池化最為常見，池化層的計(jì)算公式如式(3)所示，本文擬采取最大值池化方式。

(1)

(2)

(3)

1.2 全連接層與SVM分類器

卷積池化后的特征圖進(jìn)入全連接層進(jìn)行分類，首先需將卷積后的特征圖光柵化為一維向量，使得局部特征在更高維度上進(jìn)行全局信息整合。

針對(duì)滾動(dòng)軸承一維振動(dòng)信號(hào)和數(shù)據(jù)集樣本數(shù)量較少的問(wèn)題，本文引入針對(duì)小樣本數(shù)據(jù)分類效果更為穩(wěn)定的SVM分類器。SVM是建立在統(tǒng)計(jì)學(xué)習(xí)理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理基礎(chǔ)上的機(jī)器學(xué)習(xí)算法，通過(guò)定義適當(dāng)?shù)暮撕瘮?shù)實(shí)現(xiàn)非線性變換將輸入空間變換到線性可分的高維空間，找到高維空間的最優(yōu)線性超平面[7]。傳統(tǒng)支持向量機(jī)解決二分類問(wèn)題，而針對(duì)滾動(dòng)軸承不同故障部位和不同故障程度的多分類問(wèn)題，可采用“一對(duì)多”、“一對(duì)一”和“有向無(wú)環(huán)圖”等方法實(shí)現(xiàn)多分類，本文擬采用“一對(duì)一”法，即針對(duì)N類樣本，每?jī)深悩颖居?xùn)練一個(gè)子分類器，共構(gòu)造N(N-1)/2個(gè)子分類器，在預(yù)測(cè)新樣本所屬類別時(shí)每個(gè)子分類器都對(duì)其進(jìn)行判別并為相應(yīng)類別“投得一票”，最后決策階段以獲得票數(shù)最多的類別作為被識(shí)別樣本的類別。

1.3 模型目標(biāo)函數(shù)與訓(xùn)練算法

監(jiān)督學(xué)習(xí)中，引入目標(biāo)函數(shù)(Loss函數(shù))來(lái)評(píng)價(jià)輸入數(shù)據(jù)經(jīng)模型后的輸出值與期望值的一致性程度，引入式(4)所示的平方折葉損失函數(shù)，為抑制數(shù)值較大的權(quán)值，提升模型的泛化性，引入式(5)所示正則化懲罰項(xiàng)，SVM多分類Loss函數(shù)合并為式(6)。

Li=∑j≠yimax(0,f(xi;W)-f(xi;W)yi+Δ)2

(4)

(5)

(6)

式中：xi為第i個(gè)樣本數(shù)據(jù)，其正確標(biāo)簽為yi；f(xi;W)j為第j個(gè)分類經(jīng)評(píng)分函數(shù)f計(jì)算的得分；Δ為邊界值；W為權(quán)重；λ為懲罰強(qiáng)度。

Adam訓(xùn)練算法[8]：Adam是一種學(xué)習(xí)率自適應(yīng)的優(yōu)化算法，利用梯度的一階矩估計(jì)和二階矩估計(jì)動(dòng)態(tài)調(diào)整每個(gè)參數(shù)的學(xué)習(xí)率，在反向傳播階段，更新權(quán)值求得全局最優(yōu)解，使Loss函數(shù)達(dá)到最小值。

1.4 模型優(yōu)化技術(shù)

文在搭建軸承故障診斷深度卷積神經(jīng)網(wǎng)絡(luò)模型時(shí)將在全連接層引入Dropout處理，并嘗試在卷積層中添加BN層，并通過(guò)實(shí)驗(yàn)過(guò)程來(lái)驗(yàn)證Dropout和BN的實(shí)際效果。

(7)

(8)

(9)

(10)

2 實(shí)驗(yàn)數(shù)據(jù)與信號(hào)時(shí)域分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

采用CWRU的滾動(dòng)軸承數(shù)據(jù)集，通過(guò)電火花加工單點(diǎn)損傷，故障位置有內(nèi)圈、外圈、滾動(dòng)體，故障直徑包括:0.18 mm，0.36 mm，0.54 mm。在0～3 hp四種負(fù)荷下，由12 kHz加速度傳感器測(cè)得數(shù)據(jù)。同一種故障類型可能出現(xiàn)在不同工況、不同軸承位置中，數(shù)據(jù)集要盡可能全面地呈現(xiàn)軸承狀態(tài)，將不同故障位置，將不同損傷程度軸承都單獨(dú)看作一類，數(shù)據(jù)集共有包含正常軸承在內(nèi)的10種類型，以1 024個(gè)數(shù)據(jù)點(diǎn)為一個(gè)樣本，共8 000個(gè)實(shí)驗(yàn)樣本，實(shí)驗(yàn)數(shù)據(jù)集如表1所示。

2.2 振動(dòng)信號(hào)時(shí)域波形

十種不同狀態(tài)的軸承振動(dòng)信號(hào)時(shí)域波形如圖1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)集

圖1 不同狀態(tài)的軸承振動(dòng)信號(hào)時(shí)域波形Fig.1 Bearing vibrations of different time-domain waveform signal state

不同類型的故障信號(hào)時(shí)域波形有較明顯區(qū)別，而同種故障的不同損傷程度則難以區(qū)分，為了實(shí)現(xiàn)早期微弱故障的診斷與不同程度故障的精細(xì)化識(shí)別，研究基于深度學(xué)習(xí)模型的自適應(yīng)特征提取方法。

3 模型搭建與實(shí)驗(yàn)結(jié)果分析

3.1 卷積神經(jīng)網(wǎng)絡(luò)的模型架構(gòu)設(shè)計(jì)

針對(duì)1 024維的原始振動(dòng)信號(hào)，設(shè)計(jì)如圖2所示的“卷積-池化-卷積-池化-卷積-池化-全連接-SVM分類器”結(jié)構(gòu)的模型，三層卷積池化來(lái)提取原始信號(hào)的特征。為了獲得豐富的感受野[11]以提取到更多的有效特征，同時(shí)避免冗余的計(jì)算，卷積核的大小和數(shù)量須適當(dāng)，逐層減小的卷積核可以有效地壓縮模型的參數(shù)。模型具體參數(shù)如表2所示。

圖2 模型結(jié)構(gòu)示意圖Fig.2 Model structure diagram

網(wǎng)絡(luò)層卷積核數(shù)量大小步長(zhǎng)網(wǎng)絡(luò)層輸出卷積164@1 x 321 x 264@1 x 512池化164@1 x 21 x 264@1 x 256卷積232@1 x 161 x 232@1 x 128池化232@1 x 21 x 232@1 x 64卷積332@1 x 81 x 232@1 x 32池化332@1 x 21 x 232@1 x 16全連接1 300300全連接21010

3.2 模型搭建與實(shí)驗(yàn)結(jié)果分析

基于Python-Tensorflow搭建模型，在Inter-i7-7700CPU，GTX1070-8 G，16 G內(nèi)存的計(jì)算條件下進(jìn)行實(shí)驗(yàn)，并在可視化工具Tensorboard中記錄實(shí)驗(yàn)數(shù)據(jù)。

將數(shù)據(jù)集隨機(jī)以6 ∶4劃分訓(xùn)練集、測(cè)試集，實(shí)驗(yàn)1：使用表2參數(shù)搭建模型，使用交叉熵?fù)p失函數(shù)和Softmax分類器，超參數(shù)設(shè)置：mini-batch=100，學(xué)習(xí)率0.001，Dropout=0.75。實(shí)驗(yàn)2：在實(shí)驗(yàn)1的基礎(chǔ)上將每層卷積得到的特征圖進(jìn)行批量歸一化處理后再進(jìn)行激活函數(shù)轉(zhuǎn)換，沿用表2模型參數(shù)和實(shí)驗(yàn)1超參數(shù)設(shè)置。實(shí)驗(yàn)3：在實(shí)驗(yàn)2的基礎(chǔ)上，引入SVM多分類損失函數(shù)和SVM分類器來(lái)進(jìn)一步優(yōu)化模型，沿用表2模型參數(shù)和實(shí)驗(yàn)2超參數(shù)設(shè)置，SVM的核函數(shù)采用高斯徑向基函數(shù)(Radial Basis Function,RBF)，經(jīng)過(guò)K折交叉驗(yàn)證確定懲罰因子C=8.94、核參數(shù)γ=3.26。

各實(shí)驗(yàn)的分類準(zhǔn)確率和Loss函數(shù)值如圖3和圖4所示，實(shí)驗(yàn)1中訓(xùn)練至3 500次時(shí)，模型收斂，訓(xùn)練集、測(cè)試集準(zhǔn)確率分別達(dá)到89.5%，87.1%，Loss值分別降至1.58，1.62，雖未發(fā)生過(guò)擬合，但是識(shí)別準(zhǔn)確率較低、訓(xùn)練步長(zhǎng)較多；實(shí)驗(yàn)2訓(xùn)練至2 000次時(shí)，模型收斂，訓(xùn)練集、測(cè)試集準(zhǔn)確率分別達(dá)到96%，94%，同時(shí)Loss值也進(jìn)一步降低至1.50，1.52，BN層的介入顯著地加快了訓(xùn)練速度，同時(shí)準(zhǔn)確率也有較大的提升，過(guò)擬合的風(fēng)險(xiǎn)進(jìn)一步降低；實(shí)驗(yàn)3訓(xùn)練至600次時(shí)，模型已完全收斂，訓(xùn)練集、測(cè)試集分類準(zhǔn)確率分別達(dá)到100%，99%，Loss值也降低至0.01，0.05。實(shí)驗(yàn)結(jié)果表明，采用SVM分類器配合BN層，有效地提升模型收斂速度和分類準(zhǔn)確率，模型的泛化能力得以顯著提升，為進(jìn)一步說(shuō)明BN層和SVM分類器對(duì)模型訓(xùn)練速度的提升作用，記錄各實(shí)驗(yàn)的訓(xùn)練時(shí)間如表3所示，可以看出增加BN層以及使用“一對(duì)一”分類策略的SVM多分類器均會(huì)增加單步訓(xùn)練時(shí)長(zhǎng)，但訓(xùn)練步數(shù)的有效減少則大幅度降低了總體訓(xùn)練時(shí)長(zhǎng)，加快了模型的收斂速度。

圖3 準(zhǔn)確率變化曲線Fig.3 Accuracy change curve

圖4 Loss函數(shù)變化曲線Fig.4 Loss function curve

表3 各實(shí)驗(yàn)的訓(xùn)練時(shí)間

3.3 模型泛化能力驗(yàn)證

考慮到實(shí)際工況中，實(shí)測(cè)軸承振動(dòng)信號(hào)中往往混雜大量干擾噪聲，本文將研究不同噪聲水平下，深度卷積網(wǎng)絡(luò)模型的穩(wěn)定性、泛化能力與強(qiáng)化學(xué)習(xí)下的提升能力[12]。將測(cè)試集2 000個(gè)樣本全部添加不同信噪比的(SNR=-3～3)高斯白噪聲，使用實(shí)驗(yàn)3訓(xùn)練好的模型來(lái)測(cè)試加噪測(cè)試集的準(zhǔn)確率。圖5為滾動(dòng)體中度磨損添加信噪比SNR=-1噪聲時(shí)的振動(dòng)信號(hào)時(shí)、頻域波形。

圖5 噪聲信號(hào)時(shí)、頻域波形Fig.5 Noise signal time domain and frequency domain diagram

加噪測(cè)試集的分類準(zhǔn)確率如圖6所示，在噪聲干擾下模型可保持較高的準(zhǔn)確率，說(shuō)明優(yōu)化后的模型有著較強(qiáng)的抗噪聲穩(wěn)定性和泛化能力。

3.4 模型的強(qiáng)化學(xué)習(xí)能力

隨機(jī)選取少量訓(xùn)練集樣本添加不同信噪比的噪聲制作如表4所示的強(qiáng)化訓(xùn)練集，經(jīng)過(guò)一定次數(shù)的微調(diào)訓(xùn)練，測(cè)試不同信噪比下的加噪測(cè)試集準(zhǔn)確率，得到如圖7所示的準(zhǔn)確率變化曲線，可以看出只需添加少量的噪聲樣本，模型可迅速學(xué)習(xí)到噪聲干擾下的數(shù)據(jù)分布特征。深度學(xué)習(xí)模型擁有小樣本數(shù)據(jù)微調(diào)的強(qiáng)化學(xué)習(xí)能力，在數(shù)據(jù)復(fù)雜多變的情況下，可不斷調(diào)整和優(yōu)化模型。

圖6 不同噪聲程度測(cè)試集的準(zhǔn)確率Fig.6 Different noise level test set accuracy

實(shí)驗(yàn)編號(hào)噪聲樣本樣本信噪比/個(gè)數(shù)訓(xùn)練次數(shù)100260-1/20 0/20 1/20503900-1/30 0/30 1/30504120-1/40 0/40 1/4050

圖7 各微調(diào)實(shí)驗(yàn)下的加噪測(cè)試集的準(zhǔn)確率Fig.7 The accuracy of the noise-added test set under each fine-tuning experiment

3.5 模型性能對(duì)比

為進(jìn)一步驗(yàn)證基于深度學(xué)習(xí)模型的軸承診斷方法的效果，將其與如下幾種基于傳統(tǒng)機(jī)器學(xué)習(xí)分類的軸承診斷方法進(jìn)行對(duì)比:①按照文獻(xiàn)[13]提出的方法，使用EMD對(duì)信號(hào)進(jìn)行分解，提取信號(hào)的各階模態(tài)特征構(gòu)造SVM的輸入向量；②參考趙志宏[14]提出方法，將小波分解得到的近似和細(xì)節(jié)系數(shù)計(jì)算信號(hào)的相對(duì)小波能量作為特征向量，通過(guò)SVM進(jìn)行分類；③參考文獻(xiàn)[15]提出的方法，提取波形因子、裕度因子、峭度、均方根頻率、頻率標(biāo)準(zhǔn)差等8個(gè)時(shí)頻特征作為SVM的輸入向量。

在相同計(jì)算條件下，以上述幾種方法搭建模型，在測(cè)試集和加噪測(cè)試集(測(cè)試集全部添加SNR=1的高斯白噪聲)上的準(zhǔn)確率如表5所示,四種方法在不含噪聲的測(cè)試集上均有較理想的準(zhǔn)確率，但在加噪測(cè)試集上準(zhǔn)確率遠(yuǎn)低于本文提出的診斷方法，同時(shí)相較于其他方法CNN-SVM模型的計(jì)算效率也較好。

表5 不同方法的準(zhǔn)確率

4 結(jié) 論

(1)本文提出的基于深度學(xué)習(xí)理論的卷積神經(jīng)網(wǎng)絡(luò)模型能十分有效地進(jìn)行軸承故障診斷。

(2)文中搭建的模型將特征提取與分類識(shí)別融為一體，能夠直接從原始實(shí)測(cè)振動(dòng)信號(hào)中通過(guò)逐層卷積學(xué)習(xí)到故障特征，實(shí)現(xiàn)不同故障類型的精細(xì)化識(shí)別。

(3)通過(guò)引入批量歸一化、dropout處理和使用SVM分類器優(yōu)化模型，可顯著提升模型收斂速度與分類準(zhǔn)確率。

(4)本文提出的診斷模型有較強(qiáng)的泛化性，在強(qiáng)烈噪聲的干擾下可保持較高的分類準(zhǔn)確率，并且具有基于小樣本數(shù)據(jù)強(qiáng)化學(xué)習(xí)的能力，可根據(jù)所分析數(shù)據(jù)的變化不斷優(yōu)化模型。