一種面向深度信念網(wǎng)絡(luò)的故障診斷加速方法

宋旭東，楊杰，陳藝琳

(大連交通大學(xué) 計(jì)算機(jī)與通信工程學(xué)院，遼寧 大連 116028)

隨著新型傳感技術(shù)和智能制造的發(fā)展，現(xiàn)代機(jī)械設(shè)備可以實(shí)時(shí)采集到大量的反應(yīng)機(jī)械運(yùn)行狀態(tài)的數(shù)據(jù)，利用這些實(shí)時(shí)采集的狀態(tài)數(shù)據(jù)和基于數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)方法等人工智能方法可以有效對(duì)機(jī)械設(shè)備運(yùn)行狀態(tài)及其故障進(jìn)行診斷.由于可能存在的設(shè)備故障呈現(xiàn)出多源異構(gòu)性、海量性、多樣性等特點(diǎn)，對(duì)于故障診斷的魯棒性、實(shí)時(shí)性、泛化能力等方面提出了更高要求.大量實(shí)驗(yàn)表明，與傳統(tǒng)機(jī)器學(xué)習(xí)方法相比，深度學(xué)習(xí)(Deep Learning，DL)具有更強(qiáng)大的特征提取、數(shù)據(jù)壓縮、故障分類等能力，而且不需要過多的專業(yè)知識(shí)和人工干預(yù)，最大程度地減小了故障診斷的難度.近些年來的研究成果表明，以深度學(xué)習(xí)為代表的故障識(shí)別技術(shù)，極大豐富了故障診斷的技術(shù)，進(jìn)而保證機(jī)械設(shè)備的正常運(yùn)行[1-2].

深度信念網(wǎng)絡(luò)(Deep Belief Network，DBN)是深度學(xué)習(xí)中最為代表的一類深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，它是在受限玻爾茲曼機(jī)(Restricted Boltzmann Machines，RBM)的基礎(chǔ)上設(shè)計(jì)出的一種無監(jiān)督逐層訓(xùn)練算法，能夠?qū)崿F(xiàn)數(shù)據(jù)特征的有效表達(dá)，有效實(shí)現(xiàn)模式識(shí)別[3-4].DBN具有兩個(gè)很大的優(yōu)點(diǎn)，它們很有吸引力并且適用于故障診斷.首先，DBN可以近似任何連續(xù)函數(shù)，可用于建模和控制多變量非線性系統(tǒng)[5-8].其次，DBN是非參數(shù)數(shù)據(jù)驅(qū)動(dòng)的模型，它不需要對(duì)生成數(shù)據(jù)的基礎(chǔ)過程進(jìn)行限制性假設(shè).因此，DBN可以準(zhǔn)確有效地識(shí)別振動(dòng)信號(hào),判斷滾動(dòng)軸承早期的故障特征[9-10].

雖然現(xiàn)有的各種深度信念網(wǎng)絡(luò)學(xué)習(xí)模型可以通過大量的訓(xùn)練得到有效的故障診斷結(jié)果，但是許多計(jì)算模型在進(jìn)行訓(xùn)練時(shí)具有計(jì)算復(fù)雜度高、訓(xùn)練時(shí)間長(zhǎng)等問題.現(xiàn)有的解決該問題的方法一般是特征提取或者數(shù)據(jù)降維等數(shù)據(jù)預(yù)處理方法，但這種方法本質(zhì)上是通過減縮數(shù)據(jù)量來達(dá)到效率提升的目的，這種方法在數(shù)據(jù)減縮的同時(shí)也同樣會(huì)存在部分?jǐn)?shù)據(jù)特征的丟失，進(jìn)而影響故障診斷的準(zhǔn)確率.本文提出一種通過修改模型本身的損失函數(shù)來減少計(jì)算量、加快訓(xùn)練、提升效率的方法，同時(shí)提出的方法不會(huì)降低故障診斷的準(zhǔn)確率.

1 深度信念網(wǎng)絡(luò)模型

深度信念網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示，它是一種概率生成模型，由多個(gè)受限玻爾茲曼機(jī)RBM堆疊而成.網(wǎng)絡(luò)模型結(jié)構(gòu)的最下層是輸入層，最上層是輸出層.從輸入層到輸出層，可包括多個(gè)相鄰層的RBM層和一個(gè)BP層.

圖1 深度信念網(wǎng)絡(luò)模型結(jié)構(gòu)

深度信念網(wǎng)絡(luò)模型訓(xùn)練過程包含兩部分：一是使用貪心無監(jiān)督方法逐層構(gòu)建網(wǎng)絡(luò)，由低層到高層的前向RBM逐層學(xué)習(xí)；二是基于反向傳播的BP層監(jiān)督學(xué)習(xí)，在BP層完成后向微調(diào)學(xué)習(xí).

2 提出的故障診斷加速方法

為加速深度信念網(wǎng)絡(luò)模型訓(xùn)練，本文構(gòu)造的指數(shù)損失函數(shù)如下：

(1)

這里，選用均方誤差損失函數(shù)作為基本損失函數(shù)，式中Y是標(biāo)簽，DN是輸出層的節(jié)點(diǎn)個(gè)數(shù)，hN是模型的輸出.

用于深度信念網(wǎng)絡(luò)模型訓(xùn)練的代價(jià)函數(shù)的梯度計(jì)算可表示如下：

(2)

由此，本文構(gòu)造的新代價(jià)函數(shù)可以獲得更大的梯度來達(dá)到加速模型訓(xùn)練速度的效果.

提出的新的深度信念網(wǎng)絡(luò)故障診斷加速模型訓(xùn)練的流程如下：

輸入：數(shù)據(jù)集X，標(biāo)簽集Y

隱藏層h，層數(shù)N，每一層的單元個(gè)數(shù)D1,D2,…，DN,迭代次數(shù)Q1,Q2

參數(shù)空間W={w1,w2,…,wN},偏置a、b,沖量θ，學(xué)習(xí)率η

標(biāo)注數(shù)據(jù)的個(gè)數(shù)L，未標(biāo)注數(shù)據(jù)的個(gè)數(shù)U

輸出：包含訓(xùn)練后參數(shù)空間的DBN網(wǎng)絡(luò)

處理：

(1)使用貪心無監(jiān)督方法逐層構(gòu)建網(wǎng)絡(luò)

fork=1;k

fori=1;i

forj=1;j

計(jì)算非線性正向和反向狀態(tài)

CD算法更新權(quán)重和偏置

(2)基于反向傳播的監(jiān)督學(xué)習(xí)

計(jì)算代價(jià)函數(shù)并反向微調(diào)網(wǎng)絡(luò)參數(shù)以尋找模型最優(yōu)解

fori=1;i

損失函數(shù)：

目標(biāo)函數(shù)：

θ*=arg minθL(f(X;θ))

NAG算法更新權(quán)重：

3 實(shí)驗(yàn)驗(yàn)證

為驗(yàn)證本文提出的故障診斷加速方法，選用美國(guó)凱斯西儲(chǔ)大學(xué)提供的軸承故障數(shù)據(jù)集[11].該數(shù)據(jù)集是世界公認(rèn)的軸承故障診斷標(biāo)準(zhǔn)數(shù)據(jù)集.提供的數(shù)據(jù)集包括了正常、滾動(dòng)體、內(nèi)圈和外圈等4種不同軸承部位狀態(tài)；對(duì)于不同部位又分別提供了0.018、0.036和0.053 mm三種直徑尺寸故障；同時(shí)包括四種工 作 負(fù) 載1、2和3hp， 轉(zhuǎn)速為C=1 797、1 772、1 750、1 730 r/min.

為了便于提高訓(xùn)練速度和分類精度，對(duì)每段信號(hào)均做標(biāo)準(zhǔn)歸一化處理，標(biāo)準(zhǔn)歸一化處理如式(3)所示：

NewX=(X-mean)/std

(3)

式中,X為信號(hào)數(shù)據(jù)集，mean為其均值，std為其標(biāo)準(zhǔn)差.NewX是得到的標(biāo)準(zhǔn)歸一化數(shù)據(jù)，其均值為0，標(biāo)準(zhǔn)差為1，符合標(biāo)準(zhǔn)正態(tài)分布.

本文實(shí)驗(yàn)是基于Python語(yǔ)言，采用以WTensorFlow為底層代碼實(shí)現(xiàn)，計(jì)算機(jī)硬件基本配置為i7-8750H處理器，8GB內(nèi)存，Windows系統(tǒng).

3.1 加速前后故障診斷對(duì)比實(shí)驗(yàn)

設(shè)定輸入端節(jié)點(diǎn)數(shù)為800，為了便于學(xué)習(xí)和減少計(jì)算量，本文使用的兩層隱藏層節(jié)點(diǎn)數(shù)為500、500，輸出端為10.小批量mini-batch的大小設(shè)置為50，學(xué)習(xí)因子設(shè)置為0.01，每個(gè)RBM的預(yù)訓(xùn)練次數(shù)為2.使用動(dòng)量(Momentum)的隨機(jī)梯度下降法加速訓(xùn)練過程，動(dòng)量因子設(shè)置為0.9.對(duì)于數(shù)據(jù)集A、B和C，訓(xùn)練次數(shù)上限15 000次.由于神經(jīng)網(wǎng)絡(luò)的初值是隨機(jī)的，為了驗(yàn)證每次訓(xùn)練結(jié)果的可靠性，對(duì)于每個(gè)數(shù)據(jù)集，多次測(cè)試，取其最接近平均值的單次訓(xùn)練作對(duì)比，如圖2所示.

圖2 加速前后故障診斷模型訓(xùn)練過程對(duì)比圖

從圖中可以看出，改進(jìn)后的模型具有明顯的加速效果，使用更少的訓(xùn)練次數(shù)就可以到達(dá)很高的分類準(zhǔn)確率.并且因?yàn)橛?jì)算復(fù)雜度與迭代次數(shù)成正比，實(shí)際模型獲得穩(wěn)定的故障診斷結(jié)果所需的訓(xùn)練時(shí)間不到改進(jìn)前模型所需時(shí)間的一半.并且加速后的模型在整個(gè)訓(xùn)練過程中訓(xùn)練集和測(cè)試集的最大差值不超過0.035，具有良好的泛化能力.

圖3 改進(jìn)前故障診斷模型訓(xùn)練過程可視化圖

圖4 改進(jìn)后故障診斷模型訓(xùn)練過程可視化圖

3.2 加速前后故障診斷的可視化分析

為了更好地理解訓(xùn)練數(shù)據(jù)的效果，本文利用T-sne可視化技術(shù)展示部分實(shí)驗(yàn)結(jié)果.圖3、圖4顯示了由迭代次數(shù)下的訓(xùn)練樣本訓(xùn)練的DBN模型中測(cè)試樣本的最后一個(gè)隱藏層表示.

從圖3、圖4可以看出，大約在迭代1 800次左右，改進(jìn)后的模型就可以達(dá)到穩(wěn)定的高分類正確率，而原始模型需要大約迭代4 000次才能得到穩(wěn)定的高分類正確率.在不同的迭代次數(shù)下，改進(jìn)后的模型可以更快地獲得明顯的區(qū)分、更好的故障診斷準(zhǔn)確率，這使得模型可以更快地得到很好的診斷故障類別.

4 結(jié)論

本文提出了一種面向深度信念網(wǎng)絡(luò)故障診斷加速方法，通過模型實(shí)驗(yàn)表明提出的DBN故障診斷加速方法的實(shí)驗(yàn)結(jié)果十分穩(wěn)定，均能在迭代2 000次以內(nèi)獲得最大的分類準(zhǔn)確率.比原有效果提升了一半以上的效率.并且分類結(jié)果清晰，不同的故障診斷類型間具有較大的分類間隔，不容易出現(xiàn)誤判.實(shí)驗(yàn)說明了本文提出的模型訓(xùn)練加速方法具有更快、更強(qiáng)的尋優(yōu)能力，具有一定實(shí)際意義和應(yīng)用價(jià)值.