基于Transformer-LSTM網(wǎng)絡(luò)的軸承壽命預(yù)測(cè)

張 帆, 姚德臣, 姚圣卓, 楊建偉, 王琰亮, 魏明輝, 胡忠碩

(1.北京建筑大學(xué) 機(jī)電與車輛工程學(xué)院,北京 100044;2. 北京建筑大學(xué) 城市軌道交通車輛服役性能保障北京市重點(diǎn)實(shí)驗(yàn)室,北京 100044;3. 北京交通大學(xué) 機(jī)械與電子控制工程學(xué)院,北京 100044)

現(xiàn)代機(jī)械工業(yè)大力發(fā)展,軸承的復(fù)雜程度、精細(xì)程度都有了很大的提升[1]。在實(shí)際工程應(yīng)用中要保障軸承的安全運(yùn)行,實(shí)際應(yīng)用中需要實(shí)時(shí)掌握設(shè)備的運(yùn)行狀態(tài),根據(jù)傳感器所采集的數(shù)據(jù)進(jìn)行預(yù)測(cè)。在過(guò)去的幾十年里,機(jī)器維護(hù)策略已經(jīng)從基于條件的維護(hù)策略發(fā)展為智能預(yù)測(cè)維護(hù)[2]。

隨著近幾年深度學(xué)習(xí)技術(shù)的快速發(fā)展,故障診斷方法得以快速提升。深度學(xué)習(xí)能夠解決混合振動(dòng)信號(hào)提取特征信息的問(wèn)題,降低人工特征提取的難度[3]。當(dāng)今的軸承壽命智能預(yù)測(cè)注重挖掘當(dāng)前軸承狀態(tài)數(shù)據(jù)與剩余使用壽命(remaining useful life, RUL)之間的潛在關(guān)系,這種數(shù)據(jù)驅(qū)動(dòng)的方法已成為主流的軸承RUL預(yù)測(cè)[4]的方法。特別是隨著深度學(xué)習(xí)[5]的突破性創(chuàng)新,該技術(shù)在軸承RUL預(yù)測(cè)[6]方面顯示出了優(yōu)勢(shì)。在近些年的研究中,不同的研究者通過(guò)各自的研究將不同的預(yù)測(cè)方法應(yīng)用于軸承壽命預(yù)測(cè)的領(lǐng)域中來(lái),為軸承RUL預(yù)測(cè)提供了許多新方法。

Ren[7]等通過(guò)研究自動(dòng)編碼技術(shù)與DNN(deep neural network)結(jié)合,實(shí)現(xiàn)了對(duì)軸承壽命的預(yù)測(cè)。DNN神經(jīng)網(wǎng)絡(luò)能夠較好地提取數(shù)據(jù)特征并進(jìn)行預(yù)測(cè),該網(wǎng)絡(luò)經(jīng)驗(yàn)?zāi)軌驅(qū)崿F(xiàn)預(yù)測(cè)精度的提升,為軸承壽命預(yù)測(cè)提供了新思路。Hinchi[8]等提出了一個(gè)基于卷積和長(zhǎng)短期記憶時(shí)序神經(jīng)網(wǎng)絡(luò)(long short term memory, LSTM)循環(huán)單元的RUL估計(jì)的端到端深度框架。通過(guò)利用卷積層直接從傳感器數(shù)據(jù)中提取局部特征,然后引入LSTM層來(lái)捕獲退化過(guò)程,最后利用LSTM輸出和預(yù)測(cè)時(shí)間值估計(jì)RUL。經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)特征提取的數(shù)據(jù)能為L(zhǎng)STM網(wǎng)絡(luò)提供了特征更強(qiáng)的學(xué)習(xí)樣本。但是,受制于LSTM的單向串行學(xué)習(xí)過(guò)程,數(shù)據(jù)在長(zhǎng)時(shí)間尺度的預(yù)測(cè)中會(huì)出現(xiàn)梯度消散問(wèn)題,導(dǎo)致特征的遺忘,數(shù)據(jù)泛化程低。Elsheikh[9]等為了提升LSTM網(wǎng)絡(luò)的泛化性,提出了一種雙向串行數(shù)據(jù)傳遞LSTM(bidirectional handshaking LSTM,BHLSTM)網(wǎng)絡(luò)。該方法通過(guò)前向處理單元處理數(shù)據(jù),并在最終狀態(tài)開(kāi)始反向處理。一定程度上提升了網(wǎng)絡(luò)的預(yù)測(cè)性能。雙向串行學(xué)習(xí)數(shù)據(jù)特征,更加滿足RUL預(yù)測(cè)的需求。但是BHLSTM模型依舊是依靠串行處理方式對(duì)數(shù)據(jù)進(jìn)行處理,雙向?qū)W習(xí)只能一定程度上緩解特征的消散,解決這個(gè)問(wèn)題需要將數(shù)據(jù)處理方式由串行轉(zhuǎn)換為并行處理方式。

為了提升循環(huán)神經(jīng)網(wǎng)絡(luò)串行處理數(shù)據(jù)出現(xiàn)的特征消散的問(wèn)題,姚德臣等[10]提出了一種基于注意力機(jī)制的門控循環(huán)單元(gated recurrent unit,GRU)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型。該方法通過(guò)在GRU計(jì)算之后的數(shù)據(jù)加入注意力機(jī)制,實(shí)現(xiàn)了網(wǎng)絡(luò)的預(yù)測(cè)準(zhǔn)確率上升。證明了在串行數(shù)據(jù)中引入并行特征提取單元能夠提升網(wǎng)絡(luò)預(yù)測(cè)性能。隨著注意力機(jī)制的發(fā)展,一種完全基于編碼與解碼的Transformer自注意力神經(jīng)網(wǎng)絡(luò)于2017年被提出。該網(wǎng)絡(luò)的提出深刻的影響了深度學(xué)習(xí)領(lǐng)域[11],研究者開(kāi)始將Transformer應(yīng)用于軸承壽命的預(yù)測(cè)。Transformer網(wǎng)絡(luò)通過(guò)并行的編碼層、解碼層對(duì)信息進(jìn)行學(xué)習(xí),極大的提升了神經(jīng)網(wǎng)絡(luò)對(duì)信息學(xué)習(xí)的能力。

Mo等[12]引入經(jīng)過(guò)Transformer編碼層與門控卷積單元網(wǎng)絡(luò)增強(qiáng)的卷積神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)了對(duì)NASA(National Aeronautics and Space Administration)公開(kāi)航空發(fā)動(dòng)機(jī)數(shù)據(jù)集C-MAPASS的壽命預(yù)測(cè)。其中在單工況雙故障的FD003數(shù)據(jù)集的均方根差最小為11.42,較LSTM-FNN網(wǎng)絡(luò)降低4.76。Mo等的研究為Transformer網(wǎng)絡(luò)應(yīng)用于軸承壽命RUL預(yù)測(cè)提供了支持。Transformer神經(jīng)網(wǎng)絡(luò)通過(guò)創(chuàng)新的多頭注意力機(jī)制,能夠更好提取軸承壽命數(shù)據(jù)特征,解決大數(shù)據(jù)預(yù)測(cè)時(shí)的準(zhǔn)確率問(wèn)題,提升預(yù)測(cè)的可靠性。隨著Transformer系列網(wǎng)絡(luò)的發(fā)展,越來(lái)越多的Transformer網(wǎng)絡(luò)被提出,例如ViT(Vision Transformer)、Swin Transformer等網(wǎng)絡(luò)。

Hao等[13]為了提升軸承預(yù)測(cè)精度,提升網(wǎng)絡(luò)泛化性能,提出了一種雙通道層次視覺(jué)Transformer(bi-channel hierarchical vision transformer,BCHViT)的滾動(dòng)軸承RUL預(yù)測(cè)模型。文章通過(guò)將IEEE PHM 2012數(shù)據(jù)挑戰(zhàn)賽數(shù)據(jù)集進(jìn)行小波變換并轉(zhuǎn)化為64×64圖片放入BCHViT網(wǎng)絡(luò)中,通過(guò)雙時(shí)間尺度學(xué)習(xí),一定程度上提升了網(wǎng)絡(luò)的預(yù)測(cè)性能。Ding等[14]提出了一種將卷積模塊與Transformer編碼層結(jié)合的CoT (convolutional transformer)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)軸承的信號(hào)特征進(jìn)行全局和局部建模,提升了網(wǎng)絡(luò)的特征提取能力,并同樣在IEEE PHM 2012數(shù)據(jù)挑戰(zhàn)賽數(shù)據(jù)集進(jìn)行試驗(yàn)。最終證明改進(jìn)網(wǎng)絡(luò)能夠提升軸承的退化。雖然Transformer系列網(wǎng)絡(luò)的預(yù)測(cè)性能有了較大的提升,但是該系列網(wǎng)絡(luò)依舊存在問(wèn)題。Li等[15]指出Transformer網(wǎng)絡(luò)在短時(shí)間序列預(yù)測(cè)問(wèn)題上,存在預(yù)測(cè)效果不準(zhǔn)確的問(wèn)題。因此,本文提出了一種能夠適應(yīng)不同壽命時(shí)長(zhǎng)的軸承預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)Transformer-LSTM神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)通過(guò)數(shù)據(jù)串并行結(jié)合的方式實(shí)現(xiàn)數(shù)據(jù)特征提取。在Transformer-LSTM網(wǎng)絡(luò)中,Transformer負(fù)責(zé)數(shù)據(jù)并行處理,關(guān)注數(shù)據(jù)具體部分。在預(yù)測(cè)長(zhǎng)壽命軸承時(shí),能夠保證特征不被遺忘,提升長(zhǎng)壽命軸承預(yù)測(cè)精準(zhǔn)度。LSTM負(fù)責(zé)數(shù)據(jù)串行處理,關(guān)注數(shù)據(jù)整體趨勢(shì)。在預(yù)測(cè)短壽命軸承時(shí),能夠保證足夠多的數(shù)據(jù)特征,提升短壽命軸承預(yù)測(cè)精度。

經(jīng)試驗(yàn)驗(yàn)證,Transformer-LSTM網(wǎng)絡(luò)擁有很好的泛化性與精度,能夠?qū)崿F(xiàn)跨數(shù)據(jù)集合的多組不同壽命時(shí)長(zhǎng)的軸承壽命精確預(yù)測(cè)。

1 Transformer-LSTM網(wǎng)絡(luò)搭建

1.1 位置編碼層

編碼層位于Transformer編碼層之前,為模型運(yùn)算提供對(duì)應(yīng)的數(shù)據(jù)位置信息。在位置編碼過(guò)程中,數(shù)據(jù)按照奇偶排列被分開(kāi),并分別賦予對(duì)應(yīng)的數(shù)據(jù)的位置信息,位置編碼如圖1所示。計(jì)算公式如式(1)、式(2)所示

圖1 位置編碼層結(jié)構(gòu)Fig.1 Positional encoding structure

(1)

(2)

式中:i為時(shí)間步長(zhǎng);s為維數(shù);d為對(duì)應(yīng)位置的數(shù)據(jù)編碼。通過(guò)位置編碼的原始數(shù)據(jù)被網(wǎng)賦予了順序編碼,從而實(shí)現(xiàn)學(xué)習(xí)位置信息的目的。在位置編碼的最后需要將局部位置特征提取結(jié)果表示出來(lái),公式如式(3)所示

fi=ei+pi

(3)

通過(guò)位置編碼與局部特征提取的數(shù)據(jù)能夠同時(shí)具有數(shù)據(jù)位置信息與特征信息,為Transformer編碼層提供輸入。

1.2 Transformer編碼層

Transformer編碼層能夠?yàn)門ransformer-LSTM網(wǎng)絡(luò)提供具有注意力的數(shù)據(jù),經(jīng)過(guò)Transformer編碼層處理的數(shù)據(jù)能夠在長(zhǎng)軸承壽命預(yù)測(cè)時(shí)提供更多的特征。數(shù)據(jù)通過(guò)Transformer編碼層的點(diǎn)積運(yùn)算從而產(chǎn)生對(duì)數(shù)據(jù)的注意力,并通過(guò)多個(gè)相同的Transformer編碼層并行處理,實(shí)現(xiàn)對(duì)數(shù)據(jù)的預(yù)測(cè)。構(gòu)成Transformer編碼層的主要結(jié)構(gòu)是多頭注意力機(jī)制和前饋層。每個(gè)多頭注意力機(jī)制和前饋層之后加入層規(guī)范化操作,經(jīng)過(guò)層規(guī)范化處理的數(shù)據(jù)能降低梯度爆等問(wèn)題,提升網(wǎng)絡(luò)的穩(wěn)定性。最后,在數(shù)據(jù)處理過(guò)程中一定程度地保留了原始數(shù)據(jù)特征,編碼層加入了兩個(gè)線性相加層,以此實(shí)現(xiàn)提升模型特征學(xué)習(xí)的效果。Transformer編碼層結(jié)構(gòu)如圖2所示。

圖2 Transformer編碼層結(jié)構(gòu)Fig.2 Transformer encoder layer structure

編碼層核心部分為多頭注意機(jī)制,這個(gè)部分是Transformer-LSTM模型實(shí)現(xiàn)精準(zhǔn)預(yù)測(cè)的關(guān)鍵部分。多頭注意實(shí)力機(jī)制由多個(gè)具有自注意力的頭組成的。多頭注意力機(jī)制中自注意過(guò)程可以描述為一個(gè)由查詢向量和一組鍵-值向量矩陣求解的過(guò)程。其中查詢向量(Q)、鍵向量(K)、權(quán)重向量(V)由之前一個(gè)輸出轉(zhuǎn)換而來(lái)。在實(shí)際運(yùn)算中,模型同時(shí)計(jì)算一組查詢向量上的注意力函數(shù),并將其打包成矩陣Q,并將鍵向量和值向量打包成矩陣K和V。查詢向量的輸出結(jié)果實(shí)際上是由前一層編碼的隱藏向量所決定的,矩陣K和V在自我關(guān)注中被賦予與Q相同的值。

(4)

(5)

(6)

(7)

為了共同關(guān)注來(lái)自不同位置的不同表示子空間的信息,需要進(jìn)一步優(yōu)化,采用H個(gè)并行注意計(jì)算,在WA∈RHdk×d情況下,多頭注意力機(jī)制計(jì)算過(guò)程如式(8)所示。

(8)

編碼層的功能實(shí)現(xiàn)還經(jīng)過(guò)了前饋層前饋網(wǎng)絡(luò)由兩個(gè)線性變換組成,中間通過(guò)一個(gè)ReLU激活函數(shù)相連接。它分別且相同地應(yīng)用于每個(gè)時(shí)間步長(zhǎng)。線性變換公式如式(9)所示。

y=WTx+b

(9)

1.3 LSTM解碼層

本篇論文所提出的Transformer-LSTM網(wǎng)絡(luò)模型的主要改進(jìn)工作在于重構(gòu)了原始Transformer的解碼層。原始Transformer解碼層能夠,引入了Transformer解碼層結(jié)構(gòu)以適應(yīng)自然語(yǔ)言翻譯任務(wù)。但是在Transformer應(yīng)用于時(shí)間序列預(yù)測(cè)領(lǐng)域時(shí),解碼層往往由線性層所替代,這樣的預(yù)測(cè)模型在短數(shù)據(jù)集預(yù)測(cè)時(shí)會(huì)產(chǎn)生較大的偏差,因此本文提出了一種基于LSTM網(wǎng)絡(luò)的重構(gòu)解碼層以提升網(wǎng)絡(luò)的預(yù)測(cè)能力。重構(gòu)的LSTM解碼層由線性整流層、LSTM運(yùn)算層以及全連接層所構(gòu)成。其中核心部分為L(zhǎng)STM運(yùn)算層。LSTM解碼層如圖3所示。

圖3 LSTM解碼層結(jié)構(gòu)展示Fig.3 LSTM decoder layer structure

線性整流能夠?qū)ransformer編碼層結(jié)果進(jìn)行整流,將數(shù)據(jù)轉(zhuǎn)化為匹配LSTM隱藏層的格式,從而為L(zhǎng)STM提供輸入數(shù)據(jù)。

LSTM運(yùn)算層由輸入門、遺忘門、輸出門以及細(xì)胞狀態(tài)所組成。LSTM需要將Transformer編碼層數(shù)據(jù)、上一時(shí)刻的隱藏層數(shù)據(jù)ht與上一時(shí)刻的細(xì)胞狀態(tài)輸出Ct作為共同輸入,通過(guò)門控機(jī)制串行處理數(shù)據(jù),實(shí)現(xiàn)對(duì)數(shù)據(jù)的處理[16]。LSTM網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 LSTM網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 LSTM neural network structure

數(shù)據(jù)在輸入門中計(jì)算公式如式(10)所示

it=σ(Wi[ht-1,xt]+bi)

(10)

數(shù)據(jù)在遺忘門中計(jì)算公式如式(11)、式(12)所示

ft=σ(Wf[ht-1,xt]+bf)

(11)

(12)

數(shù)據(jù)在輸出門中計(jì)算公式如式(13)所示

ot=σ(Wo[ht-1,xt]+bo)

(13)

經(jīng)過(guò)三個(gè)門處理的數(shù)據(jù),將會(huì)向下傳遞至兩種記憶模塊,在不同的記憶模塊中,數(shù)據(jù)的長(zhǎng)短期依賴性被選擇處理,具體處理方式如下所示。

長(zhǎng)記憶如式(14)所示

(14)

短記憶如式(15)所示

Ot=ot*tanh(Ct)

(15)

在重構(gòu)的LSTM解碼層輸出結(jié)果之前,本模型引入了兩個(gè)全連接層提升模型的魯棒性,提升預(yù)測(cè)數(shù)據(jù)結(jié)果可靠性。

1.4 Transformer-LSTM網(wǎng)絡(luò)整體結(jié)構(gòu)

1.1節(jié)～1.3節(jié)介紹了Transformer-LSTM網(wǎng)絡(luò)的位置編碼層、編碼層與解碼層,本節(jié)將網(wǎng)絡(luò)整體結(jié)構(gòu)進(jìn)行展示,并將數(shù)據(jù)流傳遞圖進(jìn)行講解。

Transformer-LSTM網(wǎng)絡(luò)處理數(shù)據(jù)的過(guò)程分為單元內(nèi)數(shù)據(jù)處理與單元間數(shù)據(jù)處理。數(shù)據(jù)通過(guò)兩種傳遞方式實(shí)現(xiàn)對(duì)軸承剩余壽命預(yù)測(cè)。其中單元內(nèi)處理負(fù)責(zé)數(shù)據(jù)并行處理,單元外處理負(fù)責(zé)數(shù)據(jù)串行處理。

單元內(nèi)數(shù)據(jù)處理依靠相互獨(dú)立的位置編碼層、Transformer編碼層與本單元內(nèi)的LSTM解碼層。數(shù)據(jù)在單元內(nèi)按照?qǐng)D5、圖6中①路線前進(jìn),對(duì)每個(gè)時(shí)刻新的輸入進(jìn)行位置編碼以及Transformer編碼。經(jīng)過(guò)編碼的數(shù)據(jù)能夠保留更多的特征,以保證在長(zhǎng)壽命軸承預(yù)測(cè)過(guò)程中信號(hào)衰減程度降低,具體結(jié)構(gòu)如圖5所示。

圖5 Transformer-LSTM單元內(nèi)網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Transformer-LSTM inner-unit network structure

圖6 Transformer-LSTM數(shù)據(jù)傳遞過(guò)程Fig.6 Transformer-LSTM outer-unit network structure

單元外數(shù)據(jù)處理依靠LSTM解碼層實(shí)現(xiàn),在LSTM網(wǎng)絡(luò)中,時(shí)間序列能夠被完整保存下來(lái),這樣的特點(diǎn)在短壽命時(shí)長(zhǎng)軸承預(yù)測(cè)中將更多的時(shí)間特征保存下來(lái),實(shí)現(xiàn)網(wǎng)絡(luò)的串行數(shù)據(jù)處理能力,提升網(wǎng)絡(luò)的預(yù)測(cè)性能。 在Transformer-LSTM單元外數(shù)據(jù)傳遞如圖5、圖6中②數(shù)據(jù)流所示。為了能更加直觀展示網(wǎng)絡(luò)的數(shù)據(jù)處理方式,本文搭建了數(shù)據(jù)傳遞模型圖,如圖6所示。

2 試驗(yàn)數(shù)據(jù)集構(gòu)建

軸承壽命預(yù)測(cè)是根據(jù)軸承運(yùn)行過(guò)程中所產(chǎn)生的信號(hào)的變化,通過(guò)特征提取、加工等方式,實(shí)現(xiàn)對(duì)軸承壽命的預(yù)測(cè)。一般來(lái)說(shuō),軸承壽命預(yù)測(cè)需要依靠軸承運(yùn)行所發(fā)出的振動(dòng)信號(hào)進(jìn)行處理,通常來(lái)講有方差信號(hào)、峰峰值、頻譜信號(hào)、包絡(luò)譜信號(hào)等多種信號(hào)處理方式[17]。

2.1 試驗(yàn)流程

本文構(gòu)建的Transformer-LSTM模型通過(guò)以下的技術(shù)從而實(shí)現(xiàn)對(duì)軸承故障的預(yù)測(cè),其中技術(shù)路線包括:①提取原始數(shù)據(jù)中提取多種時(shí)頻域特征,并選擇特征明顯的指標(biāo)作為特征數(shù)據(jù)集輸入;②對(duì)特征數(shù)據(jù)集進(jìn)行歸一化處理;③搭建Transformer-LSTM模型;④訓(xùn)練集與驗(yàn)證集劃分,訓(xùn)練集用于訓(xùn)練模型,驗(yàn)證集用于測(cè)試預(yù)測(cè)數(shù)據(jù);⑤搭建訓(xùn)練-預(yù)測(cè)聯(lián)合預(yù)測(cè)數(shù)據(jù)集并進(jìn)行量化評(píng)估。技術(shù)路線如圖7所示。

圖7 技術(shù)路線Fig.7 Technology roadmap

2.2 振動(dòng)加速度特征分析

特征提取與數(shù)據(jù)集構(gòu)建是實(shí)現(xiàn)預(yù)測(cè)的基礎(chǔ),對(duì)于軸承壽命預(yù)測(cè)而言,在眾多的特征中提取滿足預(yù)測(cè)條件的特征才能夠?qū)崿F(xiàn)準(zhǔn)確的預(yù)測(cè)。正常的軸承在運(yùn)行過(guò)程中振動(dòng)逐漸增加,因此可以通過(guò)振動(dòng)加速度傳感器進(jìn)行采集。

以本文所使用的部分軸承有效信號(hào)為例,如圖8所示。軸承的垂向振動(dòng)加速度信號(hào)特征隨著軸承性能退化而發(fā)展,振動(dòng)信號(hào)逐漸增加,呈現(xiàn)出單調(diào)上升的趨勢(shì),并且在整個(gè)退化過(guò)程中整體平穩(wěn),不存在局部激勵(lì)震蕩的情況。因此選擇該指標(biāo)訓(xùn)練軸承壽命的預(yù)測(cè)。

圖8 軸承全壽命振動(dòng)加速度原始信號(hào)圖Fig.8 Original signal diagram of bearing full lifevibration acceleration

2.3 歸一化處理

數(shù)據(jù)歸一化是一種常見(jiàn)的數(shù)據(jù)處理方法,歸一化能夠使數(shù)據(jù)在一定程度上實(shí)現(xiàn)收斂,從而降低在預(yù)測(cè)過(guò)程中產(chǎn)生的梯度爆炸問(wèn)題。本文采用的歸一化方法是0～1歸一化方法,如式(16)所示。該方法可以將原始數(shù)據(jù)通過(guò)線性變換,約束到0～1內(nèi),從而實(shí)現(xiàn)提升收斂速度、防止梯度爆炸。

經(jīng)過(guò)歸一化的垂向振動(dòng)加速度信號(hào)在降低梯度爆炸的概率同時(shí)還保留了完整的特征趨勢(shì),相較于原始輸入擁有更好的訓(xùn)練性,因此選擇歸一化后的垂向振動(dòng)加速的信號(hào)作為網(wǎng)絡(luò)輸入。

(16)

2.4 訓(xùn)練-預(yù)測(cè)聯(lián)合預(yù)測(cè)數(shù)據(jù)集

本文采用了一種訓(xùn)練-預(yù)測(cè)聯(lián)合的數(shù)據(jù)集構(gòu)建模式,該方法的做法是將訓(xùn)練結(jié)果與預(yù)測(cè)結(jié)果相結(jié)合,構(gòu)建全新數(shù)據(jù)集的方法。

試驗(yàn)網(wǎng)絡(luò)采用滑動(dòng)窗預(yù)測(cè)的方式進(jìn)行訓(xùn)練,將訓(xùn)練數(shù)據(jù)、預(yù)測(cè)數(shù)據(jù)按照設(shè)定的batch-size進(jìn)行等分,分別對(duì)訓(xùn)練集數(shù)據(jù)進(jìn)行訓(xùn)練。在訓(xùn)練過(guò)程中打亂時(shí)間順序,通過(guò)位置編碼層對(duì)各個(gè)標(biāo)簽進(jìn)行位置編碼,對(duì)訓(xùn)練集進(jìn)行學(xué)習(xí),優(yōu)化訓(xùn)練損失,并設(shè)置loss為0,dropout為0.4,提升泛化性。在經(jīng)歷了設(shè)定的epoch之后,網(wǎng)絡(luò)得到最終學(xué)習(xí)結(jié)果的權(quán)重。測(cè)試集根據(jù)訓(xùn)練集結(jié)果進(jìn)行預(yù)測(cè),最終的測(cè)試集結(jié)果即為試驗(yàn)所得到的預(yù)測(cè)結(jié)果。

通過(guò)滑動(dòng)窗預(yù)測(cè)的方式,將每個(gè)測(cè)試軸承試驗(yàn)數(shù)據(jù)的前95%數(shù)據(jù)劃分為訓(xùn)練集,學(xué)習(xí)軸承退化特征;將后5%的數(shù)據(jù)用作測(cè)試集,根據(jù)訓(xùn)練集學(xué)習(xí)到的結(jié)果預(yù)測(cè)測(cè)試集樣本壽命數(shù)據(jù)。搭建訓(xùn)練-預(yù)測(cè)聯(lián)合數(shù)據(jù)集能夠更好的保存訓(xùn)練集的學(xué)習(xí)過(guò)程,將最后一次訓(xùn)練的結(jié)果與測(cè)試集數(shù)據(jù)結(jié)合,完整的保存下從學(xué)習(xí)到預(yù)測(cè)的全過(guò)程,提升數(shù)據(jù)的可觀測(cè)性。聯(lián)合數(shù)據(jù)集搭建如圖9所示。

圖9 訓(xùn)練-預(yù)測(cè)聯(lián)合數(shù)據(jù)集構(gòu)建示意圖Fig.9 Trained-prediction combined data sketch

3 試驗(yàn)驗(yàn)證

本次試驗(yàn)通過(guò)多組試驗(yàn)數(shù)據(jù)來(lái)驗(yàn)證網(wǎng)絡(luò)的性能。試驗(yàn)采用的數(shù)據(jù)集分別是辛辛那提大學(xué)軸承全壽命數(shù)據(jù)集(intelligent maintenance systems,IMS)以及西安交通大學(xué)軸承全壽命數(shù)據(jù)集。試驗(yàn)數(shù)據(jù)分別包含了小數(shù)據(jù)集、中等長(zhǎng)度數(shù)據(jù)集以及長(zhǎng)數(shù)據(jù)集3種,分別驗(yàn)證網(wǎng)絡(luò)的精度與泛化性。

本文采用的預(yù)處理方式是平均化每個(gè)采樣單元的振動(dòng)加速度從而實(shí)現(xiàn)的。經(jīng)過(guò)平均化采樣的數(shù)據(jù)擁有更好的訓(xùn)練特征,網(wǎng)絡(luò)收斂速度更快,能夠關(guān)注到軸承損失的整體趨勢(shì),提升網(wǎng)絡(luò)預(yù)測(cè)精度。

3.1 辛辛那提大學(xué)軸承全壽命試驗(yàn)

3.1.1 辛辛那提大學(xué)軸承全壽命試驗(yàn)數(shù)據(jù)集

辛辛那提大學(xué)試驗(yàn)選取的是IMS軸承全壽命數(shù)據(jù)集進(jìn)行方法驗(yàn)證[18],試驗(yàn)裝置如圖10所示。該數(shù)據(jù)集共包含3組軸承數(shù)據(jù),本次試驗(yàn)選取第2組軸承全壽命數(shù)據(jù)設(shè)計(jì)試驗(yàn),共984個(gè)采集樣本。軸承型號(hào)為Rexnord ZA-2115雙排軸承,4組軸承同時(shí)旋轉(zhuǎn),通過(guò)PCB353B33傳感器垂向和橫向同時(shí)監(jiān)測(cè)軸承信號(hào)變化,試驗(yàn)結(jié)束時(shí),1號(hào)軸承發(fā)生外圈故障。試驗(yàn)各項(xiàng)參數(shù)設(shè)定為: 轉(zhuǎn)速2 000 r/min,采樣頻率為20 kHz,每次采樣時(shí)長(zhǎng)為1 s,每個(gè)采樣單元以10 min為一個(gè)采樣單元,每個(gè)采樣單元生成一個(gè)含有20 480采樣點(diǎn)的數(shù)據(jù)文件,采樣間隔10 min,附加徑向載荷6 000 Ib,試驗(yàn)裝置如圖10所示。

圖10 辛辛那提大學(xué)IMS軸承全壽命試驗(yàn)裝置示意圖Fig.10 University of Cincinnati IMS schematic diagram of bearing full life test device

為了降低試驗(yàn)噪聲對(duì)預(yù)測(cè)結(jié)果的影響以10 min采樣單元進(jìn)行平均化,將每個(gè)采樣單元所得到數(shù)據(jù)進(jìn)行平均處理,以每個(gè)文件的平均數(shù)據(jù)代表軸承在該單元內(nèi)的振動(dòng)特征信號(hào),并參與網(wǎng)絡(luò)計(jì)算。

3.1.2 辛辛那提大學(xué)軸承全壽命試驗(yàn)結(jié)果

試驗(yàn)在Intel i9 10900F,Nvidia RTX3070,PyTorch1.10.0-GPU,Python3.9環(huán)境下試驗(yàn)從而得到的。在試驗(yàn)中,設(shè)置訓(xùn)練網(wǎng)絡(luò)參數(shù)為:訓(xùn)練集epoch為200,batch-size為50;測(cè)試集batch-size為50,learning-rate為0.000 1。根據(jù)本文2.4節(jié)所提出的訓(xùn)練集預(yù)測(cè)集劃分規(guī)則,本文試驗(yàn)有984個(gè)平均化數(shù)據(jù)單元,劃分95%訓(xùn)練集934個(gè)點(diǎn)作為訓(xùn)練集,劃分最后5%測(cè)試集的50個(gè)點(diǎn)作為測(cè)試集。

試驗(yàn)壽命指標(biāo)選擇以2.4節(jié)所構(gòu)建的訓(xùn)練-預(yù)測(cè)聯(lián)合數(shù)據(jù)集的指數(shù)擬合曲線為評(píng)判。指數(shù)擬合曲線本文所采用的指數(shù)擬合,所使用的公式如式(17)所示,并通過(guò)Origin指數(shù)擬合迭代訓(xùn)練-預(yù)測(cè)聯(lián)合數(shù)據(jù)集所得出的結(jié)果。擬合采用Levenberg-Marquardt算法進(jìn)行實(shí)現(xiàn),擬合曲線滿足95%置信區(qū)間分布。當(dāng)擬合曲線壽命達(dá)到1時(shí),判定壽命達(dá)到極限,即軸承報(bào)廢壽命。

y=y0+Ae-x/t

(17)

本組試驗(yàn)樣本點(diǎn)984個(gè),即軸承984 min報(bào)廢,該樣本滿足長(zhǎng)壽命樣本數(shù)據(jù)預(yù)測(cè)條件,為了能夠?qū)Ρ缺疚奶岢龅腡ransformer-LSTM網(wǎng)絡(luò)性能,本文選擇了Transformer-LSTM without LSTM、LSTM、GRU 3種網(wǎng)絡(luò)進(jìn)行對(duì)比試驗(yàn)。試驗(yàn)對(duì)2.4節(jié)所提到的訓(xùn)練-預(yù)測(cè)聯(lián)合數(shù)據(jù)集的最后測(cè)試集50個(gè)數(shù)據(jù)點(diǎn)進(jìn)行展示,并通過(guò)平均絕對(duì)誤差(mean absolute error,MAE)、均方誤差(mean square error,MSE)、均方根誤差(root mean squared error,RMSE)指標(biāo)對(duì)預(yù)測(cè)數(shù)據(jù)進(jìn)行量化分析,公式如式(18)～式(20)所示。

(18)

(19)

(20)

為了能夠更加直觀的展示出預(yù)測(cè)時(shí)間與試驗(yàn)真實(shí)報(bào)廢時(shí)間之間的關(guān)系,本文引入了預(yù)測(cè)時(shí)間相對(duì)誤差百分比Xerror來(lái)進(jìn)行比較。其中:Ttest為對(duì)比試驗(yàn)預(yù)測(cè)誤差時(shí)間;Ttl為本文提出的Transformer-LSTM網(wǎng)絡(luò)的預(yù)測(cè)誤差時(shí)間;Xerror的百分比越低越能夠體現(xiàn)出對(duì)比網(wǎng)絡(luò)與本文提出的Transformer-LSTM網(wǎng)絡(luò)性能接近,反之亦然。Xerror計(jì)算公式如式(21)所示。

(21)

如圖11所示,本文提出的方法效果最佳。將數(shù)據(jù)量化分析:Transformer-LSTM模型預(yù)測(cè)誤差為108 min,Transformer-LSTM without LSTM預(yù)測(cè)誤差為145 min,LSTM預(yù)測(cè)誤差為261 min,GRU預(yù)測(cè)誤差為455 min,而本文提出的Transformer-LSTM與對(duì)比網(wǎng)絡(luò)相比較,Transformer-LSTM without LSTM的相對(duì)誤差為34.26%,LSTM的相對(duì)誤差為141.67%,GRU相對(duì)誤差為321.30%。通過(guò)試驗(yàn)壽命預(yù)測(cè)值與相對(duì)誤差可以看出,在長(zhǎng)壽命數(shù)據(jù)集的預(yù)測(cè)過(guò)程中,本文提出的模型能夠更好的預(yù)測(cè)出軸承的壽命,準(zhǔn)確最高,優(yōu)于并行數(shù)據(jù)處理的Transformer-LSTM without LSTM網(wǎng)絡(luò)。為了更加直觀展Transformer-LSTM預(yù)測(cè)效果,本文將預(yù)測(cè)評(píng)價(jià)指標(biāo)進(jìn)行展示,結(jié)果如表1所示。

表1 IMS軸承全壽命數(shù)據(jù)集預(yù)測(cè)結(jié)果展示Tab.1 IMS bear bearing life data set prediction result

圖11 辛辛那提大學(xué)IMS軸承全壽命試驗(yàn)預(yù)測(cè)效果圖Fig.11 Prediction effect of different models uses University of Cincinnati IMS schematic diagram of bearing full life test

3.2 西安交通大學(xué)軸承加速壽命試驗(yàn)

3.2.1 西安交通大學(xué)軸承加速壽命試驗(yàn)數(shù)據(jù)集

西安交通大學(xué)軸承全壽命數(shù)據(jù)是軸承加速退化測(cè)試平臺(tái)所采集到的[19]。在試驗(yàn)中:采樣頻率25.6 kHz,采樣間隔為1 min,每次采樣時(shí)長(zhǎng)為1.28 s,以每分鐘為一采樣單元。通過(guò)在軸承的水平與垂直兩個(gè)方向上安裝兩個(gè)PCB352C33型加速度計(jì)收集被測(cè)軸承的振動(dòng)信號(hào),采集軸承在試驗(yàn)過(guò)程中產(chǎn)生的振動(dòng)加速度信號(hào),并進(jìn)行采集。采樣頻率為25.6 kHz,采樣間隔為1 min,每次采樣時(shí)長(zhǎng)為1.28 s。試驗(yàn)采用的軸承型號(hào)為L(zhǎng)DK UER204深溝球軸承,試驗(yàn)一共分為3個(gè)工況,試驗(yàn)裝置如圖12所示,工況如表2所示。

表2 試驗(yàn)工況Tab.2 Test conditions

圖12 西安交通大學(xué)加速軸承失效試驗(yàn)設(shè)備圖Fig.12 XJTU equipment diagram for accelerated bearing failure test

在每種工況下分別有5個(gè)軸承參與試驗(yàn),以此保證試驗(yàn)的可靠性。最終形成了一個(gè)由15個(gè)軸承構(gòu)成的數(shù)據(jù)集。本次試驗(yàn)選取了不同工況下的兩種相同失效形式的軸承,分別是:①加載12 kN轉(zhuǎn)速2 100 r/min工況下的第三號(hào)失效軸承;②加載11 kN轉(zhuǎn)速2 250 r/min的5號(hào)失效軸承。這兩個(gè)軸承都是因外圈失效報(bào)廢的,有著相似的退化趨勢(shì)。

試驗(yàn)在預(yù)處理中采用1 min單元的平均處理方式,將每分鐘數(shù)據(jù)進(jìn)行平均化,并代入網(wǎng)絡(luò)進(jìn)行計(jì)算。

3.2.2 西安交通大學(xué)軸承加速壽命試驗(yàn)結(jié)果

在該試驗(yàn)中,選取了兩組不同工況下失效的軸承,驗(yàn)證網(wǎng)絡(luò)的精度與泛化性,試驗(yàn)在相同訓(xùn)練環(huán)境下采用與上文相同的4種神經(jīng)網(wǎng)絡(luò)進(jìn)行驗(yàn)證。設(shè)置訓(xùn)練網(wǎng)絡(luò)參數(shù)為:訓(xùn)練集epoch為200,batch-size為16;測(cè)試集batch-size為16,learning rate為0.000 1。

首先采用加載12 kN轉(zhuǎn)速2 100 r/min工況下的第三號(hào)失效軸承,本軸承實(shí)際失效時(shí)間為158 min,滿足短壽命時(shí)長(zhǎng)軸承。根據(jù)本文2.4節(jié)所提出的訓(xùn)練集預(yù)測(cè)集劃分規(guī)則,本組試驗(yàn)有158個(gè)平均化數(shù)據(jù)單元,劃分95%訓(xùn)練集150個(gè)點(diǎn)作為訓(xùn)練集,劃分最后5%測(cè)試集的8個(gè)點(diǎn)作為測(cè)試集。

如圖13所示,本文提出的方法預(yù)測(cè)時(shí)間以及趨勢(shì)最準(zhǔn)確。將數(shù)據(jù)量化分析:Transformer-LSTM模型預(yù)測(cè)誤差僅為0.6 min,Transformer-LSTM without LSTM預(yù)測(cè)誤差為2.7 min,LSTM預(yù)測(cè)誤差為1.1 min,GRU預(yù)測(cè)誤差為5 min。Transformer-LSTM與對(duì)比網(wǎng)絡(luò)相比較,Transformer的相對(duì)誤差為350.00%,LSTM的相對(duì)誤差為83.33%,GRU預(yù)測(cè)誤差為733.33%。通過(guò)試驗(yàn)壽命預(yù)測(cè)值與相對(duì)誤差可以看出,本文提出的Transformer-LSTM串并行神經(jīng)網(wǎng)絡(luò)在短壽命軸承壽命預(yù)測(cè)過(guò)程中,準(zhǔn)確率依舊最高,優(yōu)于串行數(shù)據(jù)處理的LSTM神經(jīng)網(wǎng)絡(luò)。為了更加直觀展Transformer-LSTM預(yù)測(cè)效果,本文將預(yù)測(cè)評(píng)價(jià)指標(biāo)進(jìn)行展示,結(jié)果如表3所示。

表3 西安交通大學(xué)軸承加速失效數(shù)據(jù)1-3預(yù)測(cè)結(jié)果展示

圖13 辛辛那提大學(xué)IMS軸承全壽命試驗(yàn)預(yù)測(cè)效果圖1-3Fig.13 Prediction effect of different models uses University of Cincinnati IMS schematic diagram of bearing full life test 1-3

為了加強(qiáng)驗(yàn)證試驗(yàn)數(shù)據(jù)的泛化性能,同時(shí)驗(yàn)證了加載11 kN轉(zhuǎn)速2 250 r/min工況下的第五號(hào)失效軸承,本軸承實(shí)際失效時(shí)間為339 min。該軸承數(shù)據(jù)量適中,屬于中等壽命時(shí)長(zhǎng)軸承。本組試驗(yàn)有339個(gè)平均化數(shù)據(jù)單元,劃分95%訓(xùn)練集322個(gè)點(diǎn)作為訓(xùn)練集,劃分最后5%測(cè)試集的17個(gè)點(diǎn)作為測(cè)試集。

如圖14所示,本文提出的方法效果最佳。將數(shù)據(jù)量化分析:Transformer-LSTM模型預(yù)測(cè)誤差為5.8 min,Transformer預(yù)測(cè)誤差為7.4 min,LSTM預(yù)測(cè)誤差為8.8min,GRU預(yù)測(cè)誤差為29.9 min。Transformer-LSTM與對(duì)比網(wǎng)絡(luò)相比較,Transformer-LSTM without LSTM的相對(duì)誤差為27.58%,LSTM的相對(duì)誤差為51.72%,GRU預(yù)測(cè)誤差為415.52%。通過(guò)試驗(yàn)壽命預(yù)測(cè)值與相對(duì)誤差可以看出:在中等壽命時(shí)長(zhǎng)的軸承預(yù)測(cè)過(guò)程中,Transformer-LSTM網(wǎng)絡(luò)依舊能夠準(zhǔn)確的預(yù)測(cè)軸承剩余壽命,準(zhǔn)確率仍然最高,這證明了Transformer-LSTM在軸承壽命預(yù)測(cè)的過(guò)程中泛化性很好,能夠很好地解決單獨(dú)的串行或并行網(wǎng)絡(luò)在預(yù)測(cè)軸承壽命時(shí)對(duì)樣本量的需求。量化試驗(yàn)結(jié)果如表4所示。

表4 西安交通大學(xué)軸承加速失效數(shù)據(jù)2-5預(yù)測(cè)結(jié)果展示

圖14 辛辛那提大學(xué)IMS軸承全壽命試驗(yàn)預(yù)測(cè)效果圖2-5Fig.14 Prediction effect of different models uses University of Cincinnati IMS schematic diagram of bearing full life test 2-5

4 結(jié) 論

本文針對(duì)軸承不同壽命時(shí)長(zhǎng)預(yù)測(cè)不準(zhǔn)確、模型泛化能力弱的問(wèn)題,提出了一種能夠預(yù)測(cè)不同壽命時(shí)長(zhǎng)的Transformer-LSTM串并行神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型。通過(guò)將Transformer解碼層進(jìn)行重構(gòu),并與LSTM網(wǎng)絡(luò)結(jié)構(gòu)融合,實(shí)現(xiàn)軸承壽命數(shù)據(jù)的串并行預(yù)測(cè)處理。得出以下結(jié)論:

(1)Transformer-LSTM網(wǎng)絡(luò)性能不受軸承壽命時(shí)長(zhǎng)影響,能夠在不同時(shí)間尺度內(nèi)保持精確的預(yù)測(cè)效果。預(yù)測(cè)的軸承壽命、MSE、RMSE均優(yōu)于Transformer-LSTM without LSTM、LSTM、GRU 3種網(wǎng)絡(luò)。

(2)Transformer-LSTM網(wǎng)絡(luò)在壽命預(yù)測(cè)過(guò)程中,預(yù)測(cè)結(jié)果最接近實(shí)際報(bào)廢時(shí)間,證明了本文提出的網(wǎng)絡(luò)能夠提取到更多的特征信息。

(3)Transformer-LSTM神經(jīng)網(wǎng)絡(luò)在不同數(shù)據(jù)集的多種工況下均能取得較好的預(yù)測(cè)精度,證明了本文所提出的模型具有良好的泛化性。