基于TCN和殘差自注意力的變工況下滾動軸承剩余壽命遷移預測

潘雪嬌, 董紹江, 朱 朋, 周存芳, 宋 鍇

(1. 重慶交通大學 交通運輸學院, 重慶 400074; 2. 重慶交通大學 機電與車輛工程學院, 重慶 400074;3. 重慶大學 機械與運載工程學院, 重慶 400044; 4. 重慶長安汽車股份有限公司, 重慶 401120)

滾動軸承作為大型旋轉機械設備關鍵零部件,長期運行在惡劣的工況下,會導致軸承的性能下降、可靠性降低,對其服役階段開展健康狀態監測及剩余壽命(remaining useful life,RUL)預測,制定相應維修策略,有助于提高機械設備的可靠性與安全性,具有重要的意義[1-2]。

目前,RUL預測方法主要分為基于物理模型的方法和基于數據驅動的方法[3]。采用物理模型的方法主要是基于對機械設備關鍵部件退化機理及結構特點的研究,建立對應的退化模型,但該方法建模難度大,專家知識要求高,實際工業環境中實施難度較大[4]。近年來,隨著人工智能技術的快速發展,基于數據驅動的方法得到廣泛的關注,較多學者將深度學習方法應用于滾動軸承的剩余壽命預測。王玉靜等[5]利用卷積神經網絡(convolutional neural network,CNN)來提取滾動軸承的頻域深層特征,然后將深層特征輸入到長短時記憶(long and short term memory,LSTM)神經網絡中構建健康指標,有效地實現了RUL預測。陳保家等[6]將滾動軸承原始振動頻域信號輸入到堆棧降噪自動編碼器中提取深度特征,然后輸入到多頭注意力的時間卷積網絡(temporal convolutional neural network,TCN)中提取軸承退化特征,進行RUL預測。Wang等[7]針對采集到的振動信號含不同水平的噪聲問題,提出了改進軟閾值的注意力時間卷積網絡,有效地實現了滾動軸承的RUL預測。但是,以上方法進行滾動軸承RUL預測的前提是假設在同種工況下含有大量的標簽數據來用于網絡預測模型的訓練,然而,在實際工業環境中,機械設備常常工作于變工況的環境中,導致訓練數據與測試數據特征分布存在差異[8],以上方法不能有效進行RUL預測。

遷移學習方法在解決因數據特征分布差異而導致網絡模型泛化能力差的問題上顯示出了優越性能[9]。遷移學習在故障診斷領域研究成果較多,但在RUL預測領域研究起步相對較晚,成果相對較少。王新剛等[10]采用CNN和LSTM作為特征提取器,并通過對抗的思想進行多種工況下的遷移剩余壽命預測。Zeng等[11]針對變工況下剩余壽命預測難題提出了一種在線遷移的新方法,模型的特征提取層采用CNN模型,領域特征分布差異度量同樣也采用了對抗學習的策略。以上方法采用遷移學習技術實現了變工況下滾動軸承RUL預測,但CNN模型或LSTM模型在處理長時間序列的數據容易出現梯度爆炸或消失[12],影響遷移壽命退化特征的提取。此外,僅采用對抗訓練的方式進行不同領域的差異度量,模型領域對齊能力有限。這些問題將會影響智能預測模型的遷移性能,進而影響RUL預測精度的提高。

針對以上問題,本文融合TCN網絡優異的時間序列特征提能力及殘差自注意力機制的局部相關特征聚焦特點,提出了基于聯合最大均值差異(maximum mean discrepancy,MMD)及對抗學習的端到端的滾動軸承RUL遷移預測方法。試驗結果證明了所提方法的有效性與優越性。

1 所提方法理論基礎

1.1 遷移學習問題定義

1.2 最大均值差異(MMD)

作為遷移學習中重要組成方法之一,領域自適應起到了縮小不同領域之間數據特征分布差異的度量作用,以達到特征提取器學習領域間不變特征。領域自適應中較常用的度量準則為MMD,其平方定義如下

(1)

式中：H為再生核希爾伯特空間(reproducing kernel hilbert space,RKHS);φ：Xs,Xt→H及K(·,·)為高斯核函數。

(2)

式中,σ為核寬度。

1.3 領域對抗學習

在遷移學習中,領域對抗學習[14]作為另一種重要的領域自適應方法,主要受領域對抗網絡(domain adversarial network,DAN)的啟發。DAN主要通過提取源域與目標域的不變特征,達到遷移學習的目的,網絡結構由三部分組成：特征提取器、分類器、域判別器。對抗學習利用域判別器和特征提取器對抗的方式實現領域對齊,使用高層特征訓練域判別器以區分特定樣本是來自源域還是目標域,而特征提取器旨在生成難以區分的域不變特征,分類器在源監督下基于高層特征進行訓練以進行RUL預測。

2 基于TCN和殘差自注意力的滾動軸承RUL遷移預測方法

2.1 時間卷積網絡

受卷積網絡結構能有效處理時序數據的啟發,Bai等[15]提出了時間卷積網絡(TCN)。空洞因果卷積被引入到TCN中來抑制時間序列信息從未來到過去的泄漏,其結構示意圖如圖1所示。此外,TCN網絡和其他循環神經網絡一樣,網絡輸出長度與輸入保持一致。對于一維序列輸入x∈n和卷積核f：{0,…,k-1}→,序列元素s的空洞卷積運算F定義為如式(3)所示

(3)

式中：d為膨脹系數;k為卷積核尺寸;s-d·i為過去的方向。因此,膨脹相當于在每兩個相鄰的卷積核抽頭之間引入一個固定步。由圖1可知,當d=1時,空洞卷積層相當于普通卷積層;通常,在空洞因果卷積塊中,不同層數的膨脹系數以d=2l的方式增加。

圖1 空洞因果卷積結構示意圖

TCN殘差塊是將空洞因果卷積及殘差跨層連接方式相結合,如圖2所示。這使得TCN可以在較少網絡層數量的情況下獲得較大的感受野,更利于處理具有長期歷史依賴的時序數據。同時,跨層連接的方式可以抑制網絡模型在加深的過程中出現梯度消失或爆炸問題的出現,能更好的學習滾動軸承壽命退化特征。

2.2 殘差自注意力機制

自注意力機制可以在網絡訓練的過程中自動學習滾動軸承不同退化特征對RUL預測的貢獻度,使網絡模型更加關注對輸出有很大貢獻的特征。為了使模型更好地學習退化特征和RUL標簽之間的映射,并在長時序列中捕獲更重要的信息,殘差自注意力機制(residual self-attention mechanism,RSA)被引入到本文搭建的網絡結構中。如圖3所示,該模塊可以計算時序數據中每個元素之間的不同權重,并賦予貢獻大的元素較大的權重。

圖2 TCN殘差塊

圖3 殘差自注意力機制

自注意力機制的輸入由三部分組成：查詢矩陣Q,關鍵字矩陣K和數值矩陣V,輸出是基于Q和K的相似性加權和。殘差自注意力機制的定義為

RSAi=SAi+X

(4)

(5)

式中：Q,K和V分別為線性映射,定義為Q=WqX,K=WkX和V=WvX;X為輸入向量;dk為投影尺寸。

2.3 所提出的滾動軸承RUL遷移預測網絡結構

本文提出的變工況下端到端的滾動軸承RUL遷移預測網絡結構如圖4所示。主要包含遷移故障特征提取器、域自適應層、RUL預測器和域判別器四部分,其中域自適應層及RUL預測器共享相同網絡結構。遷移故障特征提取器主要包含一維寬卷積層、TCN殘差塊、殘差自注意力塊、批歸一化層及池化層;RUL預測器主要由全連接層組成,并采用MK-MMD度量不同領域在高層特征的數據分布差異;域判別器由全連接層組成,用于分類數據的領域,起到對抗學習的目的。

網絡模型的預測流程為：首先,為抑制噪聲干擾的影響,將不同工況下采集到滾動軸承壽命狀態數據采用短時傅里葉變換轉換成頻域數據;其次,采用本文提出的遷移特征提取器對來自源域與目標域的壽命退化遷移特征進行提取,為起到加快網絡訓練收斂速度及特征降維的作用,在TCN殘差塊及殘差自注意力塊后均進行批歸一化(batch normalization,BN)及池化操作;再次,領域自適應度量采用本文提出的聯合MK-MMD及對抗學習的策略,匹配源域與目標域的分布差異;最后,進行變工況下滾動軸承的遷移RUL預測,并分析模型的性能。

圖4 所提RUL預測方法網絡結構圖

2.4 優化目標函數

本文所提模型的優化目標函數包含RUL預測誤差、源域和目標域數據集之間全連接層的MMD距離和領域分類誤差三類。

第一個優化的目標函數是最小化源域數據集上的RUL預測誤差,均方誤差(mean square error, MSE)定義為RUL預測的損失函數

(6)

優化目標函數二為最小化MK-MMD損失項LMMD,采用式(1)對分類層前的兩個全連接層的特征差異進行測量,詳細理論計算見式(1)。

第三個優化目標函數為最大化源域與目標域的領域分類誤差,以達到提取領域不變特征的效果,進一步對齊源域與目標域的分布差異。

(7)

式中：li為領域真實的標簽,源域為1,目標域為0;e(xi)為網絡預測的領域標簽。

因此,總的優化目標函數為

Ltotal=Lrul+λLMMD-μLd

(8)

式中,λ和μ分別為非負超參數。

定義遷移特征提取層、RUL預測層和域判別器的參數分別為θf,θr和θd,總的優化目標函數可進一步表示為

Ltotal(θf,θr,θd)=Lrul(θf,θr)+λLMMD(θf)-
μLd(θf,θd)

(9)

參數θf,θr和θd優化如下

(10)

(11)

(12)

(13)

(14)

式中,δ為學習率。

3 試驗驗證

3.1 試驗數據描述

為驗證所提方法的有效性與優越性,采用IEEE PHM2012 Data Challenge加速壽命試驗獲得的變工況下滾動軸承全壽命數據集[16]進行試驗分析,試驗平臺為PRONOSTIA。PRONOSTIA由三個主要部分組成：旋轉部分、退化產生部分(在被測軸承上施加徑向力)和信號采集部分。滾動軸承徑向力由一個氣動千斤頂組成的力執行器產生,調節不同的轉速和施加不同的徑向載荷進行試驗可獲得變工況試驗數據,試驗工況信息如表1所示,具體細節部分詳見參考文獻[16]。信號采集裝置中加速度傳感器采集振動信號的頻率為25.6 kHz,采用間隔10 s,每個樣本采樣時間為0.1 s,即2 560個樣本點,采樣通道有水平和垂直兩個通道。

所提遷移RUL預測方法為變工況下無監督遷移學習方法,結合PRONOSTIA不同工況下試驗軸承信息,本文設置了4種跨工況剩余RUL遷移預測任務,如表2所示。

表1 試驗工況參數表

表2 遷移預測任務

3.2 試驗數據預處理

將不同時刻采集到的水平方向時域振動信號采用短時傅里葉變換生成頻域信號,同時,為加快網絡模型的訓練收斂速度和減少不同特征之間的大小差異,將頻域信號歸一化到[0,1]的范圍。RUL預測是一個回歸問題,因此,可將軸承運行時間轉換為模型的輸入標簽,利用剩余壽命百分比作為軸承的RUL標簽,如式(15)所示

(15)

式中：xi為軸承當前運行時間;xmax和xmin分別為軸承最大運行時間和初始運行時間。yi值的大小表示軸承壽命狀態退化的嚴重程度,當yi為0時,表示軸承退化到失效閾值處,故障嚴重程度到達極限,剩余壽命為0,完全失效。

3.3 性能評價指標

采用平均絕對誤差(mean absolute error,MAE)、均方根誤差[17](root mean squared error,RMSE)及評分函數(Score)對測試軸承的RUL預測進行定量的分析。公式如下

(16)

(17)

(18)

其中：

(19)

(20)

3.4 參數設置及對比試驗說明

本文所提方法網絡結構主要參數如表3所示。其中,在模型遷移特征提取器中不同層的后面均進行池化操作,以降低數據的維度,在TCN殘差塊5后進行尺寸為4的平均池化操作,其余均進行尺寸為2的最大池化操作,由于篇幅限制,在表中進行了省略。此外,為防止網絡過擬合,表中Dropout均設置為0.1。

表3 所提方法的網絡結構主要參數表

對比模型1為傳統的CNN模型,模型搭建參照本文所提方法,將本文的遷移特征提取器中的不同層替換為卷積層,卷積核尺寸及其它設置均與本文保持一致;對比模型2為本文所提方法的網絡結構SATCN,但是未進行遷移學習;對比模型3為采用CORAL度量[18]的遷移學習方法,網絡主干結構與本文一致;對比模型4為僅采用單層MMD度量方法;對比模型5為MK-MMD度量方法,為本文所提方法的基礎;對比模型6為僅采用對抗學習的遷移學習方法ADV,為本文所提方法的一部分。

3.5 不同RUL預測方法結果及分析

不同RUL預測方法在4種變工況任務上獲得的預測結果如表4所示,其中“AVE”表示4種遷移任務下同一指標的平均預測精度結果。由表4可知,本文所提的殘差自注意力TCN特征提取器提取軸承退化特征的能力優于傳統CNN模型,故SATCN模型在4個變工況RUL預測任務上的得分Score、預測誤差MAE和RMSE平均值均優于CNN模型,主要由于SATCN網絡結合了TCN處理時間序列數據和殘差自注意力聚焦貢獻度大的退化特征的優點,退化特征提取能力更強,說明了本文所提遷移特征提取器的有效性;由于模型CNN及SATCN未進行遷移學習訓練,在所有對比模型中,RUL預測結果的MAE和RMSE平均誤差較大,性能較差,主要是變工況下壽命狀態數據存在特征分布差異,僅采用一種工況訓練獲得的模型泛化能力較差,表明了變工況下遷移RUL預測的必要性;在所有遷移學習對比模型中,采用對抗學習進行域自適應度量的ADV模型獲得相對較好的RUL預測精度,平均得分Score為0.315,MAE為0.133,RMSE為0.167,表明采用對抗學習的域自適應方法在處理滾動軸承RUL預測問題上,相對于MMD、MK-MMD及CORAL度量方法具有較好的性能;本文所提方法在遷移任務T1、T2及T4上均獲得較小的MAE及RMSE值,預測精度最高,預測性能較好,同時,在4個遷移任務上,本文所提方法的指標均值最優,得分Score平均值為0.318、誤差MAE為0.120及RMSE為0.150,主要由于本文結合MK-MMD及對抗學習提出的領域自適應方法能更為有效地對齊變工況下軸承壽命狀態數據特征分布差異,進行遷移RUL預測。以上分析結果表明了本文所提方法在處理變工況下滾動軸承RUL預測問題的有效性與優越性。

表4 不同方法的RUL預測結果

為進一步分析本文所提方法的優越性,隨機選擇遷移任務T1進行RUL預測結果的可視化分析。圖5為本文所提方法與SATCN方法的RUL預測結果圖,圖6為本文所提方法、遷移學習方法MK-MMD及ADV的RUL預測結果圖。同時,為抑制圖6中不同遷移學習方法預測結果的局部振蕩現象,采用Savitzky-golay平滑濾波方法進行平滑處理,結果如圖7所示。由圖5可知,采用遷移學習方法后的RUL預測結果更靠近RUL真實值,預測結果精度及性能整體優于未進行遷移學習的模型,受變工況影響較少。由圖6、圖7可知,本文所提的遷移學習RUL預測方法獲得的RUL預測結果相比于MK-MMD及ADV遷移學習方法更靠近RUL真實值,波動性相對較少。盡管本文所提方法在某些時刻下,預測曲線與真實RUL線段吻合度不是很高,存在一定的波動,出現該現象的原因可能是變工況下不同滾動軸承失效形式差別較大,導致關鍵階段的數據缺乏,深度學習模型難以準確地學習表征。但預測曲線少量異常波動并不會影響整體預測的下降趨勢。特別是在軸承剩余壽命即將為0,軸承接近完全失效時,預測曲線與真實RUL,吻合度較高。以上分析結果進一步說明了所提方法的有效性與優越性。

圖5 T1遷移任務RUL預測結果(SATCN, Proposed)

圖6 不同遷移方法RUL預測結果(T1)

圖7 不同遷移方法RUL預測結果平滑處理(T1)

4 結 論

針對變工況環境下滾動軸承RUL預測難題,本文提出了一種基于時間卷積網絡和殘差自注意力機制的端到端的RUL遷移預測新方法,通過試驗及分析,獲得以下結論：

(1) 結合殘差自注意力及時間卷積網絡的特點提出的遷移特征提取器相對于傳統CNN模型,遷移特征提取能力更強。

(2) 融合最大均值差異度量準則及對抗學習策略的新領域自適應方法能更好匹配變工況下滾動軸承壽命狀態數據特征分布差異。

(3) 通過試驗及其他RUL預測方法對比分析表明,所提方法RUL預測結果更接近真實RUL值,得分更高、預測誤差更小,對于變工況下開展滾動軸承健康狀態評估及RUL預測具有重要的參考價值。