液壓泵和滾動軸承多種樣本量的改進多任務故障診斷

鄭 直, 曾魁魁, 何玉靈, 李 克, 王志軍

(1. 華北理工大學 機械工程學院,河北 唐山 063210;2. 華北電力大學 電機健康維護與故障預防河北省重點實驗室,河北 保定 071000)

液壓泵和滾動軸承分別作為旋轉機械的重要動力元件和傳動元件,被廣泛應用于冶金化工、航空航天和汽車制造等重要領域,其運行條件對機械設備起著至關重要作用。但它們面臨的工況往往復雜且惡劣,如高溫高壓、高速重載,使其具有很高的故障發生率,一旦發生故障,輕則停工滯產,重則人員傷亡。因此,對液壓泵和滾動軸承進行狀態監測和故障診斷,具有十分重要的意義[1-4]。

目前絕大多數研究成果都是基于單任務學習,即基于單一元件的故障診斷,它割裂了機械設備不同元件故障之間的聯系,無法利用相關診斷任務間的有用信息來提高診斷模型的泛化能力。多任務學習是深度學習方法的一種,近年來在故障診斷領域得到廣泛應用。Xie等[5]將多任務學習與注意力機制相融合,提出一種多任務注意力引導網絡,實現了滾動軸承故障類型和損失程度兩個任務的診斷。趙曉平等[6]通過在多標簽體系下構建多任務學習網絡模型,實現了齒輪箱的滾動軸承和齒輪兩個任務的診斷。Liu等[7]將速度識別和載荷識別作為兩個輔助任務,利用學習到的相關任務特征來提高滾動軸承故障診斷任務的性能。Guo等[8]將信息融合技術應用到多任務學習之中,并構造一個具有動態訓練速率的網絡模型,能夠同時完成滾動軸承故障診斷和定位兩個任務。雖然基于多任務學習方法構建的網絡模型能夠同時解決多元件故障診斷問題,但會增加網絡的結構和參數量,導致計算成本過高。

針對網絡規模龐大問題,許多學者基于MobileNetV1、MobileNetV2和MobileNetV3等輕量化方法成功診斷滾動軸承故障。Yu等[9]提出一種輕量級的故障診斷模型,該方法利用MobileNetV1實現了端到端的滾動軸承智能故障診斷。Yao等[10]利用MobileNetV1中的深度可分離卷積和MobileNetV2中的線性殘差結構,構建了一種堆疊逆殘差卷積神經網絡,實現了滾動軸承的故障診斷。Yu等[11]提出一種基于MobileNetV2的輕量級故障診斷模型,并引入Wasserstein距離,解決了滾動軸承的故障診斷問題。Yao等[12]利用蝴蝶變換模塊代替MobileNetV3中的逐點卷積,并與Deep SHAP算法結合,實現了滾動軸承的故障診斷。上述輕量化方法都是應用于單一元件的單診斷任務學習網絡,目前尚未有相關研究利用輕量化方法對多任務學習網絡進行輕量化處理。因此,針對多任務學習網絡規模龐大問題,本文引入輕量化方法降低多任務學習網絡規模,實現了基于充足樣本的多元件輕量化故障診斷。

上述研究都是基于充足樣本的,然而受到實際場地和成本的限制,使得有些故障數據無法大量采集或無法采集,從而導致少樣本問題甚至零樣本問題。零樣本問題是一種特殊的少樣本問題,少樣本問題是指在模型訓練過程中每種故障都具有少量樣本,而零樣本問題則根本不存在某些故障樣本。因此,零樣本問題比少樣本問題更具有難度,許多學者也對此展開了深入的研究。Chen等[13]提出了一種基于深度注意關系網絡的零樣本學習方法,用于未知工作條件下的滾動軸承單一元件零樣本故障診斷。Lü等[14]提出一種以混合屬性為條件的混合屬性條件對抗式去噪自編碼器方法,解決了滾動軸承單一元件的零樣本問題。Gao等[15]提出一種用于未知工作負載的零樣本故障診斷方法,實現了單一元件的滾動軸承零樣本故障診斷。Xu等[16]提出了一種用于復合故障診斷的零樣本學習方法,解決了由已知單故障向復合故障診斷的單一元件零樣本問題。以上研究都是基于單一元件的零樣本故障診斷,而機械設備故障往往涉及多個元件,對多個元件的零樣本診斷研究是很有必要的。跨多個元件的零樣本問題難度更大。因此,針對跨元件的零樣本問題,本文引入模型無關元學習方法進一步提高所提網絡模型的泛化能力,實現了輕微和嚴重的跨元件零樣本故障診斷。

綜上所述,針對液壓泵和滾動軸承充足樣本的多任務診斷問題、跨上述二元件的輕微和嚴重零樣本問題,本文引入輕量化方法、熱重啟余弦退火優化算法、模型無關元學習方法,對多任務學習網絡進行優化和改進,進而提出新的多任務學習網絡模型。首先,利用MicroNet對多任務學習網絡進行輕量化處理,生成MT-MN網絡模型;其次,利用熱重啟余弦退火算法優化MT-MN的學習率,生成多任務輕量化學習網絡模型(MT-MN-CA),解決了液壓泵和滾動軸承充足樣本的多任務診斷問題;最后,利用模型無關元學習對上述MT-MN-CA進行改進,進而提出改進多任務輕量化學習網絡模型(MT-MN-CA-ML),解決了跨上述二元件的輕微和嚴重零樣本問題。通過液壓泵和滾動軸承多元件的實測故障驗證可知,所提方法可以高準確率、高效率地解決充足樣本和零樣本的多任務故障診斷問題。

1 基礎理論

1.1 多任務學習

多任務學習(multi-task learning, MTL)是深度學習方法的一種,該方法不僅能夠同時處理多個問題,還能通過共同訓練在多個任務間實現信息共享,以此提高網絡的泛化性能。

單任務學習(single-task learning, STL)的局限性在于,現實中存在的任務并非孤立和簡單地針對單個任務進行學習,忽略了能夠幫助模型達到更好效果的其它有用信息。

相比單任務學習,多任務學習方法能夠利用獨有的共享層來提取多個任務的相關信息,并允許該信息在多個任務間進行信息共享,然后利用各自的子任務層實現故障診斷。并且隨著深度神經網絡的發展,多任務學習網絡具有更強的學習能力,因此成為一種很有前途的故障診斷技術。單任務學習和多任務學習網絡示意圖如圖1所示。

圖1 網絡示意圖

1.2 MicroNet

MicroNet于2021年提出,它是一個超輕量的深度神經網絡,使用微分解卷積將卷積矩陣分解為低秩矩陣,并將稀疏連通性整合到卷積中,以達到優化通道數和節點連通性的目的[17]。另外,提出一種新的動態激活函數,稱為Dynamic Shift Max(DY-Shift-Max),通過最大化輸入特征映射與其圓形通道移位之間的多次動態融合來改善非線性,加強了由微分解卷積組之間的連接。

W=PΦQT

(1)

式中:W為C×C矩陣;P為C×C/R矩陣;Φ為C/R×C/R置換矩陣;Q為C×C/R矩陣;T為轉置符號。

微分解深度卷積是將卷積核為k×k的深度卷積分解為一個k×1和一個1×k卷積核,分解后復雜度就從O(K2C)變成了O(KC)。

將微分解逐點和深度卷積以不同的方式組合就形成了MicroNet的三個Micro-Blocks模塊,并且所有的Micro-Blocks模塊都使用動態DY-Shift-Max激活函數。MicroNet的三個Micro-Blocks模塊的示意圖如圖2所示。

圖2 三個Micro-Block的示意圖

1.3 熱重啟余弦退火算法

熱重啟余弦退火是一種簡單有效的動態調整學習率的算法,其主要利用余弦函數緩慢下降、迅速下降、再緩慢下降的函數特征來映射到學習率的變化上[18]。使用熱重啟余弦退火算法優化學習率可以使模型在訓練初期以較大學習率進行學習,從而提高收斂速度;而在訓練后期以較小的學習率進行學習,避免模型跳過最優點。同時,熱重啟余弦退火算法還可以使模型更有效地適應數據集,從而產生更高的泛化性能,也避免了使用固定學習率容易陷入次優點的問題。

熱重啟余弦退火可以更好地幫助模型跳出當前的局部最優解,進而尋找全局最優解。熱重啟是指,在一個周期內,當學習率衰減到最小值時,會快速恢復到最大值,然后開啟一個新的周期。公式為

(2)

式中:ηt為當前學習率;ηmin為最小學習率;ηmax為最大學習率;Tcur為自上一次重啟后執行了多少個epoch;Ti為第i次熱重啟后,需要訓練epoch的數量。

1.4 模型無關元學習

元學習(meta-learning),又稱學會學習(learning to learn),旨在利用以往的學習經驗來學習新的任務。元學習的學習對象是大量包含少樣本的任務,以此來獲取足夠的先驗知識,因此元學習更注重的是學習的過程而非某一任務的結果。

元學習擁有獨特的學習方式,該方法將數據集劃分為元訓練集和元測試集,而元訓練集和元測試集又都有大量包含少樣本的任務(N-wayK-shot),其中N為任務中的故障類別數量,K為從每種故障中隨機抽取的樣本數量。

模型無關元學習(model-agnostic meta-learning, MAML)是元學習方法的一種,旨在通過大量包含少樣本的任務來得到一個對任務變化敏感的參數θ,這樣在面對新的任務時,就可以經過少量迭代步驟使損失函數值快速收斂[19]。

MAML包含內外兩層循環,并將服從p(T)分布的任務模型表示為fθ,當學習任務Ti時,模型的初始參數θ更新為θ′i。參數θ的一次梯度更新為

(3)

式中,α為內循環學習率。

在模型的訓練階段,初始參數θ的更新是通過優化多個任務上的fθ′i來實現的,元優化的目標為

minθ∑Ti～p(T)LTi(fθ′i)=∑Ti～p(T)LTi(fθ-α?θLTi(fθ))

(4)

在模型的外循環中,利用隨機梯度下降算法實現任務間的元優化,參數θ的更新過程為:

θ←θ-β?θ∑Ti～p(T)LTi(fθ′i)

(5)

式中,β為外循環學習率。

2 方法流程

所提方法的流程圖如圖3所示。

圖3 所提方法流程圖

3 試驗臺及元件樣本

本文以柱塞數為7的MCY14-1B型斜盤式軸向柱塞泵和MFS-MG滾動軸承為試驗對象。其中液壓泵的額定轉速為1 470 r/min,泵出口壓力調定為15 MPa,在采樣頻率為50 kHz下分別采集滑靴、松靴、斜盤磨損以及正常的Z軸振動信號。滾動軸承的電機轉速為2 000 r/min,在采樣頻率為12 kHz下分別采集內圈、外圈、滾動體以及正常的振動信號。試驗系統如圖4所示。

圖4 液壓泵和滾動軸承試驗系統

將為一維振動信號的原始數據轉換為二維圖像作為樣本數據。液壓泵和滾動軸承的8種故障共計4 000個樣本,每個樣本包含512個數據點。每種故障的樣本數量為500,按4∶1劃分為訓練集和測試集。圖5和圖6展示了液壓泵和滾動軸承每種故障的樣本。

圖5 液壓泵振動圖像樣本

圖6 滾動軸承振動圖像樣本

4 試驗驗證與分析

試驗在Pytorch框架下開發,硬件環境為i7-9750 CPU、軟件編程環境為python3.7。輸入樣本為3通道的RGB圖像,尺寸大小為224×224。學習率和為批尺寸分別設置為0.01、64,共迭代20次。

4.1 基于充足故障樣本的多任務故障診斷研究

4.1.1 基于MicroNet的多任務學習網絡構建及輕量化效果分析

為了證明基于MicroNet構建的多任務學習網絡模型(MT-MN)的有效性和優越性,分別利用輕量化方法MobileNetV1(MNV1)、MobileNetV2(MNV2)和MobileNetV3(MNV3)構建多任務學習網絡,并分別記為MT-MNV1、MT-MNV2和MT-MNV3。圖7～圖10展示了各個多任務學習網絡的診斷準確率和損失函數值的變化曲線,表1給出了各單任務學習和多任務學習網絡模型的診斷結果。

表1 多任務和單任務學習網絡模型的診斷結果

圖7 MT-MNV1的故障診斷結果

圖8 MT-MNV2的故障診斷結果

圖9 MT-MNV3的故障診斷結果

圖10 MT-MN的故障診斷結果

由圖7～圖10可知,四個輕量化多任務學習網絡中,MT-MN的初始診斷準確率最高、上升速度最快,并且迭代到一定次數后準確率最高、最穩定。同時,MT-MN的初始損失函數值最小,收斂速度快,并且穩定性高。

由表1可知,多任務網絡整體表現優于單任務網絡;在多任務網絡中,MT-MN在各方面的表現都明顯優于MT-MNV1、MT-MNV2和MT-MNV3。

在診斷準確率方面,MT-MN的平均訓練準確率較MT-MNV1、MT-MNV2和MT-MNV3分別提高3.98%、3.06%和6.67%;平均測試準確率較MT-MNV1、MT-MNV2和MT-MNV3分別提高13.80%、6.42%和15.25%。

在診斷效率方面,MT-MN的訓練時間較MT-MNV1、MT-MNV2和MT-MNV3分別顯著降低75.85%、80.22%和56.22%;測試樣本的預測時間較MT-MNV1、MT-MNV2和MT-MNV3分別顯著降低69.89%、75.22%和50.88%。

在參數量、計算量和模型尺寸方面,MT-MN的參數量較MT-MNV1、MT-MNV2和MT-MNV3分別顯著降低65.38%、53.68%和49.19%;計算量較MT-MNV1、MT-MNV2和MT-MNV3分別顯著降低99.30%、98.67%和92.86%;模型尺寸較MT-MNV1、MT-MNV2和MT-MNV3分別顯著降低64.79%、53.70%和48.98%。

由對圖7～圖10和表1的分析可知,MT-MN可以同時實現液壓泵和滾動軸承的高準確率、高效率故障診斷,并且相比其它輕量化網絡,MT-MN具有更小網絡規模、占用更少設備資源等優勢。

4.1.2 熱重啟余弦退火優化MT-MN-CA及其故障診斷研究

由于固定學習率容易使神經網絡模型陷入次優點,從而影響診斷準確率和診斷效率等性能。為進一步提升MN-MT性能,提出利用熱重啟余弦退火算法來優化輕量化多任務學習網絡MN-MT,進而提出MN-MT-CA新模型。優化流程如圖11所示,基于所提MN-MT-CA的診斷結果如圖12和表2所示。

表2 MN-MT-CA的故障診斷結果

圖11 CA優化MN-MT流程圖

圖12 基于MN-MT-CA的故障診斷結果

通過對比表1中MN-MT和表2中MN-MT-CA的診斷結果可知,MT-MN-CA的平均訓練準確率和平均測試準確率分別較MT-MN提高2.17%、4.42%;訓練時間和預測時間分別較MT-MN降低2.5%、3.2%;MT-MN-CA并未增加參數量、計算量和模型大小。

對比表1和表2可知,熱重啟余弦退火算法能夠通過動態調整學習率,在不改變網絡的情況下,可高準確率和高效率地優化網絡。

4.2 基于零樣本的多任務故障診斷研究

4.2.1 MAML元學習方法的改進

由于受到實際場地和成本的限制,使得有些故障數據無法大量采集或無法采集,從而導致少樣本問題甚至零樣本問題。機械設備發生故障往往涉及多個元件,而跨多個元件的零樣本問題具有更高難度。

本節利用MAML元學習方法進一步改進上述所提MT-MN-CA網絡模型,進而提出MT-MN-CA-ML新模型,以解決輕微和嚴重的跨元件零樣本問題。該新模型能夠通過學習包含少量樣本的相關任務來獲取先驗知識,并能夠利用此知識遷移性地解決新任務。其診斷流程如圖13所示。

圖13 所提MT-MN-CA-ML的診斷流程圖

4.2.2 基于數據集生成N-wayK-shot任務

根據不同運行狀態,將液壓泵和滾動軸承兩個元件的6種故障類型和2種正常狀態劃分為不同形式(A、B、C、D和E)的元訓練集和元測試集。數據集劃分的細節如表3所示。

表3 數據集劃分

由表3可知,數據集A含有滾動軸承元件所有運行狀態的樣本,但不含液壓泵元件任一運行狀態的樣本,數據集E則相反,這兩者都屬于嚴重的零樣本問題。數據集B、C和D的元訓練集和元測試集分別缺失了液壓泵或滾動軸承元件的1～3種運行狀態的樣本,它們都屬于輕微的零樣本問題。

4.2.3 基于MT-MN-CA-ML的跨元件零樣本問題研究

元學習在訓練階段和測試階段的輸入都是包含少量樣本的N-wayK-shot任務,其中N為任務中的故障類別數量,K為從每種故障中隨機抽取的樣本數量。由此可知,N越大、K越小則N-wayK-shot的測試難度越大,因此可通過調整N和K的大小來評估模型的泛化性能。在本研究中,由于液壓泵元件和滾動軸承元件分別有4種運行狀態,因此N可設置為1～4,但為體現所提方法的優越性,將N設置為4,K分別設置為1、3、5、7和10。因此,數據集A、B、C、D和E都包含4-way 1-shot、4-way 3-shot、4-way 5-shot、4-way 7-shot和4-way 10-shot任務。

在訓練階段,N-wayK-shot任務的批尺寸設置為4、更新步數設置為5,內循環學習率設置為0.01、外循環學習率設置為0.001,訓練任務數為2 000,共訓練500步。在測試階段,微調步數設置為10,測試任務數為20,并將20個測試任務的平均準確率作為測試準確率。

利用所提MT-MN-CA-ML方法對上述數據集A、B、C、D和E進行診斷分析,診斷結果如表4所示。

表4 數據集A、B、C、D和E下4-way K-shot的故障診斷結果

由表4可知,總共有A、B、C、D和E的5個數據集、4-wayK-shot的5種樣本形式,且所給出每個診斷結果為20個測試任務的平均值,所以共有500個診斷結果。因此,基于數據集A中4-way 10-shot樣本形式的1個測試任務,給出1個診斷結果的混淆矩陣,如圖14所示。

圖14 數據集A的4-way 10-shot分類結果可視化

由圖14可知,液壓泵正常運行狀態下的預測準確率為100%、斜盤和松靴故障的預測準確率為90%、滑靴故障的預測準確率僅為70%。分析可知,滑靴故障與斜盤和松靴故障具有較相似的振動沖擊特征,因此混淆性較強。

由表4可知,在各數據集下,診斷準確率隨著每種運行狀態下樣本量的增加而提高,分別在4-way 1-shot和4-way 10-shot處取得最低和最高準確率。

由表4中基于數據集B、C和D的診斷結果可知,所提方法在解決輕微的跨元件零樣本問題時,在4-way 1-shot獲得最低診斷準確率89.00%,在4-way 10-shot任務下獲得最高診斷準確率98.93%。以上數據表明,在解決輕微的跨元件零樣本問題時,所提MT-MN-CA-ML表現出很強的泛化能力,能夠實現高準確率的故障診斷。

由表4中基于數據集A和E的診斷結果可知,所提方法在解決嚴重的跨元件零樣本問題時,同樣在4-way 1-shot任務下獲得最低診斷準確率75.17%,在4-way 10-shot任務下獲得最高診斷準確率94.90%。以上數據表明,在解決嚴重的跨元件零樣本問題時,所提MT-MN-CA-ML仍可獲取較高的診斷準確率。

綜上可知,無論是解決輕微的跨元件零樣本問題,還是嚴重的跨元件零樣本問題,所提MT-MN-CA-ML方法都更夠取得較高的診斷準確率,因此具有很強的泛化能力。

5 結 論

本文針對基于充足故障樣本的多元件診斷網絡規模過于龐大的問題,引入MicroNet方法對多任務學習網絡進行輕量化處理,并利用熱重啟余弦退火算法進行優化,提出MT-MN-CA網絡模型;針對更高難度的跨多元件零樣本問題,引入模型無關元學習方法進一步改進MT-MN-CA,提出MT-MN-CA-ML網絡模型。通過對液壓泵和滾動軸承多元件的實測故障分析,得出如下結論:

(1) MicroNet輕量化方法可使所提MT-MN-CA網絡模型具有更小網絡規模,實現了基于充足樣本的高準確率和高效率的故障診斷。

(2) 在不影響網絡規模的情況下,熱重啟余弦退火算法可進一步改善所提MT-MN-CA網絡模型的性能,提高了基于充足樣本故障診斷的準確率和效率。

(3) MAML元學習方法可增強所提MT-MN-CA-ML網絡模型的泛化能力,能夠有效地解決輕微和嚴重的跨多元件零樣本問題。