小波包域對抗注意力遷移學習故障研究

王景陽， 尹洪申， 俞 嘯， 張勛兵

（1 中煤電氣有限公司， 北京 101320； 2 中國礦業大學 物聯網（感知礦山）研究中心， 江蘇 徐州 221008）

0 引 言

在《中國制造2025》中，智能故障監測和診斷已經被列為實現未來全面工業化的必要技術之一［1］。而軸承承載著各行各業的動力和制造任務，經常處在高速、強負荷的環境中，極易發生故障。 軸承一旦發生故障，輕則影響機械運行的工作效率，重則導致人員傷亡等。 因此，研究軸承故障診斷技術具有重要的工程價值和理論意義［2］。

傳統的振動信號分析方法如短時傅里葉變換、小波分解、經驗模態分解等，雖然能夠對軸承信息進行簡單處理，但其無法充分提取軸承故障中的豐富信息，從而造成傳統機器學習的診斷方法無法滿足精準軸承故障分類的要求。

隨著大數據和人工智能的快速發展，基于深度學習的方法逐漸成為了故障診斷領域研究的熱點。深度學習網絡通過端到端的方法，無需專家的先驗知識，大大提高了故障診斷的效率［3］。 周等［4］將變分模態分解（Variational Mode Decomposition，VMD）與卷積神經網絡（Convolutional Neural Networks，CNN）相結合，實現了故障特征的自動提取和分類；杜等［5］首先利用小波變換得到不同尺度的時頻域信息，其次將不同尺度的信息與CNN 相結合，全面提升網絡的故障分類能力。

雖然深度學習在同工況軸承故障分類中取得了不錯的效果，但面對變工況場景，深度學習往往無法取得較好的故障分類效果。 因為深度學習網絡主要是在同一網絡模型中訓練，源域數據與目標域數據分布差異較小，但在變工況場景中源域數據與目標域數據往往存在較大的差異，導致利用深度學習的方法無法建立行之有效的故障診斷模型。

為了解決這一問題，基于遷移學習的軸承故障診斷方法被提出。 遷移學習通過找尋源域數據與目標域數據之間的相似性，實現源域數據到目標域數據的遷移。 朱等［6］利用局部最大均值差異度量準則減少兩域之間的分布差異，提高了變工況故障分類準確率，但其忽略了數據在邊緣概率分布的影響；楊等［7］利用少量的目標域標簽數據構建模型遷移的方法來解決兩域數據分布差異過大的問題，但現實場景中大多數是無標簽情況；胡等［8］利用域對抗網絡解決兩域之間分布差異過大的問題，但域判別器的全連接層對故障信息的整合能力較弱，在一定程度上導致故障分類效果不佳。

針對以上問題，本文提出了一種基于小波包域對抗注意力遷移學習的故障診斷方法。 首先，通過WPT 獲取不同尺度的時頻特征信息；其次，利用SE注意力模塊對關鍵特征賦予高權重；最后，通過LMMD 和改進的域對抗網絡減少相關子域和全局域之間的結構差異，提升模型兩域信息的整合能力，實現變工況場景下的精準故障分類。

1 基礎理論

1.1 Resnet 神經網絡

雖然CNN 在深度學習中取得了不錯的效果，但隨著網絡的加深，CNN 網絡容易出現梯度彌散和梯度爆炸的問題。 為了解決這個問題，何凱文團隊［9］在2015 年提出了一種殘差網絡（Residual Network，Resnet）來解決CNN 網絡的弊端，殘差模塊結構如圖1 所示。

圖1 殘差模塊結構Fig.1 Structure diagram of residual module

從圖1 可以看出，殘差模塊由兩種映射組成：一個是恒等映射，即輸入的x通過捷徑連接直接輸出到下一層；另一個是殘差映射，通過兩層卷積操作來實現，因此有式（1）：

其中，x代表輸入，H(x) 代表殘差。

1.2 SE 注意力模塊

SE 注意力模塊又稱通道注意力模塊，其主要關注特征在通道之間的復雜關系［10］。 SE 模塊結構圖如圖2 所示，當輸入特征通過一個全局平均池化后，其特征降維到1×1，然后通過兩個全連接層的降維和升維最終保持特征原有通道數。 這樣做的目的是保證網絡能夠同時獲得通道局部信息和全局信息，從而在通道上對關鍵信息特征賦予更高的權重，提升網絡模型整體的特征表達能力。

圖2 SE 模塊結構Fig.2 Structure of SE module

1.3 域對抗網絡網

域對抗神經網絡（Domain-Adversarial Training of Neural Networks，DANN）借鑒了生成對抗網絡（Generative Adversarial Networks，GAN）的思想［11］。但DANN 與GAN 又有一定的區別，DANN 網絡既有源域數據又有目標域數據，因此不需要GAN 的生成器網絡，而是將生成器網絡替換成了提取數據的特征提取網絡。 DANN 網絡遷移的核心思想是通過最大化域判別器損失，使得域判別器無法準確分析出特征提取網絡輸送的兩域特征數據，以此來對齊源域與目標域之間的分布。 DANN 網絡模型圖如圖3所示。

圖3 DANN 網絡模型Fig.3 DANN network model

1.4 LMMD

最大平均差異（Maximum Mean Discrepancy，MMD）是域自適應領域中最常用的度量距離之一，但是對于兩域中的子類別分類問題，MMD 總是通過全局數據來對齊子域之間的分布，容易造成子域類別匹配錯誤，從而導致域自適應模型性能下降。 而LMMD 通過深度特征自適應和特征學習來匹配源域和目標域特征之間的分布，減少了相關子域的差異分布，實現了子域級別細粒度的對比。 LMMD 的表達式如式（2）：

其中，p，q代表源域和目標域分布概率；xsi代表源域第i樣本數據；xtj代表目標域第j樣本數據；wsic代表源域樣本C類的權重；wtjc代表目標域樣本C類的權重。

2 WWRESE-IDALM 遷移學習網絡模型

2.1 改進的WWRESE 模型

雖然CNN 能夠自動提取軸承故障特征，但CNN網絡不僅容易出現梯度彌散現象，而且無法全面提取各個時頻域尺度的軸承故障信息。 因此，本文結合張偉等［12］提出的寬卷積核深度卷積神經網絡（WDCNN），提出了一種基于WPT 寬度SE 殘差網絡模型（WWRESE）。 首先，利用4 層小波包分解獲得到16 個不同節點重構的時頻域信號；其次，經過一層32×1 的大卷積核消除冗余信息；經過Resnet18網絡提取軸承故障特征；最后，在網絡中加入SE 注意力機制，反向傳播優化網絡關鍵信息權重，提升網絡整體的故障分類準確率。 WWRESE 網絡結構參數如圖4 所示。

圖4 WWRESE 網絡結構參數Fig.4 Parameter and structure of WWRESE network

2.2 改進的域對抗遷移學習網絡結構

DANN 網絡中的域判別器是減少源域數據與目標域數據之間分布差異的關鍵，常規的域判別器采用3 層全連接網絡提取兩域之間的信息特征，但這會導致域判別器中的信息特征參數無法全部共享，從而造成一些關鍵信息的丟失。 為了解決這個問題，本文利用4 層3×1 的卷積操作代替全連接層，小卷積核能夠充分遍歷兩域故障信息，同時卷積操作的權重共享能夠保留重要的信息參數，保證信息的完整性。 此外，還利用LMMD 對兩域中的子域特征進行細粒度的對比，減少模型在子域中的分類誤差，提升了模型整體的故障分類能力。

本文提出的改進域對抗遷移學習網絡結構（WWRESE-IDALM）如圖5 所示。 兩域數據首先經過WPT 提取不同尺度的時頻域信息后送入WRESE網絡中；其次，利用SE 注意力模塊對關鍵故障信息賦予更高的權重，提高網絡的特征表達能力；將提取的源域特征送入標簽分類網絡Gy，對源域數據進行精準分類，同時將源域與目標域共同提取的特征經過梯度反轉層送入域判別器Gd，讓源域特征與目標域特征進行激烈對抗，使得域判別器無法區分兩域故障特征的歸屬；最后，結合LMMD 共同減小子域分布中的結構差異并對齊兩域之間分布，完成最終的故障分類。

圖5 WWRESE-IDALM 網絡結構圖Fig.5 WWRESE-IDALM network structure

3 實驗結果分析

3.1 實驗數據集

實驗數據選用德國帕德伯恩大學（Universit?t Paderborn，PU）中轉速為1 500 rpm 下的3 種不同扭矩和徑向力的軸承數據。 PU 軸承數據集3 種工況數據見表1。

表1 PU 軸承數據集3 種工況數據Tab.1 PU bearing dataset with three operating conditions data

PU 數據集由10 組不同損傷程度和類型的故障數據和1 組健康的數據組成，PU 軸承數據設置見表2。

表2 PU 大學軸承數據Tab.2 PU bearing data

3.2 PU 數據集實驗診斷

本次WWRESE-IDALM 網絡模型超參數設置：batch_size 為64，epoch 為300，優化器為Adam。 為了驗證本文提出方法的優越性，設置了消融實驗進行證明，消融實驗模型設置如下：

（1）WWRESE-DALM 與本文提出的方法相比沒有對DANN 網絡的域判別器進行改進；

（2）WWRE-IDALM 與本文提出的方法相比在特征提取網絡中沒有加入SE 注意力模塊。

三種模型的實驗結果見表3 和圖6 所示，相較于WWRESE-DALM 和WWRE-IDALM，本文提出的模型不僅平均準確率要高于其他兩種模型，而且在各個工況的分類準確率也高于其他兩種模型。 與WWRESE-DALM 模型相比，改進后的域判別器通過卷積操作能夠充分保留兩域數據重要信息參數，同時結合LMMD 減少相關子域和全局域之間的結構差異，更好地判斷軸承數據所屬域；與WWREIDALM 模型相比，缺少SE 注意力機制對關鍵信息加權后，會導致軸承關鍵故障特征信息的丟失，造成WWRE 網絡的特征提取能力不足。

表3 PU 消融實驗模型遷移結果Tab.3 Results of PU transfer model %

圖6 消融實驗模型的遷移分類結果圖Fig.6 Results of transfer classification

為了進一步研究3 種方法在特征空間的可視化情況，對1-0 遷移任務進行t-SNE 可視化分析，3 種模型可視化情況如圖7 所示。

圖7 工況1-0 遷移分類t-SNE 結果Fig.7 Results of transfer classification on Condition 1-0

從圖7 中可以看出，WWRESE-IDALM 模型的聚類效果明顯優于其他兩種模型，在結合SE 注意模塊和IDALM 模型后，遷移學習模型的特征分類效果更加明顯，錯誤分類的數據大大降低，進一步驗證了本文提出的模型有較強的變工況故障分類能力。

4 結束語

針對滾動軸承特征提取能力不足、源域與目標域數據分布差異過大等問題，本文提出了一種基于小波包域對抗注意力遷移學習的故障診斷方法，并在PU 軸承數據集上進行了驗證，通過實驗可以得出以下結論：

（1）WWRESE-IDALM 診斷模型通過SE 注意模塊在通道上對關鍵特征賦予更高的權重，提升了網絡模型整體的特征提取能力；

（2）WWRESE-IDALM 診斷模型利用卷積網絡代替全連接網絡，能夠充分保留兩域數據之間重要的信息參數；同時結合LMMD 減少相關子域和全局域之間的結構差異，能夠更好的判斷軸承數據所屬域。