深度多模態遷移學習在軸承故障診斷中的研究

高麗鵬，雷文平，曹亞磊，冀科偉

（鄭州大學機械與動力工程學院，河南 鄭州 450001）

1 引言

現代工業中，軸承被廣泛應用于機械旋轉設備中，其運行狀態的好壞直接影響著設備的整體性能，對其進行高效直接的診斷有著重大意義[1]。但實際工程中，樣本往往以正常狀態數據為主，可用于訓練的故障樣本較少甚至稀缺，難以對診斷模型進行有效的訓練。因此，研究此問題下的智能診斷問題更貼合工程實際，對于智能診斷更好邁向實際應用提供了一種新思路。

近年來，人們開發研究各種有效的算法和方法進行智能故障診斷，并取得了顯著的效果[2-4]。但忽略一些潛在問題從而制約了這些工作在工業實際中的廣泛應用，即大多基于訓練和測試集的數據是獨立同分布這一假設，而工程實際中，由于工作條件等因素，這一假設并不成立。基于此，將遷移學習應用到故障診斷領域將是打破這一瓶頸的有效手段。遷移學習最初是由文獻[5]提出用于圖像跨領域識別。隨著遷移學習在視覺圖像領域的大放異彩，不少研究人員也將其思想遷移至故障診斷領域，并取得可喜的成就。文獻[6]提出基于SAE-BP神經網絡的遷移診斷方法對風電齒輪箱進行故障診斷；文獻[7]提出基于特征遷移的故障診斷方法，通過多層域適應完成了對機電軸承的故障診斷；這些工作在一定程度上有效的促進了智能遷移診斷應用于工程實際，但輸入的振動信號往往是基于一種模態，提取的故障信息有限。因此有些學者開始聚焦多模態信息融合技術應用于故障診斷的研究。文獻[8]利用三個維度的信息特征構建網絡實現低層信息融合并通過深度堆疊稀疏自編碼器實現高層特征的提取。文獻[9]將時域和頻域相融合應用于小波神經網絡中以進行對故障類別的元學習，但未考慮不同工況條件下的域差異問題。

基于以上研究，針對工業實際中故障樣本數據缺乏，訓練和測試數據往往不服從獨立同分布的假設[10]且單一模態信息表征能力有限、偶然性高、易受外界影響等缺陷，提出一種基于時域和頻域多模態信息融合的深度遷移學習模型（DMFTL）。該方法不僅可對故障的多模態特征進行互補，增強其信息的表征能力，提高遷移模型的跨域診斷性能，且特征層的融合可有效減少特征冗余，對模型的魯棒性也起到了積極的作用。

2 基本理論

2.1 卷積神經網絡

卷積神經網絡（Convolutional Neural Network，CNN）是一種基于卷積計算的典型的深度學習模型。最初應用于圖像處理，其典型結構，如圖1 所示。由于通常采集到的軸承原始振動信號為一維信號，因此采用一維卷積神經網絡，最大程度地保留了信號的原始信息。CNN 通常由卷積層、池化層、全連接層和輸出層構成[11]。

圖1 經典CNN結構示意圖Fig.1 Structure Diagram of Classic CNN

卷積層通過輸入信號與卷積核進行卷積運算以實現特征提取，數學表達式如（1）示。通過激活函數進行非線性映射選用ReLU作為激活函數，如式（2）所示。

式中：yl(i，j)—第l層輸出的激活值；f(.)—激活函數；Kli—第l層的i個卷積核；xl(j)—第l層中第j個被卷積的局部區域。池化層在減少參數量的同時保留有用的信息，以防止過擬合，并通常采用最大池化。數學描述，如式（3）所示。

式中：pl(i，j)—最大池化得到的結果；yl(i，t)—第l層第i幀第t個神經元激活值；H—池化區域寬度。

全連接層起到分類的作用，網絡正向傳播，如式（4）所示。并通過反向傳播算法迭代優化。最后采用Softmax激活函數將輸出轉化為概率結果。其公式，如式（5）所示。

基于上述CNN，給定一數據集，其訓練過程的優化任務可描述，如式（6）所示。

式中：?—損失函數；y-—真實標簽；u—全連接層；y(·)—預測標簽。

2.2 多模態信息融合

多模態信息融合（Multimodal Information Fusion）是以多個或多類不同類型或相同類型的信息數據為基礎，通過特征抽取等空間變化方法將同構或異構信息進行一致性的表示，然后進行信息的有效融合，得到關于被監測系統的狀態估計［12］。根據數據融合階段和層次的不同，融合方法可以分為三種類型：數據級融合、特征級融合和決策級融合。

針對該項研究中的數據和算法特點，由于數據級融合會導致數據量龐大冗余，計算耗時，而決策級融合又過度依賴決策算法，易導致誤判，因此選擇特征級融合。故障診斷中不同域信號均為不同模態，選定時域、頻域兩種模態信息，分別通過卷積層和池化層進行特征提取，并在特征級進行融合從而進行遷移診斷分類，如圖2所示。

圖2 故障信息特征級融合示意圖Fig.2 Schematic Diagram of Feature Level Fusion of Fault Information

2.3 遷移學習

遷移學習是指利用數據、任務、或模型之間的相似性，將在舊領域學習過的模型，應用于新領域的一種學習過程［13］。它包含兩個基本的概念：域和任務。為更有助理解將遷移學習問題形式化，現對其分別說明。

由于實際工程中，源域和目標域的數據分布往往存在差異，從源域中學習到的診斷知識并不能很好地識別目標域的軸承故障類別。而域適應是一種有效的解決途徑，其診斷示意圖，如圖3所示。旨在構建一種遷移診斷模型適配域差異，以提高跨域故障診斷的準確度。

圖3 域適應遷移診斷示意圖Fig.3 Schematic Diagram of Domain Adaptation Migration Diagnosis

2.4 度量準則

遷移學習的核心在于找到源域和目標域之間的相似性，并加以合理的利用。即使得源域和目標域的距離最小，相似度最大[14]。最大均值差異（MMD）是衡量兩個域分布差異的常用度量，它度量了在再生希爾伯特空間（Reproducing Kernel Hilbert Space，RKHS）中兩個概率分布的距離［14］。給定數據集Xt和Xs，Ps(Xs)≠Pt(Xt)，進行邊緣分布自適應，其MMD如式（7）所示。

MMD 的本質即是求出映射后源域和目標域的均值之差。我們使用MMD 來構造特征深度神經網絡學習中約束的正則化項。

3 實施方式

3.1 域自適應

域自適應方法往往是適配源域和目標域的差異，尋求在RKHS中兩個數據集分布的最小化距離[12]。采用基于特征的自適應方法來適配故障診斷實際中源域和目標域之間差異，并通過后續實驗，驗證其有效性。

3.2 訓練DMFTL具體實施方式

以CNN為基本深度學習模型，利用多模態信息融合技術，引入上述MDA的正則化項，以實現域自適應，其診斷流程圖，如圖4所示。

圖4 DMFTL模型診斷流程圖Fig.4 DMFT Model Diagnosis Flow Chart

利用式（6）定義的優化任務在帶有標記數據的源域上從零開始訓練，選用交叉熵?ce作為損失函數，結合MDA的正則化項，目標函數可定義為如式（10）。

4 實驗對比分析

4.1 實驗數據

采用凱斯西儲大學（CWRU）開源的軸承實驗數據集。軸承數據由加速度傳感器在四種載荷條件（0HP、1HP、2HP和3HP）下采集。實驗選擇驅動端軸承，型號為SKF-6205，采樣頻率12kHz。每種工況下有四種健康狀態，分別為健康（N）、內圈故障（IR）、外圈故障（OR）和滾動體故障（B），每種故障位置包含三種故障尺寸，分別為0.007英寸、0.014英寸和0.021英寸。各工況下的部分故障類別數據時域和頻域特征，如圖5所示。

圖5 各工況下部分數據時域頻域特征圖Fig.5 Time Domain and Frequency Domain Characteristics of Partial Data Under Various Working Conditions

在此次實驗中，我們旨在探索所提方法在不同工況下樣本的遷移能力。選取每種故障類型的樣本為200，以探究該模型在小樣本情況下泛化能力。設計四個遷移診斷任務進行實證評估，如表1所示。

表1 不同工況下的遷移診斷實驗Tab.1 Migration Diagnosis Experiments Under Different Working Conditions

基于DMFTL的診斷方法利用特征遷移策略進行域適應，以達到對滾動軸承跨域診斷的目的。未標記的目標樣本用于域自適應，此過程中不使用標簽信息。在域自適應后，使用另一組帶有標簽的測試目標樣本來評估所要遷移的診斷模型的性能。在DMFTL模型中，其使用的CNN網絡結構參數，如表2所示。使用了3個卷積層和最大池層的結構，同時為緩解網絡過擬合，對網絡參數引入L2范數正則化項，權值衰減為1e-3。批處理大小從（16～64），迭代次數設置為20，以驗證其在該范圍下的有效性和優越性。

表2 CNN結構參數表Tab.2 Structural Parameters of CNN

4.2 結果分析及可視化

提出的DMFTL 模型的建立基于python 語言。為確保實驗結果的準確性，減小隨機初始化待訓練參數對遷移診斷過程的影響，每個模型經過20次重復性試驗以避免實驗結果的偶然性，并將平均準確率作為最終準確率。在遷移診斷任務中，模型識別準確率最低亦可達到97.8%，表明該方法可有效學習和提取故障信息特征，從而達到良好的遷移和域適配效果。為進一步說明所提方法的優勢，相同條件下設置對照組，將DMFTL 與WDCNN、TCA、STTL（單模態時域遷移學習）、SFTL（單模態頻域遷移學習）進行對比分析，如圖6所示。

圖6 不同模型在遷移診斷任務中對比結果Fig.6 Comparison Results of Different Models in Migration Diagnosis Task

（1）WDCNN。作為傳統的深度學習模型與所提方法具有相同的網絡結構和參數，但缺少源域和目標域故障特征的域適配過程。在各遷移診斷任務中，任務F→E 達到最高，準確率為68.6%，表明基于WDCNN的智能診斷模型在跨域診斷中因存在數據間的分布差異，訓練模型過擬合而致使泛化能力較弱，識別精度不高。（2）TCA。TCA為淺層的遷移學習方法，它是將源域和目標域的數據映射至一個高維的希爾伯特空間，并在此空間中最小化兩者之間的距離。在遷移診斷任務F→E中準確率最高僅為42.6%，準確率較低，說明該方法對故障特征的深層提取能力不足，診斷效果較差。（3）STTL和SFTL。兩者單模態深度遷移診斷方法，在各遷移診斷任務中準確率相差不大，但較為不穩定，準確率最低為任務A→B的80.5%，最高為任務E→F的95.7%。SFTL整體略勝一籌，這是因為頻域中，噪聲分布在整個頻帶上，故障信息相較時域易區分，但單模態依然存在不明顯特征會被遺漏的問題。而DMFTL較好地結合了以上方法的優點，準確率明顯高于其他方法，且魯棒性更好，表現出良好的泛化能力。

為更加直觀地表現DMFTL模型的性能，在遷移診斷任務F→E中，將模型在訓練階段和測試階段最后一個隱藏層提取出的特征采用t-SNE（t-distribution Stochastic Neighbor Embedding）進行可視化，如圖7所示。SFTL訓練階段和測試階段，如圖7（a）、圖7（b）所示。DMFTL 訓練階段和測試階段，如圖7（c）、圖7（d）所示。可以看出，在訓練階段，模型都達到了較好的分類效果，但在測試階段，SFTL 分類性能較弱于后者，DMFTL 的魯棒性和泛化能力更強，能夠很好地進行故障診斷。

圖7 t-SNE可視化結果Fig.7 t-SNE Visualization Results

5 結論

提出基于DMFTL的智能診斷模型，解決了可用數據稀缺且模態單一使得提取的故障特征不夠完備，進而導致訓練模型在跨域診斷問題中識別準確率低且魯棒性較差的問題，并得出以下結論：（1）在對振動信號的處理及特征提取方面。同時對原始振動信號時域和頻域進行特征提取，彌補了單一使用時域或頻域易遺漏有效信息的不足，使得提取到的故障特征可以相互補充，有效提高了模型在遷移診斷任務中的魯棒性。（2）構建基于深度多模態遷移診斷模型DMFTL。利用大量帶標簽的源域數據預訓練模型，并通過域適應方法最小化源域和目標域的差異，為智能故障診斷更好應用于實際工程提供了一種新思路。