混合注意力機制的旋轉機械故障診斷方法

付忠廣，高玉才，王詩云，謝玉存，翟世臣

（1.華北電力大學電站能量傳遞轉化與系統教育部重點實驗室，北京 102206；2.南京航空航天大學計算機科學與技術學院，江蘇 南京 210016）

旋轉機械廣泛應用于各種工農業生產場合，工作環境復雜多變，故障發生率相對較高，容易造成重大經濟損失和人身傷亡事故，因此研究旋轉機械的故障診斷具有十分重要的意義［1］。

傳統的故障診斷方法需要依賴專家經驗人工提取故障特征，效率低下。大數據和人工智能技術的發展為智能化故障診斷技術開辟了一條新路徑，尤其是神經網絡技術，能夠自動地學習數據之間的相關性，實現端到端的智能化故障診斷［2］，可以利用計算機系統實現旋轉機械運行狀態的實時監測。梁睿君等［3］利用連續小波變換處理振動信號并構造其時頻圖，然后利用二維卷積神經網絡進行圖像識別，成功將卷積神經網絡運用到齒輪箱故障診斷中，取得良好效果。注意力機制［4］是深度學習研究中的重點課題之一，對于目標任務，其能夠有針對性地選擇有利用價值的信息，提高信息處理的效率與準確性，進而提升算法性能。本文將注意力機制與卷積神經網絡相結合，將其運用到旋轉機械故障診斷中，實驗結果表明該方法有很大的優越性。

1 數學方法原理

1.1 連續小波變換

小波變換的理論來源為傅里葉變換，廣泛應用于信號處理與分析領域［5］。在連續小波變換中，信號用小波函數系表示，函數f(t)∈L2(R)的連續小波變換定義為

式中：參數a、b分別為尺度因子、平移因子；ψa，b(t)為小波基函數。

Morlet小波是高斯包絡下的單頻正弦函數，其形狀對稱、光滑，具有顯式解析方程，且相似系數較大，選擇Morlet小波作為基函數。振動信號通過連續小波變換產生小波時頻圖，圖像描述了振動信號的能量信息在時域和頻域上的分布情況，因此可以將小波時頻圖作為表征旋轉機械運行狀態的特征圖，將旋轉機械的運行狀態以三維圖像的方式展現出來。

1.2 LeNet5卷積神經網絡

卷積神經網絡模型源于科學家提出的感受野概念［6］，其通過共享卷積核的形式降低了模型復雜度，可以有效減輕過擬合并降低計算量，同時具有很強的魯棒性和容錯能力。LeNet5網絡屬于經典的卷積神經網絡，最初用來進行手寫數字識別，參數較少，能夠很好地利用圖像的結構信息，是一種非常高效的網絡模型。LeNet5網絡結構如圖1所示，前5層由卷積操作和池化操作交替進行，然后輸出到全連接層，最后通過Softmax分類器輸出分類結果。將最后一層輸出節點數由10改為5，對應旋轉機械5種不同的運行狀態，為防止模型過擬合并提高網絡參數收斂速度，在傳統LeNet5網路的基礎上作改進：

圖1 LeNet5卷積神經網絡結構Fig.1 The structure of LeNet5 convolutional neural network

（1）將傳統LeNet5網絡的所有激活函數均由飽和激活函數“sigmoid”改為非飽和激活函數“Leaky ReLU”，負值部分斜率固定為0.1，能夠解決神經網絡訓練過程中的“梯度消失”問題，加快網絡參數的收斂速度。

（2）將所有池化層由均值池化改為最大值池化，從而保留圖像更多的紋理信息，減弱背景噪聲所帶來的不利影響。

（3）在所有全連接層的激活函數之后加入Dropout［7］層，將其比率設置為0.2，同時使用L2正則化對損失函數進行修正，正則化參數設置為0.01。Dropout層的加入減弱了神經元之間的聯合適應性，從而很大程度上提高了模型的泛化性能。

1.3 混合注意力機制

提出的混合注意力機制是空間注意力機制和通道注意力機制的模塊組合，此方法能夠同時捕捉圖像的空間維度和通道維度中的全局特征依賴關系，從而有利于實現更精確的分割結果。通道注意力模塊和空間注意力模塊的結構分別如圖2、圖3所示。

圖2 通道注意力模塊Fig.2 Channel attention module

圖3 空間注意力模塊Fig.3 Spatial attention module

在通道注意力模塊中，輸入特征分別通過全局最大池化和全局平均池化轉換為兩項一維向量，再將其分別輸入到一個共享多層感知器（multilayer perceptron，MLP），然后將兩項輸出進行逐元素求和，最后通過激活函數得到通道特征。MLP由3層神經網絡組成，輸入層和輸出層節點數相同，均為輸入特征的通道數。所提出的通道注意力機制中間隱含層節點數設置為10，激活函數為“sigmoid”函數。每個通道的結果特征，就是所有通道特征在空間維度上與輸入特征進行元素乘法，實現了對特征圖之間的長程語義依賴關系建模，有助于提高特征的辨別性。

在空間注意力模塊中，將輸入特征沿著通道方向分別進行最大池化操作和平均池化操作，將兩項輸出在通道維度上進行拼接，然后利用尺寸為7×7的濾波器進行卷積操作，最后通過“sigmoid”激活函數生成一張與輸入特征寬高尺寸相同的二維空間注意力圖。每個位置的結果特征，是所有位置特征在通道維度上與輸入特征進行元素乘法，能夠根據圖3有選擇地聚合上下文。

2 實驗數據驗證

2.1 實驗數據集

實驗設備為北京東方振動和噪聲技術研究所制造的INV612型多功能柔性轉子實驗系統，轉軸徑向位置的固定支架上安裝有傳感器，能夠檢測并收集轉子的振動位移值并存儲到計算機系統中，也可以對頻率、幅值和轉子轉速等基礎信號進行在線分析。實驗過程中設置轉子系統運行頻率為50 Hz，傳感器采樣頻率為1 000 Hz，實驗所獲得的數據集包含轉子正常運行狀態、質量不平衡、碰摩、支撐松動、油膜失穩共5種運行狀態的樣本，每種狀態樣本為400個，每個數據樣本包含100個數據點，每個數據點表示運行轉子水平方向的振動位移值。

2.2 實驗數據集的小波時頻圖

通過連續小波變換將數據樣本的振動信號轉換為32×32的三維小波時頻圖，使其符合模型的輸入格式要求。旋轉機械5種運行狀態的小波時頻圖像如圖4所示。

圖4 小波時頻圖像Fig.4 Wavelet time-frequency graph

2.3 基于混合注意力機制的旋轉機械故障診斷模型架構

在LeNet5網絡Pool1層（對照圖1）之后添加混合注意力模塊，Woo等［8］研究發現，在通道注意力模塊和空間注意力模塊的所有組合方式中，串行排列的結果比并行排列的效果好，通道模塊放在前面優于空間模塊放在前面。因此選擇通道注意力模塊放在空間注意力模塊前面的串聯組合方式，混合注意力模塊如圖5所示。

圖5 混合注意力模塊Fig.5 Hybrid attention module

2.4 模型超參數的選擇

采用Tensorflow［9］設計了所提出的基于混合注意力機制的旋轉機械故障診斷模型，優化算法采用自適應動量法，即Adam［10］算法，損失函數為交叉熵損失與正則化損失之和，初始學習率learn_rate=0.01，每批訓練樣本的數量batch_size=256，最大迭代次數為300 epochs。隨著訓練次數的增加，模型的參數不斷得到優化，故障識別準確率不斷得到提高。

2.5 實驗結論及對比分析

采用的評價指標為轉子系統運行狀態識別準確率，模型訓練前需要將模型參數進行隨機初始化，按一定比例在數據集中抽取的訓練樣本和測試樣本也具有一定的隨機性。為消除這些隨機性影響，采用5折交叉驗證法進行模型的訓練和測試：將所有數據樣本平均分成5份，輪流將其中一份作為測試集數據檢測模型效果，其余4份作為訓練集數據集訓練模型，實驗結果取5次實驗的平均值。

為證明所提方法的優越性，將其與傳統的無注意力機制的LeNet5網絡進行對比，LeNet5網絡輸入為振動信號的小波時頻圖，參數設置與所提方法相同。兩種模型某次訓練過程中在測試數據集上故障識別準確率的變化情況如圖6所示。可以看出，在LeNet5網絡中間加入混合注意力機制之后，模型的訓練速度和故障識別準確率均得到提高。

圖6 準確率變化曲線Fig.6 Accuracy change curve

傳統的機器學習方法如支持向量機、K近鄰和決策樹模型在故障診斷領域中應用也十分廣泛。選擇原始振動信號的14個時域特征參數指標：最大值、最小值、平均幅值、峰值、方差、均方根幅值、方根幅值、歪度、峭度、裕度因子、波形因子、峰值因子、歪度因子和峭度因子。將這些時域特征參數作為K近鄰模型和決策樹模型的輸入特征，通過遺傳算法搜索最佳超參數，從而達到最高的故障識別準確率。各種模型在測試集上的表現見表1，表中數據均為5次實驗結果的平均值。

表1 各模型實驗結果對比Tab.1 Comparison of experimental results of each model %

2.6 數據可視化

為了查看所提方法在網絡中間層中區分旋轉機械不同運行狀態的效果，采用t分布隨機鄰域嵌入（t-distributed stochastic neighbor embedding，t-SNE）［11］方法將測試集數據在模型中間層的輸出結果進行可視化展示。測試集數據的原始振動信號、池化層2、全連接層1和全連接層2的輸出特征經t-SNE降維后的三維分布情況如圖7所示。由圖可知，隨著信息在模型中向前傳遞，不同故障類型信號所對應的特征在三維空間的區分度逐漸增大，相同故障的信號在三維特征空間逐漸聚合，說明本文的方法能夠有效地提取故障特征，從而實現旋轉機械故障的聚類和診斷。

圖7 故障特征三維空間可視化Fig.7 3D spatial visualization of fault characteristics

3 結論

旋轉機械運行環境復雜多變，振動信號易受外界噪聲干擾，傳統的故障診斷方法存在特征提取困難和診斷精度低等問題。通過小波變換將振動信號轉換為小波時頻圖像，然后利用加入混合注意力機制模塊的LeNet-5網絡識別圖像，從而進行旋轉機械故障診斷。實驗結果表明該方法切實可行，并得出以下結論：

（1）相比于傳統的基于機器學習的故障診斷方法，如K近鄰、決策樹模型，提出的基于混合注意力機制的旋轉機械故障診斷方法無需人工提取故障特征，輸入為原始振動信號，輸出為旋轉機械的運行狀態分類，能夠實現端到端的智能化故障診斷，同時相較于K近鄰和決策樹模型故障識別準確率分別提高13.75%和12.25%。

（2）混合注意力機制能夠同時捕捉每張特征圖任意兩個位置之間的空間依賴關系和任意兩個通道圖之間的通道依賴關系，將兩種注意力機制進行串聯組合，從而進一步增強了特征表示，相比無混合注意力機制的LeNet5網絡模型，所提方法的整體故障識別準確率提高6.75%，診斷精度和訓練速度都得到提高。

（3）提出的方法是基于大數據和人工智能的智能化故障診斷方法，充分發揮計算機系統的數據處理和計算能力，能夠及時發現并反饋故障類型，實現對旋轉機械運行狀態的實時監測，從而避免重大經濟損失和人員傷亡事故。