基于深度Q學習和連續小波變換的旋轉機械故障診斷方法

陳仁祥 周君 胡小林 韓興波 朱孫科 張曉

摘要： 針對旋轉機械故障診斷中深度神經網絡特征學習能力強、決策能力弱的問題，利用卷積神經網絡擬合強化學習中的Q函數，通過Q?learning算法學習策略實現故障診斷，提出了基于深度Q學習和連續小波變換的旋轉機械故障診斷方法。對振動信號進行連續小波變換得到時間尺度矩陣，構建出環境狀態空間，實現智能體與環境間的交互;用CNN擬合Q?learning中的Q函數得到深度Q網絡，將環境返回的狀態輸入到深度Q網絡中學習故障數據具體的狀態特征表示，并據此表征學習策略，智能體采用ε?貪婪方式決策出動作，利用獎勵發生器對動作進行評價;通過智能體與環境間不斷交互學習以最大化Q函數值，得到最優策略實現故障診斷。這種方式融合了深度學習的感知能力和強化學習的決策能力，從而有效提高了診斷能力。通過不同工況及不同樣本量下齒輪箱故障診斷實驗證明了所提方法的有效性。

關鍵詞： 故障診斷; 旋轉機械; 連續小波變換; 深度Q學習

中圖分類號： TH165.+3; TH133 文獻標志碼： A 文章編號： 1004-4523（2021）05-1092-09

DOI：10.16385/j.cnki.issn.1004-4523.2021.05.024

引 言

旋轉機械故障診斷本質是模式識別，其中重要的步驟是故障特征提取與故障類型識別[1]。近年來，由于深度神經網絡強大的特征學習能力，使其在旋轉機械故障診斷領域得到快速發展[2?3]。

利用深度學習進行故障診斷時，常見的模式為通過建立不同的深度神經網絡從訓練樣本中學習故障特征進而實現故障診斷。如：胡蔦慶等[4]對行星齒輪箱故障信號進行經驗模態分解，得到內稟模式函數（Intrinsic Mode Function，IMF）后利用深度卷積神經網絡融合特征信息明顯的IMF進行故障診斷。李巍華等[5]利用深度置信網絡直接從原始信號逐層學習軸承故障特征進行軸承故障診斷。Cao等[6]將長短期記憶網絡（Long Short Term Memory Networks，LSTM）用于風機齒輪箱故障的模式識別。Chen等[7]對行星齒輪箱信號進行離散小波變換得到二維時頻信息，再輸入卷積神經網絡（Convolution Neural Network，CNN）進行分類識別。Zeng等[8]對信號進行S變換提取時頻特征信息，提出了基于S變換和CNN的齒輪箱故障診斷。以上方法都取得了不錯的效果，但是大部分神經網絡直接在最后一層使用Softmax分類器進行分類，且訓練時更注重深度神經網絡的特征學習能力，而忽略了決策能力在神經網絡中的作用，這會影響診斷結果的準確性和可靠性，特別是在樣本量不足時。

深度Q學習（Deep Q Network， DQN）融合了深度學習的感知能力和強化學習的決策能力，已在視頻游戲中得到廣泛應用[9?11]。DQN通過智能體與環境間的互動，利用深度Q網絡來提取數據的抽象表征，同時據此表征進行自我激勵的強化學習，優化解決策略[12]。DQN不僅具有深度學習特征能力強的特點，還具備強化學習決策能力強的優勢，使其在故障診斷中具有巨大潛力。

同時，由于旋轉機械結構復雜，工況多變，信號傳遞過程中易耦合，采集到的振動信號往往具有非平穩非線性的特點，利用時頻分析方法獲得其二維時頻信息更有利于深度Q網絡學習特征和作出決策。常見的時頻分析方法中，S變換對高頻帶分辨率模糊，連續小波變換（Continuous Wavelet Transfer，CWT）具有很強的弱信號檢測能力，相對于離散小波和二進制小波具有不易發生漏檢和泄露的特點[13]，故采用CWT對原始信號進行變換獲得時間尺度譜。

綜上所述，提出基于深度Q學習和連續小波變換的旋轉機械故障診斷方法。首先利用CWT對非線性非平穩信號進行預處理，挖掘數據的二維時間尺度特征信息，以時間尺度矩陣構建出環境狀態空間。然后，用CNN擬合Q?learning中的Q函數，將環境返回的狀態輸入到深度Q網絡中學習故障數據具體的狀態特征表示，并據此表征學習策略。再通過智能體與環境間不斷交互學習以最大化Q函數值，得到最優策略，從而實現旋轉機械故障診斷。通過不同工況和不同樣本量下齒輪箱故障診斷實驗證明了所提方法的可行性和有效性。

1 連續小波變換和深度Q學習算法

1.1 連續小波變換原理

設函數ψ∈L2（R）∩L1（R）并且，由ψ經伸縮和平移可以得到一簇函數

通過尺度為a、平移為b的子小波和信號內積可得到每個小波變換系數Wf（a，b），當信號與該子波越相似，則系數值越大，特征成分將在時間尺度相平面上某處集結為高幅值的能量塊，反之則能量發散。通過不同的尺度變換，最終得到系數矩陣Wf（a，b）能夠刻畫出信號的二維時間尺度特征。Morlet小波與旋轉機械發生故障時產生的沖擊信號形狀相似，故選其為母小波。

1.2 深度Q網絡

強化學習包含四個元素：智能體、環境狀態、動作、獎勵。其交互學習過程如圖1所示。

智能體通過不停的交互利用從環境中得到的反饋信號，調整策略π來最大化長期累積獎勵，定義累積獎勵Gt如下

式中 Q（s，a）為Q函數;s，a，r分別為當前狀態、動作和獎勵;Q（s，a）取得最大值的s'，a'即為下一個狀態和動作。折扣系數γ介于0?1之間，其數值越小表明智能體在學習過程中越在意當前的獎勵，δ為Q學習率，用于權衡Q函數學習的快慢。

CNN利用多層特征提取層，自適應提取狀態特征形成更加抽象的特征表達，具有擬合任何函數的特點。因此，可用CNN擬合表示Q函數得到深度Q網絡，結構如圖2所示。

其中I層為輸入層，C1層為第一層卷積層，P1層為對應池化層，經過多次卷積與池化，最后將最后一層擴展成全連接層F，Q層為輸出層，每一層的具體介紹如下：

1）卷積層。多個卷積核分別與輸入圖像進行卷積，加上對應的偏置值，一個卷積核對應一個偏置值，加上偏置值之后通過激活函數就可以得到一系列特征圖，其過程用數學描述如下

式中 為l層第j個元素，Mj為l-1層特征圖的第j個卷積區，為前一層特征圖上第j個元素，為l層的權重矩陣，為l層的偏置矩陣，f（）為激活函數，使用Relu函數如下

2）池化層。通過對圖像進行降維處理，除去冗余信息，保留數據的重要特征，同時減少了計算量，提高特征學習了的效率，公式如下

式中 down（·）為下采樣函數，表示第l層第j個特征圖的權值，表示第l層第j個特征圖的偏值，經過池化層l后的特征圖和卷積層l-1的特征圖在數量上保持不變，大小改變。

3）全連接層。經過多個卷積層和池化層，網絡提取到數據的特征，通過全連接層將前一層的特征圖連接，最后連接分流層，與全連接層連接前，需要將前一層的所有特征圖展成一維特征向量。

式中 yk為全連接層的輸出層，xk-1是展開的一維特征向量，f（·）為激活函數，k為網絡層數序號，wk為權重系數，bk為偏置值。

4）輸出層。通過前面的卷積、池化等操作，卷積神經網絡在輸出層得到故障數據狀態下每類動作Q值，即

式中 Q（s，a;θ）為卷積神經網絡的Q值，θ為卷積神經網絡的權重參數。

1.3 深度Q學習算法

通過卷積神經網絡擬合Q函數，同時結合Q?learning算法得到的深度Q學習算法如表1所示，其中Q函數的迭代公式如下

式中 yi為第i次迭代目標值的優化結果;g（s，a，s'）為獎勵發生器;θi，為深度Q網絡、目標網絡的權重參數。目標網絡與深度Q網絡結構相同，每迭代C次將DQN的參數復制給目標網絡的參數。

式中 0<ε<1，用于權衡智能體在學習過程中對環境進行探索和利用的程度。

圖3為智能體決策過程中的移動示意圖，每層具有Z個節點，每個節點代表故障種類。每一次迭代，智能體根據環境返回的數據狀態使用公式（12）做出某個動作，當實際決策做出的動作所對應的節點與標記故障類型一致時，設置獎勵值r。否則獎勵值為0。

通過智能體與環境交互作用產生大量經驗樣本，然后隨機抽取輸入到深度Q網絡和目標網絡產生誤差，采用隨機梯度下降方法調節深度Q網絡的權重和偏值，使誤差達到最小值，本文使用的損失函數為均方誤差函數

對式（12）求一階偏導數，可以將得到的誤差逐層反向傳遞，進而更新卷積神經網絡的參數：

左側為更新后的和，η為學習率，依次類推，逐層更新由l層到l-1層的權重和偏置值。

2 基于深度Q學習和連續小波變換的旋轉機械故障診斷流程

所提故障診斷方法流程圖如圖4所示。智能體由深度Q網絡、目標網絡、以及回放記憶單元等構成，智能體通過卷積神經網絡可以感知數據狀態的抽象表征，同時根據環境反饋獎勵值進行策略學習。

主要步驟如下：

1）采集數據與劃分

合理布置加速度傳感器的位置，采集到的時域數據劃分方式如下：確定數據狀態（即樣本）個數Ns=lt/ls，其中lt為時域信號長度，ls為樣本長度。由此，可得到某個時域數據狀態，下標k表示狀態序列，上標td表示時域數據。

2）環境狀態空間的構建

將故障類型映射到動作空間集A={a1=0，a2=1，…，ai=n-1}，n為故障類型數。可得到某故障類型的數據狀態空間集

式中 i

3）訓練深度Q網絡

智能體根據某故障類型的數據狀態sk決策出動作ai，即決策出故障類型;然后環境根據動作ai利用公式（18）返回對應故障類型的下一數據狀態空間中某個狀態sk'，同時根據公式（13）對當前的決策結果進行評價，給予獎勵值r。回放記憶單元將每一次的交互數據（sk，ai，r，sk'）存儲在回放記憶單元D中，然后隨機抽取K個樣本輸入到深度Q網絡和目標網絡，采用隨機梯度下降法來減少公式（14）中的誤差值，同時更新深度Q網絡的權重和偏置值參數以最大化Q函數值。

4）故障診斷結果輸出

將測試樣本輸入到深度Q網絡，輸出診斷結果。

3 實驗驗證

3.1 實驗數據描述

通過動力傳動故障診斷綜合實驗臺[16]進行實驗，該齒輪箱中齒輪和軸承均存在故障，實驗臺如圖5所示，故障類型及描述如表2所示。

表2中，齒輪故障類型包括斷齒、缺齒、齒根裂紋、齒面磨損及正常共計5種。軸承故障包括滾動體、內圈、外圈、復合故障及正常5種。實驗中在兩種工況下采集到振動加速度信號，兩種工況分別為：1. 電機轉頻20 Hz，負載電壓0 V;2. 電機轉頻30 Hz，負載電壓2 V。由于篇幅有限，具體采集過程可參考文獻[17]的數據采集實驗部分。

圖6為齒輪箱中不同故障齒輪的時域波形圖和幅值譜，不同故障的特征并不明顯，如正常狀態和齒面故障的波形極為相似，人工診斷極易出錯。圖7為對應的時間尺度圖，可觀察到不同故障類型的能量分布存在顯著差異，如圖中斷齒故障和正常狀態的能量分布具有差異。因此，信號通過CWT處理更能表達出不同故障之間的特征信息。

3.2 DQN參數確定

首先進行齒輪故障診斷實驗。根據參考文獻[7]和經過多次實驗，所使用的網絡結構如下：兩層卷積層，每層卷積層卷積核的個數為C1=32，C2=32，C3=64，卷積核大小均為5×5，且每層卷積層后連接2×2池化層，池化方式采用平均池化方式;第一層全連接層神經元個數為F1，第二層隱藏層神經元個數為1024;輸出層神經元個數為5，即故障類型個數。每個工況下的每類故障樣本量為150，訓練集∶測試集=7∶3。

對于DQN參數設置，目前主要通過經驗和采用控制變量法進行調參后確定。因篇幅有限，以Q函數學習率δ和神經網絡學習率η的調參過程為例進行說明。表3為不同δ，η數值下得出的診斷結果。觀察表3，不同參數下智能體學習到的策略存在一定差異，從而得到不同的診斷精度，當η=0.06，δ=1時，在工況20 Hz?0 V， 30 Hz?2 V時分別為99.76%， 94.51%，同時達到最大值。因此選定參數η=0.06，δ=1，其他參數的設定過程類似。通過不斷調參分析后參數設置如表4所示。

3.3 實驗驗證及分析

為驗證所提方法的優越性，與文獻[8]S變換+CNN方法、文獻[18]STFT變換+CNN方法、CNN和CWT+CNN診斷方法進行了對比。

表5為對應的卷積神經網絡結構參數設置情況，其中卷積層C包含卷積核個數和卷積核大小兩個參數，池化層P包含層數和池化大小兩個參數，全連接層F只有神經元數目一個參數，所有輸入層I和輸出層O的參數設置一樣，輸入維度為34×34×1，輸出維度大小為故障類型個數。

圖8（a）顯示了在訓練過程中智能體獲得獎勵值的情況，可以看到隨著智能體不斷學習，決策能力逐漸提高，從而得到更多的獎勵值，最后達到平穩狀態。圖8（b）顯示了在訓練過程中準確率的變化，由于決策能力逐漸提高，準確率逐漸提升，最終在20 Hz?0 V時最大達到99.76%，30 Hz?2 V時達到94.51%。

圖9顯示了工況為20 Hz?0 V時，訓練過程中均方誤差值和Q函數平均值的變化情況。圖9（a）顯示了均方誤差代價函數的變換情況，隨著迭代次數的增加，誤差越來越小，最后趨于平緩。圖9（b）顯示了Q函數值的變化情況：（1）在初始階段，由于網絡參數還不穩定，決策能力弱，Q函數值波動較大。（2）在最后階段，Q函數曲線趨于平穩，表明深度Q網絡具有收斂性，最終學習到最優策略，決策出故障類別。

表6為不同方法下齒輪箱的故障的識別結果。根據該表可看出：1）通過時頻分析方法預處理原始數據后的準確率遠高于直接利用CNN對原始數據進行學習的準確率;2）因ST， STFT對振動信號的時頻特征展現不佳，使ST+CNN， STFT+CNN的準確率均低于CWT+CNN;3）CWT+CNN的準確率低于所提方法，但只是略低（平均準確率低2.21%），說明充分發揮CNN的特征學習能力可以獲得較好的準確率。同時，也證明所提方法融合了深度學習特征學習能力與決策能力，可取得更好的結果，但優勢并不突出。故后文分析不同樣本量時各方法的表現，以進一步證明所提方法的優勢。

為驗證在不同樣本量下所提方法的優勢，將兩種工況的每類故障樣本量設為如表7所示，每種工況按比例7∶3，5∶5得到訓練集、測試集，混合兩種工況的訓練集進行訓練。診斷準確率與樣本量的關系曲線如圖10所示，根據該圖，在樣本量較少時，所提方法準確率明顯高于其他方法，且不同樣本量下準確率的波動小，驗證了在混合兩種不同工況樣本下進行訓練診斷時，結合特征提取能力和決策能力的深度Q網絡具有更好的診斷優勢。也說明，訓練樣本量不足會限制以CNN為代表的深度神經網絡的特征學習能力，導致結果不佳。

3.4 齒輪和軸承綜合診斷實驗驗證

為了進一步驗證所提方法的優越性，將齒輪箱中的齒輪故障與軸承故障綜合進行實驗驗證。即故障類型包括：斷齒、缺齒、齒根裂紋、齒面磨、滾動體、內圈、外圈、復合故障（內外圈均有）以及正常共計9類。使用所提方法進行診斷實驗。同時CNN，ST+CNN，STFT+CNN，CWT+CNN模型均與上一節相同，實驗結果如表8所示，圖11為不同樣本量下的實驗結果。

觀察表8和圖11，在包含齒輪和軸承故障類型時，所提方法與前文的表現類似。在樣本量充分時，所提方法表現最好，但優勢不突出。而在樣本量不足時，僅僅依靠深度學習的特征感知能力并不能得到滿意的結果，而融合了深度學習的特征感知與強化學習的決策能力的所提方法可以獲得滿意結果，進一步證明了所提方法的優勢。

從圖10和11可以看到CNN，ST+CNN，STFT+CNN隨著樣本序號的增加準確率出現降低的情況，這是因為訓練樣本包含了兩種工況，且兩種工況的樣本量配置不平衡，隨著樣本量的增加，由于不同的診斷模型具有不同的性能，因此有可能存在隨著樣本量的增加識別精度下降的情況。

在訓練過程中，由于深度Q學習與CWT+CNN中卷積神經網絡的結構參數一樣，所以兩者的網絡模型的復雜度一樣。但由于深度Q學習包含了兩個網絡模型（深度Q網絡和目標網絡），訓練時耗時會增加。表9為兩種方法的時間對比，可發現所提方法的訓練時間明顯大于CWT+CNN，但是實際診斷過程中是使用訓練好的模型進行診斷，所需的診斷時間非常少（不超過1 s）。其中電腦配置如下：操作系統WIN10;處理器為inter（R） Core（TM） i5?4210M CPU@2.6 GHz;內存容量8 GB;顯卡為NVIDIA GeForce GTX850M。

4 結 論

本文針對故障診斷中深度神經網絡感知能力強、決策能力弱的問題，提出了基于深度Q學習和連續小波變換的旋轉機械故障診斷方法。利用連續小波變換挖掘信號的二維時間尺度特征信息，將時間尺度矩陣作為智能體的當前狀態，輸入到深度Q網絡中提取狀態特征;同時通過Q?learning算法進行策略學習，然后環境對智能體做出的動作進行評價。通過智能體與環境之間不停的交互“試錯”，更新策略以提升決策能力，最終得到最優策略實現故障診斷。這種方法融合了深度學習的特征學習能力與強化學習的決策能力，在樣本量有限時優勢突出，進一步發展了基于深度學習的故障診斷理論與方法。

參考文獻：

[1] 雷亞國，賈 峰，孔德同， 等.大數據下機械智能故障診斷的機遇與挑戰[J]. 機械工程學報， 2018， 54（5）： 94-104.

LEI Yaguo， JIA Feng， KONG Detong， et al. Opportunities and challenges of machinery intelligent fault diagnosis in big data era[J]. Journal of Mechanical Engineering， 2018， 54（5）： 94-104.

[2] Lei Y， Jia F， Lin J， et al. An intelligent fault diagnosis method using unsupervised feature learning towards mechanical big data[J]. IEEE Transactions on Industrial Electronics， 2016， 63（5）： 3137-3147.

[3] Zhao Rui， Yan Ruqiang， Chen Zhenghua， et al. Deep learning and its applications to machine health monitoring[J]. Mechanical Systems and Signal Processing， 2019， 115： 213-237.

[4] 胡蔦慶， 陳徽鵬， 程 哲， 等. 基于經驗模態分解和深度卷積神經網絡的齒輪箱故障診斷方法[J]. 機械工程學報， 2019， 55（7）： 9-18.

HU Niaoqing， CHEN Huipeng， CHENG Zhe， et al. Fault diagnosis for gearbox based on emd and deep convolutional neural networks[J].Journal of Mechanical Engineering， 2019， 55（7）： 9-18.

[5] 李巍華， 單外平， 曾雪瓊. 基于深度信念網絡的軸承故障分類識別[J]. 振動工程學報， 2016， 29（2）： 340-347.

LI Weihua， SHAN Waiping， ZENG Xueqiong. Bearing fault classification and recognition based on deep belief network[J]. Journal of Vibration Engineering， 2016， 29（2）： 340-347.

[6] Cao L， Zhang J， Wang J Y， et al. Intelligent fault diagnosis of wind turbine gearbox based on long short-term memory networks[C]. 2019 IEEE 28th International Symposium on Industrial Electronics （ISIE）. IEEE， 2019： 890-895.

[7] Chen R， Huang X， Yang L， et al. Intelligent fault diagnosis method of gearboxes based on convolution neural network and discrete wavelet transform[J]. Computers in Industry， 2019， 106： 48-59.

[8] Zeng X， Liao Y， Li W. Gearbox fault classification using S-transform and convolutional neural network[C]. International Conference on Sensing Technology. IEEE， 2016.

[9] Lake B M， Salakhutdinov R， Tenenbaum J B. Human-level concept learning through probabilistic program induction[J]. Science， 2015， 350（6266）： 1332-1338.

[10] Mnih V， Kavukcuoglu K， Silver D， et al. Playing atari with deep reinforcement learning[J]. 2013， arXiv：1312.5602.

[11] Mnih V， Kavukcuoglu K， Silver D， et al. Human-level control through deep reinforcement learning[J]. Nature， 2015， 518（7540）： 529.

[12] 劉 全， 翟建偉， 章宗長， 等. 深度強化學習綜述[J]. 計算機學報， 2018， 41（1）： 1-27.

LIU Quan， ZHAI Jianwei， ZHANG Zong-zhang， et al. A survey on deep reinforcement learning[J]. Chinese Journal of Computers， 2018， 41（1）： 1-27.

[13] 林 京， 屈梁生. 基于連續小波變換的信號檢測技術與故障診斷[J]. 機械工程學報， 2000， 36（12）： 95-100.

LIN Jing， QU Liangsheng. Feature detection and fault diagnosis based on continuous wavelet transform[J]. Journal of Mechanical Engineering， 2000， 36（12）： 95-100.

[14] Singh S， Jaakkola T， Littman M L， et al. Convergence results for single-step on-policy reinforcement-learning algorithms[J]. Machine Learning， 2000， 38（3）： 287-308.

[15] Watkins C J C H. Learning from delayed rewards[D]. Cambridge： University of Cambridge， 1989.

[16] Shao Siyu. Mechanical-datasetst[DS]. https：//github.com/cathysiyu/Mechanical-datasets， 2018.1.17.

[17] Shao Siyu， McAleer S， Yan Ruqiang， et al. Highly-accurate machine fault diagnosis using deep transfer learning[J]. IEEE Transactions on Industrial Informatics， 2019， 15（4）： 2446-2455.

[18] 李 恒， 張 氫， 秦仙蓉， 等. 基于短時傅里葉變換和卷積神經網絡的軸承故障診斷方法[J]. 振動與沖擊， 2018， 37（19）： 132-139.

LI Heng， ZHANG Qing， QIN Xianrong， et al. Fault diagnosis method for rolling bearings based on short-time Fourier transform and convolution neural network[J]. Journal of Vibration and Shock， 2018， 37（19）： 132-139.

作者簡介： 陳仁祥（1983-），男，博士，教授，碩士生導師。電話： （023）62539903; E-mail： manlou.yue@126.com

通訊作者： 胡小林（1984-），男，碩士，講師。電話：13594019266;E-mail：huxl0918@163.com