基于量子加權門限重復單元神經網絡的性態退化趨勢預測

2019-01-23 10:28:42王家序湯寶平

振動與沖擊 2019年1期

關鍵詞：方法

李鋒，向往，王家序，湯寶平

(1.四川大學制造科學與工程學院，成都 610065；2.四川大學空天科學與工程學院，成都 610065；3.重慶大學機械傳動國家重點實驗室，重慶 400044)

機械設備狀態預測是設備故障診斷中必不可少的一個環節[1],準確預測機械設備的性態退化趨勢，可以提前為設備維護管理提供充分的決策信息和反應時間，避免設備損壞造成意外損失，降低設備運營成本。從振動信號中提取性態退化指標時間序列后，設計合理有效的具有知識推理能力的預測方法是實現旋轉機械退化過程準確預測的關鍵。經典的預測方法有AR模型，最小二乘支持向量機(Least Squares Support Vector Machine, LS-SVM)，人工神經網絡(Artificial Neural Network, ANN)等。文獻[2-3]采用基于AR模型的預測方法，但AR模型容錯性較差，預測精度不高。文獻[4-6]采用基于最小二乘支持向量機的預測方法,然而最小二乘支持向量機核函數及其參數很多情況是人為選定，帶有許多不確定性。諸如BP神經網絡(Back-Propagation Neural Network, BPNN)[7-8]，循環神經網絡(Recurrent Neural Network, RNN)[9]等經典神經網絡，存在學習收斂速度慢、訓練困難、網絡的學習和記憶具有不穩定性等問題。門限重復單元神經網絡(Gated Recurrent Unit Neural Network, GRUNN)[10]作為一種改進的循環神經網絡，克服了RNN梯度消失的缺點，然而也存在著訓練過程困難，泛化能力不足等問題。

作為一種極富前景的非線性模型, 量子計算被認為是改進神經計算的有效途徑之一[11]。量子神經網絡利用了量子計算的一些優勢特別是量子計算的并行計算特性，比經典神經網絡具有更強的并行處理能力，并能處理更大的數據集，在數據處理方面具有前所未有的潛在優勢[12-13]。本文在GRU的基礎上，提出了量子權值門限重復單元神經網絡(Quantum Weighted Gated Recurrent Unit Neural Networks, QWGRUNN)，該量子神經網絡引入量子位表示網絡權值和活性值，構造量子相移門權值矩陣并通過門參數的修正實現權值量子位和活性值量子位的更新，并將上下文單元的權值擴展到隱藏層的權值矩陣,在與隱藏層權值同步更新過程中獲取時間序列的額外信息,改善了網絡泛化能力，進而提高了所提出的性態退化趨勢預測方法的預測精度；采用與自身結構相適應的動態學習參數，改善了網絡收斂速度，進而提高了所提出的預測方法的計算效率。

綜上所述，本文提出了基于量子權值門限重復單元神經網絡(QWGRUNN)的性態退化趨勢預測方法，用于旋轉機械的性態退化趨勢預測，達到了較高的預測精度和計算效率。

1 量子加權門限重復單元神經網絡

1.1 門限重復單元(GRU)

Cho等提出了通過門限重復單元(GRU)來匹配不同時間尺度的依賴問題，它融合了單元狀態和隱藏狀態，將遺忘和輸入門限整合成一個“更新門限”，其拓補結構如圖1所示。

圖1 門限重復單元

(1)

(2)

式中，Wz為p×m階權值矩陣，Uz為p×p階權值矩陣。

*ht-1))j

(3)

(4)

式中，Wr為p×m階權值矩陣，Ur為p×p階權值矩陣。

1.2 量子加權神經元模型

神經細胞的量子行為主要體現在細胞之間遞質的傳遞上。為模擬這種量子行為，量子加權神經元模型包括加權、聚合、活化、激勵四個部分，其中，權值和活性值分別用量子位|φi〉、|φ〉表示，其中|φi〉為對xi的加權，聚合算子記為Σ，活化作用通過內積算子F來實現，激勵采用sigmoid函數，如圖2所示。

圖2 量子加權神經元

記神經元輸入向量為x=[x1,x2,…,xm]T，輸出實數記為y，|φ〉=[|φ1〉,|φ2〉,…,|φm〉]T表示權向量。其中,權值量子位|φi〉=[cosθi,sinθi]T(i=1,2,…,m,θi表示該量子位的相位)；|φ〉=[cosξ,sinξ]T為活性值量子位(ξ為活性值量子位的相位)。于是，量子神經元的輸入輸出關系可表述為

(5)

當輸出y=[y1,y2,…,yn]T時，由量子權向量|φ(j)〉=[|φ1j〉,|φ2j〉,…,|φmj〉]T組成m×n維量子權矩陣

其中，|φij〉=[cosθij,sinθij]T為權值量子位且i=1,2,…,m，j=1,2,…,n，θij表示該量子位的相位。同時，活性值也可表示為：|φ〉=[|φ1〉,|φ2〉,…,|φn〉]T，其中，|φj〉=[cosξj,sinξj]T是活性值量子位且ξj為活性值量子位的相位，j=1,2,…,n。于是，結合式(5)、式(6)和式(7)可推導出量子神經元的輸入輸出關系如下：

(6)

式中，W為n×m階權值矩陣，有

(7)

因此，可通過更新權值量子位相位θij和活性值量子位相位ξj來更新權值量子位|φij〉和活性值量子位|φj〉，進而實現整個W矩陣的更新。

1.3 量子權值門限重復單元神經網絡(QWGRUNN)結構

量子權值門限重復單元神經網絡(QWGRUNN)將量子計算引入GRUNN，在保持GRUNN宏觀拓補結構不變的情況下，引入量子加權神經元表示內部傳遞關系。在QWGRUNN中，網絡權值由量子相移門表示，網絡的更新為對相關量子化結構的更新。

結合式(2)、式(6)和式(7)可導出QWGRUNN的更新門如下

(8)

同理結合式(4)和式(6)可推導重置門如下

(9)

于是，根據式(3)、式(6)和式(9)可表示待定活性值如下

(10)

式中，*表示對應元素相乘。

然后，結合式(1)、式(8)和式(10)可計算活性值

(11)

最后，結合式(6)、式(11)可計算網絡輸出值如下

(12)

1.4 QWGRUNN學習算法

在QWGRUNN中，由一位相移門來實現權值量子位和活性值量子位的修正。

因此，求出量子相移門的相位增量Δθt和Δξt，也就實現了權值量子位|φ〉和活性值量子位|φ〉的更新，也即實現了權向量的更新。

下面采用梯度下降法求Δθ(t)、Δξ(t)。QWGRUNN的逼近誤差函數為

(15)

(16)

于是根據梯度下降法，相位增量Δθ(t)與Δξ(t)由如下兩式分別得出

(17)

(18)

將相位(θwz)ij(t)、(θwr)ij(t)、(θw)ij(t)、(θwy)kl(t)、(θuz)kj(t)、(θur)kj(t)、(θu)kj(t)作為自變量代入式(17)可求得對應的相位增量Δ(θwz)ij(t)、Δ(θwr)ij(t)、Δ(θw)ij(t)、Δ(θwy)kl(t)、Δ(θuz)kj(t)、Δ(θur)kj(t)、Δ(θu)kj(t)；同理，將相位(ξwz)j(t)、(ξwr)j(t)、(ξw)j(t)、(ξwy)l(t)、(ξuz)j(t)、(ξur)j(t)、(ξu)j(t)作為自變量代入式(18)可以求得對應的相位增量Δ(ξwz)j(t)、Δ(ξwr)j(t)、Δ(ξw)j(t)、Δ(ξwy)l(t)、Δ(ξuz)j(t)、Δ(ξur)j(t)、Δ(ξu)j(t)。

至此，QWGRUNN中所有相位增量均已求得，將這些參數分別代入式(13)和式(14)，即可實現所有權值量子位和活性值量子位的更新。每更新一次權值量子位和活性值量子位就完成一次對QWGRUNN的訓練。

綜上，QWGRUNN引入量子位來表示權值和活性值(如式(8)～(10))并構造量子相移門(如式(13)和式(14))以實現權值量子位和活性值量子位的更新，同時QWGRUNN將歷史信息擴展到隱藏層(如式(11)),在與隱藏層權值同步更新過程中獲取時間序列的額外信息,優化了網絡輸出與隱層輸入之間的匹配程度，因而改善了網絡泛化能力，進而提高了所提出的性態退化趨勢預測方法的預測精度；另外，采用與QWGRUNN結構相適應的動態學習參數(如式(15)～(18))來動態調節相關參數的更新，提高了網絡收斂速度，進而提高了所提出的預測方法的計算效率。

2 性態退化趨勢預測方法“小波降噪-排列熵→QWGRUNN”

所提出的基于QWGRUNN的性態退化預測方法實現流程,如圖3所示。

圖3 基于QWGRUNN的性態退化預測方法實現流程

Fig.3 The implementation process of the performance degradation trend prediction method based on QWGRUNN

該流程說明如下：①通過小波變換對原始性態退化數據進行降噪處理;②從降噪的信號中提取排列熵[14]信息構成性態退化指標集;③將該指標集輸入到QWGRUNN完成網絡的訓練并用訓練好的網絡完成旋轉機械性態退化趨勢預測。

QWGRUNN訓練過程如下

從排列熵集中取s={xl,xl+1,…,xm}作為訓練集，將該指標集組裝成QWGRUNN的輸入Xtrain和輸出Ytrain，表達式如下

其中，l為數據起始點，k(

將Xtrain和Ytrain分別作為QWGRUNN 的輸入和輸出，完成QWGRUNN的訓練。

QWGRUNN預測過程如下：

本文采用排列熵算法提取旋轉機械的性態退化指標，并用該指標來預測旋轉機械性態退化趨勢。排列熵是近年來新興的一種研究自然界中不規則性以及非線性系統的算法，算法如下：

(1) 對離散時間序列(即小波降噪后的信號){x(i),i=1,2,…,N}進行相空間重構，得到重構矩陣R如下式

(19)

式中：k=N-(d-1)τ，j=1,2,…,k,d為嵌入維數，τ為延遲時間。

(2) 然后將重構矩陣R中的行向量R(j)=[x(j),x(j+τ),…,x(j+(d-1)τ)]按照升序排列，得到一組新的序列：S(g)={j1,j2,…,jd}，其中g=1,2,…,k≤m!。d維相空間映射不同的符號序列{j1,j2,…,jd}總共有d!，S(g)只是d!種符號序列中的一種。計算每一種符號序列出現的概率P1,P2,…,Pk。

(3) 最后可求出該時間序列(小波消噪后的信號)的排列熵如下式

(20)

排列熵計算簡單、實時性高、能較好地反映時間序列數據微小的變化，用排列熵提取旋轉機械性態退化指標，能有效檢測和放大表征旋轉機械性態退化的振動信號的動態過程，可以獲取更加敏感的性態退化指標。

3 實例分析

使用Cincinnati大學實測的滾動軸承性態退化數據[15]進行驗證，實驗裝置如圖4所示。軸承實驗臺的轉軸上安裝四個航空用軸承，這些航空軸承為Rexnord公司制造的ZA-2115雙列滾子軸承，交流電機通過帶傳動以2 000 r/min的恒定轉速帶動轉軸旋轉，實驗過程中軸承被施加6 000 lbs的徑向載荷。采樣頻率為20 kHz，采樣長度為20 480個點，每隔10 min采集一次軸承的振動數據，軸承持續運行直到出現故障。在第二組實驗中，實驗臺運行到第7天時1號軸承出現外圈故障而失效，本文采用該組實驗中1號軸承采集到的性態退化數據驗證本文所提方法。

圖4 滾動軸承性態退化實驗裝置

取1號軸承失效前3天(即最后3天)共計432段的軸承性態退化的振動信號數據，通過小波變換對原始數據進行降噪處理，并從小波重構后的信號中提取排列熵構成性態退化指標集如圖5所示。其中排列熵嵌入維數d=5，延遲時間τ=3。

由圖5可知，在第97點處出現明顯下降，表明該軸承處于退化初始階段，從第152點開始出現明顯不規則曲線，表明軸承出現了較大外圈缺陷，在330點以后不規則曲線密集程度明顯增多，表明該軸承已出現嚴重故障，瀕臨失效。取第101點～330點軸承性態退化數據進行訓練與預測，其中第101點～310點作為訓練樣本(即l=101,m=310)，最后20點(即第311點～330點)作為待預測樣本，將這些排列熵指標集輸入QWGRUNN分別用來訓練和預測。

圖5 1號軸承最后三天排列熵退化指標

Fig.5 Permutation entropy degradation index of No.1 bearing in the last 3 days

在QWGRUNN中，輸入維數k=5,訓練對數m-l-k+1=205,預測步數n=20,學習速率為α=0.1，動態收斂因子r=0.25，訓練次數取1 000次，預測結果如圖6所示。

圖6 所提出的方法的預測曲線與實際曲線對比結果

Fig.6 The comparison results between prediction curve of the proposed method and actual curve

為了驗證所提出的基于QWGRUNN的性態退化趨勢預測方法的優越性，本文首先分別用BPNN、RNN、GRUNN以及LS-SVM所得到的性態退化預測精度與所提出的方法進行對比。這四種預測方法的訓練次數及預測方式(即輸入輸出方式)同本文QWGRUNN保持一致。BPNN、RNN、GRUNN這三種神經網絡學習速率均取α=0.1，LS-SVM選擇RBF核函數，且核參數為σ=300，正規化參數γ=300。經BPNN、RNN、GRUNN以及LS-SVM預測得到的雙列滾子軸承性態退化預測結果如圖7所示。

為評價預測結果的準確性，采用均方根誤差(RMSE)作為預測效果的評價指標，即

(21)

(a) BPNN預測值與實際值對比結果

(b) RNN預測值與實際值對比結果

(d) LS-SVM預測值與實際值對比圖

Fig.7 The comparison results between prediction curve obtained by other four methods and actual curve

圖7和表1結果表明：QWGRUNN的平均預測誤差較小，且預測誤差的波動范圍也較小，說明該量子神經網絡具有良好的泛化性能，將其用于典型旋轉機械——雙列滾子軸承的性態退化趨勢預測，相較于BPNN、RNN、GRUNN及LS-SVM可以取得更好的預測精度。

然后，本文再用BPNN、RNN、GRUNN與QWGRUNN進行收斂速率對比，各神經網絡參數設置保持不變，逼近誤差E如式(15)，對比結果如圖8所示。當迭代步數增加時，四種神經網絡的逼近誤差均不斷下降，其中在迭代步數N=1 000時，BPNN的平均最小逼近誤差為0.211 5，RNN的平均最小逼近誤差為0.239 2，GRUNN的平均最小逼近誤差為0.199 3，QWGRUNN的平均最小逼近誤差僅為0.165 5。

表15種性態退化趨勢預測方法的預測誤差對比

Tab.1Thepredictionerrorcomparisonoffiveperformancedegradationtrendpredictionmethods

預測模型最小預測誤差emin×10-2最大預測誤差emax×10-2平均預測誤差e×10-2QWGRUNN1.562.011.72BPNN1.792.632.05RNN1.762.311.96GRUNN1.722.221.83LS-SVM1.791.791.79

圖8 四種神經網絡逼近誤差對比結果

Fig.8 The comparison results of approximation errors obtained by four neural networks

最后，再用BPNN、RNN、GRUNN以及LS-SVM進行性態退化趨勢預測所耗用的計算時間與QWGRUNN所耗用的計算時間進行對比，其結果如圖9所示。QWGRUNN消耗的時間僅為12.19 s，BPNN消耗的時間為21.44 s，RNN消耗的時間為15.24 s，GRUNN消耗的時間為17.28 s，LS-SVM消耗的時間為15.56 s。

圖9 五種性態退化趨勢預測方法消耗時間對比結果

Fig.9 The comparison results of computation time taken by five performance degradation trend prediction methods

圖8和圖9結果表明：將QWGRUNN用于典型旋轉機械-雙列滾子軸承的性態退化趨勢預測，比BPNN、RNN、GRUNN和LS-SVM具有更高的收斂速度和計算效率。

4 結論

提出了基于量子加權門限重復單元神經網絡的旋轉機械性態退化趨勢預測方法：“小波降噪-排列熵→QWGRUNN”。

(1) “小波降噪-排列熵”能有效檢測和放大振動信號的動態過程，用該方法來提取旋轉機械性態退化特征，可獲取更加敏感的性態退化信息。

(2) QWGRUNN結合了量子計算及GRUNN的優勢，在GRU基礎上引入量子位來表示網絡權值和活性值并構造量子相移門以實現權值量子位和活性值量子位的更新以提高泛化能力和預測精度，并采用與自身結構相適應的動態學習參數加快收斂速度，因此該量子神經網絡可以用于旋轉機械的性態退化趨勢預測。

(3) 所提出的性態退化趨勢預測方法集成了排列熵在性態退化特征提取、QWGRUNN在趨勢預測上的優勢，將該方法用于雙列滾子軸承的性態退化趨勢預測，取得了較好的預測精度及計算效率。