基于深度學(xué)習(xí)的伺服系統(tǒng)狀態(tài)預(yù)測算法

張 鵬 楊 濤 劉亞楠

1(中國民航大學(xué)適航學(xué)院 天津 300300)2(中國民航大學(xué)電子信息與自動化學(xué)院 天津 300300)

0 引 言

伺服系統(tǒng)在航空航天、軍事、高精度數(shù)控機床等精密機械傳動與控制領(lǐng)域得到了廣泛的應(yīng)用。而對這些設(shè)備開展?fàn)顟B(tài)預(yù)測和故障診斷，以便在故障發(fā)生前及時提供預(yù)警或采取保護措施，對保障設(shè)備安全運行具有重要現(xiàn)實意義[1]。

伺服系統(tǒng)一般包括機械系統(tǒng)、控制系統(tǒng)和驅(qū)動系統(tǒng)三個主要部分。在大型系統(tǒng)(如飛控系統(tǒng))中，往往包含多個伺服系統(tǒng)，且系統(tǒng)之間存在復(fù)雜的耦合關(guān)系，難以建立其準(zhǔn)確的物理模型[2]，導(dǎo)致基于模型的方法難以適用。國內(nèi)外學(xué)者普遍采用數(shù)據(jù)驅(qū)動的方法用于狀態(tài)預(yù)測和故障診斷。

目前數(shù)據(jù)驅(qū)動的狀態(tài)預(yù)測方法主要分為傳統(tǒng)統(tǒng)計方法和人工智能方法[3]。傳統(tǒng)統(tǒng)計方法在平穩(wěn)序列上能夠取得較好預(yù)測結(jié)果，但其缺陷在于過度依賴序列特征[4]，因此不適用于以非平穩(wěn)序列為主的伺服系統(tǒng)狀態(tài)預(yù)測。人工智能的方法分為統(tǒng)計機器學(xué)習(xí)方法[5]與深度學(xué)習(xí)方法[6]，能夠在給定輸入輸出數(shù)據(jù)的基礎(chǔ)上，自動擬合輸入輸出數(shù)據(jù)之間的非線性關(guān)系，在實際中取得了較好的效果，且同樣適用于非平穩(wěn)的序列。文獻[7]通過收集高壓斷路器歷史動作數(shù)據(jù)，利用支持向量機(SVM)預(yù)測其下一次的動作數(shù)據(jù)，用于發(fā)現(xiàn)其潛在故障，達(dá)到故障診斷的目的。文獻[8]提出一種最小二乘支持向量機(LS-SVM)算法，用于風(fēng)力發(fā)電機的狀態(tài)預(yù)測當(dāng)中。文獻[9]利用小波神經(jīng)網(wǎng)絡(luò)實現(xiàn)了交通狀態(tài)的短時預(yù)測，將小波基作為特征函數(shù)來優(yōu)化BP神經(jīng)網(wǎng)絡(luò)。上述方法在各自領(lǐng)域都取得了一定的效果，但是需要大量工程實踐與信號處理技術(shù)來提取信號特征，特征參數(shù)的選取依賴人工經(jīng)驗且只適用于小數(shù)據(jù)量的系統(tǒng)。

對于伺服系統(tǒng)狀態(tài)預(yù)測而言，統(tǒng)計機器學(xué)習(xí)方法難以適用，原因如下：(1) 過度依賴人工經(jīng)驗選取特征參數(shù)，特征參數(shù)選取直接影響模型性能。(2) 伺服系統(tǒng)運行時是一個連續(xù)的控制過程，其原始參數(shù)具有時間長、狀態(tài)參數(shù)多的“大數(shù)據(jù)”特點，利用信號處理技術(shù)來提取原始參數(shù)特征效率低、效果差[10]。因此，該領(lǐng)域的研究方向逐漸轉(zhuǎn)移到深度學(xué)習(xí)上。

深度學(xué)習(xí)算法能夠從原始數(shù)據(jù)中自動地提取數(shù)據(jù)的多層特征表示，在不同的狀態(tài)預(yù)測任務(wù)中均取得了最佳效果[10-12]。文獻[10]將LSTM用于多種序列預(yù)測任務(wù)當(dāng)中，預(yù)測精度高于傳統(tǒng)模型，且適用性更廣。文獻[11]在風(fēng)電短期預(yù)測中應(yīng)用了LSTM模型，且預(yù)測精度高于傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)與支持向量機。文獻[12]首次將LSTM 網(wǎng)絡(luò)用于鋰電池剩余壽命預(yù)測當(dāng)中，準(zhǔn)確預(yù)測了鋰電池一個周期內(nèi)的剩余壽命曲線。

上述研究表明，基于深度學(xué)習(xí)的狀態(tài)預(yù)測方法比傳統(tǒng)方法性能更加優(yōu)越，能夠擺脫傳統(tǒng)算法對數(shù)據(jù)特征提取的依賴。但上述研究都是基于單任務(wù)學(xué)習(xí)的預(yù)測，在實際應(yīng)用中，往往需要對具有共同特征參數(shù)的多個狀態(tài)參數(shù)進行預(yù)測。為解決上述問題，本文將多任務(wù)學(xué)習(xí)[13]的思想引入伺服系統(tǒng)狀態(tài)預(yù)測當(dāng)中。多任務(wù)學(xué)習(xí)是一種歸納遷移機制，主要思想是充分利用隱含在多個相關(guān)任務(wù)訓(xùn)練信號中的特定領(lǐng)域信息，在并行訓(xùn)練的過程中促使模型學(xué)習(xí)到適用于不同任務(wù)的共有特征，從而提升模型的泛化性能[13]。多任務(wù)學(xué)習(xí)在不同領(lǐng)域得到了廣泛的研究[14-15]。文獻[14]提出一種用于人臉重建與識別的MTLSAE算法，將人臉姿態(tài)恢復(fù)與臉部局部細(xì)節(jié)信息保留兩個任務(wù)共同建模，識別率高于對比算法。文獻[15]在視覺語音識別中引入多任務(wù)學(xué)習(xí)框架，將姿態(tài)分類作為輔助任務(wù)，同單任務(wù)的方法相比，其效果有顯著提升。

本文在研究深度學(xué)習(xí)理論的基礎(chǔ)上，提出一種多任務(wù)學(xué)習(xí)框架下的狀態(tài)預(yù)測方法，并將其用于伺服系統(tǒng)的狀態(tài)預(yù)測中，以脫離對人工提取數(shù)據(jù)特征的依賴。實驗結(jié)果表明，所提方法能夠自動從數(shù)據(jù)中提取特征，且預(yù)測精度優(yōu)于對比算法。

1 深度學(xué)習(xí)理論

深度學(xué)習(xí)的概念起源于人工神經(jīng)網(wǎng)絡(luò)的研究，有多個隱含層的多層感知器是深度學(xué)習(xí)模型的顯著特征[16]。相對于淺層學(xué)習(xí)算法，前者具有更好逼近復(fù)雜函數(shù)的能力，由于具有多隱層結(jié)構(gòu)，能夠?qū)崿F(xiàn)數(shù)據(jù)特征的逐層轉(zhuǎn)換，保證最有效地信息提取與特征表達(dá)。深度學(xué)習(xí)是一種數(shù)據(jù)驅(qū)動的算法，無需建立系統(tǒng)的準(zhǔn)確物理模型，只需要收集系統(tǒng)運行的歷史數(shù)據(jù)，即可獲得系統(tǒng)的最優(yōu)特征表示，從而完成故障診斷、故障分類和故障預(yù)測等任務(wù)。本文主要研究深度學(xué)習(xí)中的長短時記憶網(wǎng)絡(luò)。

本文采用LSTM[17]模型來構(gòu)建映射關(guān)系，LSTM是一種時間遞歸的神經(jīng)網(wǎng)絡(luò)，非常適合處理時間序列數(shù)據(jù)。相較于傳統(tǒng)的遞歸神經(jīng)網(wǎng)絡(luò)(RNN)，LSTM通過引入了記憶單元，解決了RNN在實際應(yīng)用中不能長期依賴的問題。

LSTM由輸入層、隱含層和輸出層構(gòu)成，其結(jié)構(gòu)如圖1所示。其中，g(t)表示輸入單元，h(t)表示狀態(tài)輸出單元，M表示記憶單元，i(t)、o(t)、f(t)分別表示輸入門限、輸出門限以及遺忘門限。

圖1 LSTM結(jié)構(gòu)

由圖1可以看出，M的讀、寫和遺忘操作由三個門限單元來控制。設(shè)輸入時間序列為x，t為當(dāng)前時刻，則各單元的狀態(tài)可用如下公式表示：

輸入單元：

g(t)=tanh(Wxgg(t-1)+Whgh(t-1)+bg)

(1)

門控單元：

i(t)=σ(Wxii(t-1)+Whih(t-1)+bi)

(2)

f(t)=σ(Wxfi(t-1)+Whfh(t-1)+bf)

(3)

o(t)=σ(Wxoi(t-1)+Whoh(t-1)+bo)

(4)

記憶單元：

M(t)=f(t)M(t-1)+i(t)g(t)

(5)

狀態(tài)輸出單元：

h(t)=o(t)tanh(M(t))

(6)

式中：σ表示sigmoid激活函數(shù)。

2 MTL-LSTM模型

伺服系統(tǒng)狀態(tài)預(yù)測任務(wù)可定義如下：給定系統(tǒng)相關(guān)的n個狀態(tài)參數(shù)集合X={x1,x2,…,xn}(X中包含了需要預(yù)測的狀態(tài)參數(shù)y)在t時間段內(nèi)的數(shù)據(jù)，預(yù)測狀態(tài)參數(shù)y在d時間后，即t+d時刻的值。

基于多任務(wù)的思想，MTL-LSTM模型對所有狀態(tài)參數(shù)分別建立一個預(yù)測任務(wù)，構(gòu)成一個具有n個任務(wù)的模型，并將n個任務(wù)以并行的方式連接，共享LSTM的網(wǎng)絡(luò)權(quán)重，n個任務(wù)協(xié)同監(jiān)督網(wǎng)絡(luò)訓(xùn)練。同時，基于如下兩點考慮：(1) 時間間隔越近的數(shù)據(jù)對狀態(tài)預(yù)測的影響越大；(2) 不同任務(wù)下不同特征參數(shù)與所預(yù)測參數(shù)的相關(guān)性不同。因此，分別從時間維度和特征參數(shù)維度提取數(shù)據(jù)特征，MTL-LSTM模型結(jié)構(gòu)如圖2所示。

圖2 MTL-LSTM模型結(jié)構(gòu)

圖2左LSTM中P=[p1,p2,…,pT]∈n×t，其中pi為X在i時刻的狀態(tài)向量，P與X存在如下關(guān)系：

P=XT

(7)

(8)

(9)

MTL-LSTM模型所有任務(wù)均共享HL與HR，考慮到不同時刻、不同特征參數(shù)與每一個任務(wù)的相關(guān)性不同，因此為每一個任務(wù)引入注意力機制[18]，其過程可按如下公式描述：

(10)

(11)

(12)

式中：k表示第k個任務(wù)；Wα∈1×m與Wβ∈1×f為的權(quán)值矩陣，bα與bβ為偏置項，均由訓(xùn)練時學(xué)習(xí)得到；αk∈1×t表示對第k個任務(wù)而言不同時刻點數(shù)據(jù)所占的權(quán)重的集合，βk∈1×n表示第k個任務(wù)中不同狀態(tài)參數(shù)的權(quán)重集合，αk與βk均在學(xué)習(xí)過程中不斷調(diào)整。式(12)將時間、特征兩個維度的LSTM隱含層輸出向量分別在各自維度下與對應(yīng)的“權(quán)重”相乘求和。然后拼接得到γk∈(t+n)×1，即輸入數(shù)據(jù)的特征表達(dá)。最后，預(yù)測值由式(13)給出：

(13)

式中：W∈1×(t+n)與b一起由學(xué)習(xí)得到。同時，實際應(yīng)用中關(guān)鍵參數(shù)的重要程度應(yīng)大于非關(guān)鍵參數(shù)，故為整個網(wǎng)絡(luò)定義加權(quán)損失函數(shù)如下：

(14)

3 算例分析

3.1 數(shù)據(jù)構(gòu)造

本文以B777客機飛控系統(tǒng)的俯仰控制通道為研究對象，根據(jù)飛控系統(tǒng)工作原理[19]，從快速存取記錄器QAR(Quick Access Recorder)數(shù)據(jù)中選取22個典型相關(guān)參數(shù)，采樣間隔為1秒，選取參數(shù)如表1所示，各參數(shù)具體含義參見文獻[19]。與傳統(tǒng)機器學(xué)習(xí)方法不同，深度學(xué)習(xí)不需要精心地選擇特征參數(shù)，只需要盡可能多地選取能夠反映系統(tǒng)運行過程的相關(guān)參數(shù)，深度學(xué)習(xí)算法能夠自動從數(shù)據(jù)中獲取系統(tǒng)的最優(yōu)特征表示[16]。

表1 相關(guān)參數(shù)表

多任務(wù)數(shù)據(jù)構(gòu)造方式如圖3所示。給定n個參數(shù)在T時間段內(nèi)的數(shù)據(jù)，數(shù)據(jù)構(gòu)造過程如下：(1) 將歸一化后的相關(guān)參數(shù)按照時間順序鋪開；(2) 選取滑動窗口大小為w，按照一定的步長s向下截取數(shù)據(jù)；(3) 在每一次截取時，選取滑動窗口最后一個時刻t在d時間間隔之后的結(jié)果作為d步預(yù)測標(biāo)簽。單任務(wù)數(shù)據(jù)集構(gòu)造與多任務(wù)類似，只是在第三個步驟時只選取對應(yīng)預(yù)測參數(shù)的第t+d時刻的數(shù)據(jù)作為d步預(yù)測標(biāo)簽。本文選取w=22、s=1構(gòu)造數(shù)據(jù)集，即每一樣本輸入由22個飛行參數(shù)在過去22個時刻點內(nèi)的數(shù)據(jù)構(gòu)成。

圖3 數(shù)據(jù)構(gòu)造方式

3.2 實驗驗證

為驗證MTL-LSTM模型的有效性，在深度學(xué)習(xí)平臺KERAS上實現(xiàn)該模型。并與傳統(tǒng)LSTM模型[20]、單任務(wù)LSTM模型(STL-LSTM，即MTL-LSTM的單任務(wù)結(jié)構(gòu))在不同步數(shù)的數(shù)據(jù)上做對比實驗。MTL-LSTM結(jié)構(gòu)參數(shù)如圖4所示。

圖4 MTL-LSTM結(jié)構(gòu)參數(shù)

按照3.1節(jié)的數(shù)據(jù)構(gòu)造方式，為22個飛行參數(shù)構(gòu)建22個任務(wù)。在該算例中，所有任務(wù)都具有相同的輸入數(shù)據(jù)X，且共享兩個LSTM網(wǎng)絡(luò)的權(quán)重，圖4中虛線框表示不同任務(wù)通過各自的注意力機制得到各自的預(yù)測輸出Y。對每一任務(wù)而言，在訓(xùn)練過程中，輸入數(shù)據(jù)為一個三維的張量(?,22,22)，其中?表示批大小。輸入數(shù)據(jù)分別通過左右兩個隱含層數(shù)為50的LSTM單元提取特征，其中左LSTM從時序維度提取數(shù)據(jù)特征，輸入數(shù)據(jù)轉(zhuǎn)置之后通過右LSTM提取狀態(tài)維度的特征，并分別通過注意力機制加權(quán)求和，最終得到兩個特征張量，張量維度為(?,1,50)。將兩個特征張量拼接，得到(?,1,100)維的融合特征向量，再通過128維的全連接層，并連接丟棄率為0.3的Dropout層，以防止過擬合。最后通過一個1維的全連接層激活輸出預(yù)測值，激活函數(shù)為Sigmoid。每一步訓(xùn)練時，將所有任務(wù)的損失加權(quán)求和，作為模型的整體損失，從而保證模型的并行，優(yōu)化目標(biāo)是最小化模型的整體損失。所有超參數(shù)均調(diào)至最優(yōu)，其中批大小為32；學(xué)習(xí)率為0.001；優(yōu)化器為Adam。訓(xùn)練時若驗證集誤差在10步以內(nèi)不再減少，則提前終止訓(xùn)練，并保存驗證集誤差最低模型。

對比實驗過程如下：

(1) 按3.1節(jié)所述方式分別構(gòu)造d=1,3,5時的數(shù)據(jù)集，其中STL-LSTM的狀態(tài)預(yù)測參數(shù)分別是：俯仰角、滾轉(zhuǎn)角。

(2) 分別訓(xùn)練MTL-LSTM、STL-LSTM與LSTM模型。由于是多任務(wù)模型，在d步時MTL-LSTM模型只需要訓(xùn)練一次就能對兩個參數(shù)預(yù)測，而STL-LSTM與LSTM模型則需要針對兩個參數(shù)分別訓(xùn)練。

(3) 預(yù)測未來200點內(nèi)的俯仰角、滾轉(zhuǎn)角狀態(tài)，并與真實QAR數(shù)據(jù)相比較。

3.2.1 固定步數(shù)預(yù)測

對于固定步數(shù)預(yù)測，三種模型都是預(yù)測固定步數(shù)之后的狀態(tài)。狀態(tài)預(yù)測結(jié)果如圖5所示，其中圖5(a)-(c)為俯仰角狀態(tài)預(yù)測結(jié)果，圖5(d)-(f)為滾轉(zhuǎn)角狀態(tài)預(yù)測結(jié)果。為衡量模型性能，采用均方根對數(shù)誤差(RMSLE)[21]作為評價指標(biāo)，計算公式如下：

(15)

式中：At為預(yù)測值，F(xiàn)t為真實值。計算值越小表明預(yù)測值越接近真實值，證明模型性能越好、預(yù)測精度更高。

圖5 俯仰角與滾轉(zhuǎn)角狀態(tài)預(yù)測

上述三種模型的誤差指標(biāo)計算如表2和表3所示。其中表2為俯仰角誤差對比，表3為滾轉(zhuǎn)角誤差對比，表中加粗項代表誤差最低的結(jié)果。

表3 滾轉(zhuǎn)角誤差對比結(jié)果

比較圖5結(jié)果，MTL-LSTM在不同固定步數(shù)下，其預(yù)測曲線與真實曲線最為接近，STL-LSTM次之，傳統(tǒng)LSTM預(yù)測結(jié)果與真實曲線偏離最遠(yuǎn)。同時，由表2、表3的誤差計算結(jié)果可知，MTL-LSTM模型在對俯仰角和滾轉(zhuǎn)角的固定步數(shù)預(yù)測上的預(yù)測誤差均最低。在俯仰角狀態(tài)預(yù)測中，MTL-LSTM固定步數(shù)預(yù)測精度較STL-LSTM平均提升約18.5%，較LSTM平均提升約21.2%。在滾轉(zhuǎn)角狀態(tài)預(yù)測中，MTL-LSTM固定步數(shù)預(yù)測精度較STL-LSTM平均提升約39.4%，較LSTM平均提升約42.4%。隨著預(yù)測步數(shù)的增大，由于狀態(tài)序列之間的關(guān)聯(lián)性降低，各模型預(yù)測誤差均會存在不同程度的下降，相較而言，MTL-LSTM模型的魯棒性更優(yōu)。

上述實驗結(jié)果表明，STL-LSTM模型與傳統(tǒng)LSTM相比，能夠更有效地提取數(shù)據(jù)特征；而多任務(wù)學(xué)習(xí)框架下的MTL-LSTM模型通過相關(guān)任務(wù)共同學(xué)習(xí)，而比STL-LSTM模型預(yù)測精度更高，驗證了所提方法的有效性。

3.2.2 迭代預(yù)測

MTL-LSTM模型與單任務(wù)模型相比，一大優(yōu)勢在于MTL-LSTM能夠進行迭代預(yù)測。所謂迭代預(yù)測，即在訓(xùn)練過程中用單步預(yù)測方法訓(xùn)練，預(yù)測階段則將當(dāng)前時刻的預(yù)測值作為下一時刻預(yù)測時的輸入?yún)?shù)，以遞歸的方式迭代預(yù)測輸出[22]。相較于固定步數(shù)預(yù)測而言，迭代預(yù)測具有更大的靈活性，不需要針對每一步去訓(xùn)練模型。俯仰角迭代預(yù)測結(jié)果如圖6所示，誤差計算結(jié)果如表4所示。

表4 俯仰角迭代預(yù)測誤差

圖6 俯仰角迭代預(yù)測結(jié)果

表4中誤差計算結(jié)果與表3中MTL-LSTM固定步預(yù)測結(jié)果相比，迭代預(yù)測誤差較大，原因在于隨著時間的推移，迭代預(yù)測上一步的預(yù)測誤差會累積到下一步，因此時間步數(shù)越長，迭代預(yù)測誤差會越大。相對而言，迭代預(yù)測靈活性更高，在滿足一定的精度條件下，迭代預(yù)測更適合實際應(yīng)用。

3.2.3 λk對預(yù)測結(jié)果的影響

對于多任務(wù)學(xué)習(xí)而言，不同任務(wù)之間的重要程度存在差異。在飛控系統(tǒng)多元狀態(tài)預(yù)測中，系統(tǒng)關(guān)鍵參數(shù)的重要性必然大于非關(guān)鍵參數(shù)，因此在式(14)中為不同任務(wù)分配不同的懲罰因子λk顯得尤為重要。為驗證懲罰因子對預(yù)測誤差的影響，該節(jié)實驗中將俯仰角視為關(guān)鍵參數(shù)，其余參數(shù)均視為非關(guān)鍵參數(shù)。設(shè)關(guān)鍵參數(shù)與非關(guān)鍵參數(shù)的懲罰因子之比為W(W=1,3,5,7,9),d=3時，俯仰角誤差變化趨勢如圖7所示。

圖7 俯仰角誤差變化趨勢

3.2.4 注意力機制的效果

為探究MTL-LSTM注意力機制在數(shù)據(jù)特征中的學(xué)習(xí)效果，將俯仰角單步預(yù)測過程中如式(10)、式(11)所示的注意力權(quán)重α、β可視化輸出，其可視化結(jié)果如圖8所示，其中圖8(a)為時間維度的注意力權(quán)重α，圖8(b)為特征維度的注意力權(quán)重β，右側(cè)刻度為權(quán)重對應(yīng)的顏色區(qū)域。

圖8 注意力權(quán)重可視化

由圖8(a)可以看出，從時間維度考慮，離預(yù)測值最近的第21、22個時刻點對狀態(tài)預(yù)測的影響最大，其中第22個時刻所占的權(quán)重為0.72，對狀態(tài)預(yù)測起主要作用，與實際分析一致。從圖8(b)可知，針對特征維度，除俯仰角(第22個參數(shù))本身外，高度變化率(第5個參數(shù))、飛行航跡角(第13個參數(shù))、迎角(第15個參數(shù))、垂直速度(第21個參數(shù))與俯仰角狀態(tài)預(yù)測相關(guān)性較大。通過觀察對比高度變化率、飛行航跡角、迎角、垂直速度的變化趨勢發(fā)現(xiàn)，上述參數(shù)與俯仰角的變化趨勢相似。

4 結(jié) 語

本文提出了一種基于多任務(wù)學(xué)習(xí)與LSTM網(wǎng)絡(luò)的改進模型MTL-LSTM，并將其用于伺服系統(tǒng)的狀態(tài)預(yù)測當(dāng)中。通過引入多任務(wù)學(xué)習(xí)的思想，利用關(guān)聯(lián)任務(wù)共同監(jiān)督模型訓(xùn)練，從而提升模型泛化性能。同時，本文對傳統(tǒng)LSTM網(wǎng)絡(luò)予以改進，使用兩個LSTM網(wǎng)絡(luò)分別從時間與特征參數(shù)兩個維度提取數(shù)據(jù)特征，并在多任務(wù)學(xué)習(xí)中共享此部分權(quán)重；在最后預(yù)測階段，針對每一任務(wù)獨立構(gòu)建注意力機制，使得每一任務(wù)能夠針對性地調(diào)整不同時刻、不同狀態(tài)參數(shù)的權(quán)重，從而提升學(xué)習(xí)效果。實驗表明，本文所提模型比傳統(tǒng)LSTM、STL-LSTM模型具有更高的預(yù)測精度，具備較高的應(yīng)用價值。