基于增量稀疏核極限學(xué)習(xí)機(jī)的發(fā)動(dòng)機(jī)狀態(tài)在線預(yù)測(cè)

劉敏， 張英堂， 范紅波， 李志寧

(陸軍工程大學(xué)石家莊校區(qū)，河北,石家莊 050003)

發(fā)動(dòng)機(jī)狀態(tài)在線預(yù)測(cè)是在其運(yùn)行過(guò)程中通過(guò)實(shí)時(shí)預(yù)測(cè)其轉(zhuǎn)速、油壓、油溫、水溫、排氣溫度、振動(dòng)特征和油液金屬磨粒濃度等狀態(tài)參數(shù)，分析發(fā)動(dòng)機(jī)健康狀況發(fā)展趨勢(shì)，及時(shí)發(fā)現(xiàn)并排除其潛在和早期故障，從而實(shí)現(xiàn)預(yù)知維修，對(duì)提高設(shè)備可靠性，降低維護(hù)成本具有重要意義[1].

與離線預(yù)測(cè)相比，在線預(yù)測(cè)模型具有對(duì)新增樣本進(jìn)行自學(xué)習(xí)以實(shí)時(shí)更新自身預(yù)測(cè)能力的優(yōu)勢(shì)，預(yù)測(cè)精度高且自適應(yīng)性強(qiáng). 因此，國(guó)內(nèi)外學(xué)者提出了大量基于人工神經(jīng)網(wǎng)絡(luò)[2]，支持向量機(jī)[3]，極限學(xué)習(xí)機(jī)與核極限學(xué)習(xí)機(jī)[4]等智能學(xué)習(xí)算法的在線預(yù)測(cè)方法，并取得了良好的應(yīng)用效果. 然而由于在線預(yù)測(cè)過(guò)程中，樣本貫序累積，且缺乏有效的樣本篩選和在線建模策略，導(dǎo)致在線預(yù)測(cè)模型存在模型膨脹、泛化性不足和更新時(shí)間過(guò)長(zhǎng)等問(wèn)題，在線預(yù)測(cè)的實(shí)時(shí)性與準(zhǔn)確性有待提高[5-6].

大量研究表明，樣本稀疏化和增量式建模是解決上述問(wèn)題的有效途徑[7-8]. Huynh等[9]提出了具有增量建模能力的在線貫序神經(jīng)網(wǎng)絡(luò)，但未進(jìn)行樣本稀疏化. Zhou等[10]基于滑動(dòng)時(shí)間窗與Cholesky因式分解提出了帶有遺忘機(jī)理的在線KELM模型,實(shí)現(xiàn)了樣本后向刪減與增量建模，一定程度上提高了在線建模效率. Simone等[11]提出了基于近似線性獨(dú)立的在線貫序KELM，通過(guò)預(yù)設(shè)誤差閾值篩選有效樣本增量更新預(yù)測(cè)模型，提高了在線建模效率. 張英堂等[12]提出了基于快速留一交叉驗(yàn)證的在線KELM模型，自適應(yīng)篩選有效新增樣本更新預(yù)測(cè)模型，進(jìn)一步提高了模型泛化性和在線更新速度. 然而由于缺乏刪除舊樣本和限制模型膨脹的有效策略，上述在線預(yù)測(cè)模型在實(shí)際應(yīng)用中的在線處理能力仍有待提升.

因此，本文提出了增量稀疏核極限學(xué)習(xí)機(jī)算法，并將其應(yīng)用于發(fā)動(dòng)機(jī)狀態(tài)在線預(yù)測(cè). 首先提出樣本信息度量方法稀疏化訓(xùn)練樣本，并在線構(gòu)造規(guī)模有限且結(jié)構(gòu)稀疏的稀疏測(cè)量矩陣，然后提出增樣更新與遷移更新算法相結(jié)合的方法對(duì)核權(quán)重矩陣進(jìn)行增量更新，最終實(shí)現(xiàn)ISKELM的快速在線建模.

1 增量稀疏核極限學(xué)習(xí)機(jī)模型

(1)

式中:L為隱層節(jié)點(diǎn)數(shù)；β=[β1β2…βL]T為隱層輸出權(quán)重向量；h(xi)=[h1(xi)h2(xi)…h(huán)L(xi)]為從n維輸入空間到L維隱層特征空間的特征映射向量.

ELM的訓(xùn)練目標(biāo)是訓(xùn)練誤差和輸出權(quán)重范數(shù)的最小化，可以表述為

(2)

通過(guò)解最優(yōu)化方程可得

β=HT(γ-1+HHT)-1y,

(3)

式中：H=[h(x1)Th(x2)T…h(huán)(xt)T]T為所有輸入的映射矩陣;y=[y1y2…yt]T為輸入對(duì)應(yīng)的目標(biāo)輸出向量；γ為懲罰系數(shù). 應(yīng)用Mercer條件定義核矩陣G=HHT,G(i,j)=h(xi)·hT(xj)=k(xi,xj). 由此，得到KELM的模型輸出為

ft(·)=h(·)HT(γ-1I+HHT)-1y=

(4)

式中：k(·)為核函數(shù)矩陣;α為KELM的輸出權(quán)重矩陣.

k(·)=[k(x1,·)k(x2,·)…k(xt,·)].

(5)

α=[α1α2…αt]=(γ-1I+G)-1y.

(6)

由式(4)可知，隨著樣本數(shù)的增加，模型的計(jì)算量持續(xù)增大，在線化處理困難. 因此，需要篩選有效樣本以對(duì)k(·)進(jìn)行稀疏化處理，從而提高在線建模效率. 根據(jù)稀疏表征理論[8]，基于k(·)構(gòu)造稀疏測(cè)量矩陣Φt如下：

Φt=[k(c1,·)k(c2,·)…k(cmt,·)].

(7)

則增量稀疏核極限學(xué)習(xí)機(jī)模型在時(shí)刻t的輸出可以定義為

(8)

式中：{c1,c2，…,cmt}?{x1,x2,…,xt}，ci為第i個(gè)核中心樣本；mt?t為有效樣本數(shù)，即模型的階數(shù)；αi,t為t時(shí)刻第i個(gè)核函數(shù)的權(quán)重.

t+1時(shí)刻樣本xt+1對(duì)應(yīng)的輸出表示為

(9)

當(dāng)樣本序貫產(chǎn)生時(shí)，為實(shí)現(xiàn)增量稀疏核極限學(xué)習(xí)機(jī)的在線建模，本文提出了基于樣本信息度量的稀疏測(cè)量矩陣構(gòu)造方法和基于增樣更新與遷移更新算法相結(jié)合的核權(quán)重矩陣遞推更新方法.

2 基于樣本信息度量構(gòu)造稀疏測(cè)量矩陣

2.1 樣本信息度量方法

設(shè)樣本xt+1在Ft下的條件后驗(yàn)概率為pt(xt+1|Ft)，則將xt+1對(duì)當(dāng)前測(cè)量矩陣Φt的有效信息量定義為xt+1在時(shí)刻t的條件概率自信息量.

I(xt+1|Ft)=-logpt(xt+1|Ft).

(10)

設(shè)測(cè)量矩陣Φt的在Ft原子個(gè)數(shù)為mt，核中心ci(1≤i≤mt)的條件后驗(yàn)概率為pt(ci|Ft)，則將Φt在時(shí)刻t所具有的平均自信息量定義為Φt的條件概率熵，即：

對(duì)于Ft下的

Φt=[k(c1,·)k(c2,·)…k(cmt,·)]，

利用核密度估計(jì)計(jì)算得到核中心c的條件后驗(yàn)概率為

(12)

式中θ為核寬度.

因此，xt+1的條件概率自信息量和Φt的條件概率熵分別表示為

(13)

(14)

本文中基于I(xt+1|θ,Ft)和H(Φt|θ,Ft)篩選有效樣本并刪除冗余樣本，在線構(gòu)造稀疏測(cè)量矩陣，其基本過(guò)程包括在線擴(kuò)充和在線修剪矩陣，其基本過(guò)程如圖1所示. 文中采用的核函數(shù)均為單位范數(shù)核，即?x∈X，k(x,x)=1.

圖1 測(cè)量矩陣Φ t的構(gòu)造過(guò)程Fig.1 Construction process of the measurement matrix Φt

2.2 稀疏測(cè)量矩陣在線擴(kuò)充

測(cè)量矩陣Φt中所有核中心的條件后驗(yàn)概率矩陣為pt(c|θ,Ft)：

(15)

根據(jù)式(11)得到Φt的條件概率熵為

(16)

(17)

式中kt=[kθ(c1,xt+1)…kθ(cmt,xt+1)]T∈mt×1.

(18)

(19)

(20)

2.3 稀疏測(cè)量矩陣在線修剪

(21)

由以上分析可知，本文中提出的樣本稀疏化方法，無(wú)需預(yù)先定義稀疏化參數(shù)，而是根據(jù)新舊樣本的有效信息量對(duì)大規(guī)模樣本進(jìn)行無(wú)監(jiān)督稀疏化，具有更高的自適應(yīng)性和靈活性，可提高樣本稀疏化效率. 在最佳階數(shù)內(nèi)擴(kuò)充與修剪測(cè)量矩陣，僅保留最有效樣本，可使矩陣始終保持規(guī)模和結(jié)構(gòu)最優(yōu)化. 經(jīng)分析可知，構(gòu)造測(cè)量矩陣的計(jì)算復(fù)雜度為O(m). 在稀疏化條件下，m值有限且較小，可有效滿足實(shí)際在線應(yīng)用的要求.

3 ISKELM核權(quán)重矩陣增量更新

為匹配稀疏測(cè)量矩陣擴(kuò)充與修剪過(guò)程，限制模型膨脹，并實(shí)現(xiàn)核權(quán)重矩陣的快速更新，本文提出一種增樣更新和遷移更新算法相結(jié)合的改進(jìn)增量式建模方法.

3.1 增樣更新算法

核權(quán)重矩陣增樣更新過(guò)程對(duì)應(yīng)于測(cè)量矩陣Φt在線擴(kuò)充過(guò)程. 當(dāng)Φt規(guī)模小于m時(shí)，若新樣本滿足2.2節(jié)中的條件，則用于擴(kuò)充Φt，同時(shí)更新相應(yīng)核權(quán)重矩陣. ISKELM的核權(quán)重矩陣為α=(γ-1I+G)-1y. 在時(shí)刻t，記Ct=γ-1I+Gt.

對(duì)于t+1時(shí)刻的新樣本(xt+1,yt+1)，有

(22)

式中λt=γ-1+kt+1,t+1，kt=[k1,t+1…kmt,t+1]T.

Ct+1的逆矩陣為

(23)

3.2 遷移更新算法

核權(quán)重矩陣遷移更新過(guò)程對(duì)應(yīng)于測(cè)量矩陣Φt的在線修剪過(guò)程. 當(dāng)Φt規(guī)模達(dá)到最大m時(shí)，為實(shí)現(xiàn)現(xiàn)有規(guī)模為m下的模型更新，本文提出一種利用有效樣本替換冗余樣本的遷移更新算法.

(24)

(25)

對(duì)于t+1時(shí)刻的新樣本(xt+1,yt+1)有

(26)

(27)

本文提出的方法在最佳階數(shù)內(nèi)對(duì)當(dāng)前模型核權(quán)重矩陣進(jìn)行遞推更新，極大地縮短了計(jì)算時(shí)間，同時(shí)有效限制了模型膨脹. 同時(shí)，核權(quán)重矩陣更新計(jì)算復(fù)雜度為O(m2)，滿足實(shí)際在線應(yīng)用要求.

4 仿真與實(shí)驗(yàn)分析

為說(shuō)明本文所提方法在系統(tǒng)狀態(tài)在線預(yù)測(cè)中的有效性，以Lorenz混沌時(shí)間序列模擬復(fù)雜系統(tǒng)數(shù)據(jù)變化過(guò)程進(jìn)行在線預(yù)測(cè)仿真實(shí)驗(yàn). 以8V150ZAL型柴油機(jī)為對(duì)象進(jìn)行發(fā)動(dòng)機(jī)狀態(tài)參數(shù)在線預(yù)測(cè)實(shí)驗(yàn)分析. 利用ISKELM進(jìn)行在線預(yù)測(cè)仿真與實(shí)驗(yàn)分析的流程如圖2所示.

圖2 ISKELM在線預(yù)測(cè)流程圖Fig.2 Online modeling process of ISKELM

4.1 Lorenz混沌時(shí)間序列預(yù)測(cè)實(shí)驗(yàn)

將ISKELM應(yīng)用于Lorenz混沌時(shí)間序列在線預(yù)測(cè)，以驗(yàn)證本方法的有效性. Lorenz混沌時(shí)間序列可描述為

(28)

從Lorenz時(shí)間序列中選1 000個(gè)數(shù)據(jù)點(diǎn)，令嵌入維數(shù)為10，得到990組樣本. 由于在線預(yù)測(cè)中用于初始建模的已有樣本較少，在線新增樣本較多，因此將所有樣本按1∶4的比例分為訓(xùn)練樣本和測(cè)試樣本. 即以前190組作為訓(xùn)練樣本初始化預(yù)測(cè)模型，后800組作為測(cè)試樣本模擬在線數(shù)據(jù)對(duì)初始模型進(jìn)行在線更新. 分別建立FM-OKELM，F(xiàn)L-OKELM和ISKELM三種預(yù)測(cè)模型作為對(duì)比實(shí)驗(yàn)對(duì)時(shí)間序列進(jìn)行在線預(yù)測(cè). 模型初始化訓(xùn)練階段，選擇KELM的核函數(shù)為高斯核函數(shù)，即k(ui,uj)=exp(-‖ui-uj‖2/θ). 任取網(wǎng)絡(luò)參數(shù)(γ,θ)值為(2,1)，設(shè)FL-OKELM的時(shí)間窗長(zhǎng)L∈(1,40)，ISKELM的稀疏測(cè)量矩陣規(guī)模m∈(1,40). 則190組樣本訓(xùn)練得到的均方根誤差(RMSE)平均值隨L和m的變化曲線如圖3所示.

圖3 時(shí)間序列預(yù)測(cè)誤差隨L與m的變化曲線Fig.3 Curves of prediction error varying with the change of L and m for Lorenz time series

由圖3可知，分別取FL-OKELM的時(shí)間窗長(zhǎng)L=15，ISKELM的稀疏測(cè)量矩陣規(guī)模m=9，可使得模型預(yù)測(cè)精度最高且規(guī)模最小，同時(shí)可防止模型膨脹. 以預(yù)測(cè)精度為適應(yīng)度值，對(duì)FL-OKELM與ISKELM中KELM的網(wǎng)絡(luò)參數(shù)(γ,θ)進(jìn)行尋優(yōu)，根據(jù)大量研究經(jīng)驗(yàn)[1]將參數(shù)尋優(yōu)范圍分別設(shè)置為γ∈[0.1,1 000]，θ∈[0.1,1 000]，進(jìn)而通過(guò)網(wǎng)格搜索法得到兩個(gè)網(wǎng)絡(luò)中(γ,θ)參數(shù)組合的最優(yōu)值分別為(987,3.33)和(865,2.24)，從而建立預(yù)測(cè)模型. 同理得到FM-OKELM的最佳(γ,θ)值為(513,1.76)，并建立相應(yīng)預(yù)測(cè)模型. 利用以上三種模型對(duì)Lorenz混沌時(shí)間序列進(jìn)行800步在線預(yù)測(cè)，得到預(yù)測(cè)曲線如圖4所示.

圖4 Lorenz混沌時(shí)間序列預(yù)測(cè)曲線Fig.4 Prediction curves of Lorenz time series

由圖4可知，當(dāng)預(yù)測(cè)步長(zhǎng)較小時(shí)，三種方法均可較好地匹配目標(biāo)序列. 但隨著預(yù)測(cè)步長(zhǎng)的增加，F(xiàn)L-OKELM和FM-OKELM的預(yù)測(cè)誤差變大，而ISKELM仍保持較高的預(yù)測(cè)精度. 在整個(gè)預(yù)測(cè)過(guò)程中，ISKELM的預(yù)測(cè)結(jié)果與實(shí)際值基本吻合，精度最高且相對(duì)穩(wěn)定.

圖5是800步預(yù)測(cè)中三種方法的計(jì)算時(shí)間與預(yù)測(cè)步長(zhǎng)的變化關(guān)系曲線，其中“+”表示800個(gè)樣本中用于模型在線更新的有效樣本.

圖5 在線預(yù)測(cè)時(shí)間與預(yù)測(cè)步長(zhǎng)變化關(guān)系曲線Fig.5 Curves of prediction time varying with the change of prediction step

由圖5可以看出，ISKELM只篩選了部分樣本作為有效樣本對(duì)模型進(jìn)行增量更新，而且預(yù)測(cè)步長(zhǎng)越長(zhǎng)，樣本篩選效率越高，從而大大縮短了模型的在線學(xué)習(xí)時(shí)間. 因此，與FL-OKELM和FM-OKLEM相比，ISKELM具有更快的在線預(yù)測(cè)速度.

利用三種方法對(duì)Lorenz混沌時(shí)間序列進(jìn)行在線預(yù)測(cè)時(shí)的模型訓(xùn)練和測(cè)試結(jié)果如表1所示.

表1 Lorenz混沌時(shí)間序列在線預(yù)測(cè)結(jié)果

由表1可知，在測(cè)試階段，與FM-OKELM和FL-OKELM 相比，ISKELM的預(yù)測(cè)速度分別提高了84.29%和57.55%，預(yù)測(cè)精度分別提高了40.16%和26.94%. 此結(jié)果進(jìn)一步證明ISKELM通過(guò)篩選有效樣本和刪除冗余樣本，并在最佳階數(shù)內(nèi)對(duì)模型進(jìn)行遞推更新，可有效提高樣本稀疏化效率，限制模型膨脹，并縮短在線建模時(shí)間，進(jìn)而提高在線預(yù)測(cè)的速度和精度.

4.2 變速工況下發(fā)動(dòng)機(jī)狀態(tài)參數(shù)在線預(yù)測(cè)

發(fā)動(dòng)機(jī)結(jié)構(gòu)復(fù)雜，狀態(tài)參數(shù)繁多，對(duì)其狀態(tài)進(jìn)行在線預(yù)測(cè)時(shí)，需選擇測(cè)試分析簡(jiǎn)便、抗干擾性強(qiáng)且能有效反映其動(dòng)力性能和技術(shù)狀況變化過(guò)程的參數(shù)表征其工作狀態(tài). 排氣溫度作為主要的氣動(dòng)熱力性能參數(shù)可有效表征發(fā)動(dòng)機(jī)的燃燒效率和熱損耗，且測(cè)試方便、干擾小，常用于表征發(fā)動(dòng)機(jī)運(yùn)行狀態(tài)[1]. 故本文通過(guò)預(yù)測(cè)排氣溫度變化過(guò)程，分析發(fā)動(dòng)機(jī)技術(shù)狀態(tài)變化趨勢(shì).

在8V150ZAL型柴油機(jī)變速工況下，采集其排氣溫度數(shù)據(jù)，部分相關(guān)實(shí)驗(yàn)數(shù)據(jù)如表2所示.

表2 柴油機(jī)運(yùn)行狀態(tài)參數(shù)

從所有實(shí)驗(yàn)數(shù)據(jù)中截取201組數(shù)據(jù)，以1為嵌入維數(shù)，構(gòu)造200組時(shí)間序列樣本. 按在線預(yù)測(cè)中新增樣本體量大的原則劃分訓(xùn)練集與測(cè)試集，以前70組作為訓(xùn)練樣本初始化模型，后130組作為測(cè)試樣本在線更新模型. 在模型初始化階段，70組樣本訓(xùn)練得到的平均RMSE隨L和m的變化曲線如圖6所示.

圖6 排氣溫度預(yù)測(cè)誤差隨L與m的變化曲線Fig.6 Curves of prediction error varying with the change of L and m for exhaust gas temperature

由圖6可知，F(xiàn)L-OKELM的時(shí)間窗長(zhǎng)和ISKELM的稀疏測(cè)量矩陣規(guī)模的最佳值分別為L(zhǎng)=7和m=5. 與4.1節(jié)相同，利用網(wǎng)格搜索法獲得KELM網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)(γ,θ)的最佳值，并建立相應(yīng)預(yù)測(cè)模型，各模型對(duì)排氣溫度進(jìn)行130步預(yù)測(cè)得到的預(yù)測(cè)曲線如圖7所示.

由圖7可知，ISKELM可以更好地匹配目標(biāo)序列，準(zhǔn)確預(yù)測(cè)排氣溫度的變化趨勢(shì)，有效跟蹤和反映柴油機(jī)的技術(shù)狀態(tài). 利用三種方法對(duì)排氣溫度進(jìn)行在線預(yù)測(cè)時(shí)的模型訓(xùn)練和測(cè)試結(jié)果如表3所示.

由表3中數(shù)據(jù)可知，在測(cè)試階段，與FM-OKELM 和FL-OKELM相比，ISKELM的預(yù)測(cè)速度分別提高了80.50%和31.72%，預(yù)測(cè)精度分別提高了48.56%和15.81%. 該實(shí)驗(yàn)結(jié)果進(jìn)一步證明ISKELM在模型在線學(xué)習(xí)和更新方面具有明顯優(yōu)勢(shì)，可有效提高發(fā)動(dòng)機(jī)狀態(tài)在線預(yù)測(cè)速度和精度.

圖7 排氣溫度預(yù)測(cè)曲線Fig.7 Prediction curves of exhaust gas temperature

表3 發(fā)動(dòng)機(jī)排氣溫度在線預(yù)測(cè)結(jié)果

5 結(jié) 論

為解決在線預(yù)測(cè)中樣本貫序累積且稀疏化效率較低、模型膨脹和更新速度較慢等問(wèn)題，建立了規(guī)模有限且結(jié)構(gòu)稀疏的ISKELM在線預(yù)測(cè)模型. 基于樣本信息度量實(shí)現(xiàn)樣本自適應(yīng)前向稀疏與后向刪減，并在最佳階數(shù)內(nèi)對(duì)稀疏測(cè)量矩陣進(jìn)行在線擴(kuò)充與修剪，提高了樣本稀疏化和在線建模效率. ISKELM采用增樣更新與遷移更新算法對(duì)核權(quán)重矩陣進(jìn)行增量更新，降低了算法復(fù)雜度，提高了模型在線更新速度. 混沌時(shí)間序列與發(fā)動(dòng)機(jī)狀態(tài)參數(shù)在線預(yù)測(cè)仿真與實(shí)驗(yàn)結(jié)果表明，與FM-OKELM和FL-OKELM等現(xiàn)有模型相比，ISKELM具有更高的在線預(yù)測(cè)速度和精度，為發(fā)動(dòng)機(jī)狀態(tài)在線預(yù)測(cè)提供了新的更有效的方法.