基于aRVM的電子設備狀態在線預測方法

高明哲,許愛強，許 晴

(1.海軍航空工程學院 科研部, 山東 煙臺 264001； 2. 91635部隊， 北京 102200)

【信息科學與控制工程】

基于aRVM的電子設備狀態在線預測方法

高明哲1,許愛強1，許 晴2

(1.海軍航空工程學院 科研部, 山東 煙臺 264001； 2. 91635部隊， 北京 102200)

針對電子設備的狀態預測問題，提出一種基于自適應核學習相關向量機的在線狀態預測方法。所提方法將電子設備的狀態預測視為一個有監督回歸問題。首先通過設備離線數據的后驗概率選擇最適合預測問題的基函數，然后采用離線數據訓練aRVM預測模型，最后在預測過程中通過對在線數據的增樣學習來動態更新模型參數。仿真預測實例與實例預測實驗的結果表明：所提方法相比傳統方法顯著提高了預測精度和在線訓練效率。

電子設備；狀態預測；相關向量機；在線訓練；自適應核學習

電子設備在使用期間伴隨著組成部件性能的退化往往會導致設備功能的下降、失效，甚至引起災難性后果。這類退化過程通常具有內在的規律性，可通過預測方法對其健康狀態進行預測從而實現對設備的視情維修，這對減少故障損失、降低維修費用具有重大意義[1]。現階段一種有效的預測方法是通過對設備歷史數據的時間序列進行趨勢外推，從而得到未來時刻設備的健康狀態[2]，這對數據序列的預測方法具有很高要求。文獻[2-8]分別將隱馬爾可夫鏈、灰色模型、最小二乘支持向量機、超限學習機和相關向量機等方法應用到電子設備的狀態預測中，其中基于相關向量機(relevance vector machine,RVM)的預測方法不但在小樣本訓練下擁有參數設置簡單、預測精度高的優勢，并且能夠給出預測結果的置信區間，具有廣闊的應用前景[8]，近年來在諸多預測領域中獲得了廣泛關注[10-12]。然而現實中的電子設備是一個時變系統，傳統RVM預測方法得到卻的是一個參數恒定的離線預測模型[13]，這導致了預測精度會隨著時間推移不斷降低。面對不斷更新的在線樣本，傳統RVM只能重新訓練預測模型以保持動態預測能力，極大的降低了預測效率。

自適應核學習相關向量機(relevance vector machine with adaptive kernel learning,aRVM)是Tzikas等[14]在增量學習方法[15]和平滑稀疏度先驗[16]的基礎上提出的一種改進的RVM建模方法，相比傳統RVM其主要改進在于：以增量學習的方式向模型中逐個添加訓練樣本，優化計算復雜度；各相關向量對應的核參數可取不同的值以適應數據的局部特征，模型的靈活更強。aRVM采用的增量學習方法能夠在新樣本加入時在原有模型的基礎上快速更新模型參數，使得aRVM能夠拓展到在線預測中。

由于在線預測對預測精度以及實時性都具有較高的要求，影響相關向量機預測精度的主要因素之一是預測模型所采用的基函數類型以及基函數中核參數的取值。雖然aRVM能夠自適應求取最優核參數，但對基函數類型的選擇缺乏明確的依據。鑒于此，本文對aRVM進行了改進，并提出一種基于aRVM的電子設備在線狀態預測方法。所提方法首先補充了aRVM模型基函數的選擇方法，在訓練前根據離線樣本的后驗概率自適應選擇最優基函數。然后在訓練中針對在線樣本進行快速的增樣、減樣學習來自適應更新核參數，在保持模型稀疏型的同時提高動態預測能力。最后以雷達發射機狀態預測的仿真實驗和音頻放大器的實例預測實驗對該方法的性能進行驗證。

1 aRVM回歸原理

1.1 aRVM的模型

aRVM的基本模型如下[14]：

φ(x;θi)

(1)

式(1)中：φ(x;θi)為基函數；ω=(ω1,…,ωN)T為基函數的權值；θi為基函數的核參數。區別于傳統RVM，aRVM中各核參數θi可獨立選取不同的值。

訓練的目標是求得式(1)中各參數的值。由于訓練后的權值ω大部分為零，因此，aRVM模型最終是由少數權值為非零的相關向量(relevant vectors,RV)組成的一個稀疏模型。

p(t|ω,β)=N(t|Φω,B-1)

(2)

式(2)中：Φ=[φ1,φ2,…,φN]T，為N×(N+1)維基函數矩陣，φi=[1,φ(xi;θ1),φ(xi;θ2),…,φ(xi;θN)]T；B=βI。

為防止過擬合，針對每個權值ω，aRVM賦予其對應超參數α=(α1,…,αN)T作為先驗來控制模型的復雜度，二者滿足高斯分布：

(3)

根據貝葉斯定理可得ω的后驗概率滿足高斯分布：

(4)

式(4)中：μ=ΣΦTBt，Σ=(ΦTBΦ+A)-1，A=diag(α)。

超參數先驗概率p(t|α,β)的對數為：

L=logp(t|α,β)=

-1/2[Nlog2π+log|C|+tTC-1t]

(5)

式(5)中：C=B+ΦA-1ΦT。

aRVM對超參數α和β引入稀疏度先驗p(α|β)來控制模型有效參數的個數以防止過擬合[14]：

p(α|β)=∝exp(-ctrace(S))

(6)

式(6)中：S=ΦΣΦTB稱為平滑矩陣，矩陣S的跡trace(S)稱為S的自由度，用以表示模型參數的有效個數；c為稀疏度參數，本文中取log(N)/2。

RVM將權值ω邊緣化，從而使得模型的訓練問題簡化為求后驗概率p(α,β|t)關于參數α、β及θi最大值的問題。由于p(α,β|t)∝p(t|α,β)p(α|β)p(β)，則根據式(5)、(6)可得到超參數后驗概率p(α,β|t)的對數：

(7)

最終模型訓練的結果便是求得使LS最大的最優超參數值[αMP,βMP,θMP]。

1.2 aRVM的訓練

為優化計算復雜度， aRVM在訓練前將模型中所有的超參數初始化為α→∞，β取var(t)×0.1作為初始值，核參數θ在分布區間內隨機選取初始值。此時模型內參與運算的基函數集F為空。訓練開始后，針對每個樣本點，將其超參數αi設為[15]

(8)

(9)

核參數θi的最優值為LS(αi)對其偏導數為零的解，可通過擬牛頓法中的BFGS(Broyden Fletcher Goldfarb Shanno )方法來獲得。

(10)

θi的更新值取θi=?LS/?φ(θi)=Dni，其中

D=B[(t-Φμ)μT-ΦΣ]+2cBΦΣAΣ

(11)

β則取偏導數

βctrace(ΣΦTΦ)

(12)

為零的數值解來更新[14]。

若更新后的出現αgt;1012的樣本點，則由式(3)的先驗約束可知該樣本點對于預測模型的貢獻趨于0，將其從F中剔除。遍歷所有的離線樣本之后，模型收斂得到一個稀疏的預測模型。

1.3aRVM的預測結果

模型訓練完成后，得到超參數的最優值[αMP,βMP,θMP]。則對于新的輸入x*，模型輸出其目標值t*服從高斯分布：

(13)

其均值和方差分別為：

y*=μTφ(x*;θMP)

(14)

(15)

2 aRVM的改進

雖然aRVM本身依然是一種面向固定樣本的離線學習算法，但為減少訓練的計算復雜度而采用的增量學習方式使得 aRVM能夠拓展到在線訓練。由于影響RVM預測精度的主要因素是基函數的類型以及核參數的值，而aRVM卻缺乏相關的基函數選擇方法，因此本文對aRVM作出兩點改進：一方面通過在訓練前根據離線樣本的特點預先選擇預測模型的基函數類型；另一方面通過對在線樣本的增樣、減樣訓練來自適應更新模型參數和核參數。

2.1 基函數的選取

在核方法中，不同的核函數具有的特性并不相同，使得在不同的應用場合，核函數的性能表現差異很大[18]。因此，基函數的選擇是否合理對RVM的預測性能有直接影響。然而aRVM并沒有給出基函數的選擇方案，文獻[14]人為設定了基函數的類型，實際應用中不具備推廣性，而文獻[19]采用了5折交叉驗證方法確定基函數類型，極大的增加了模型的訓練時間。

(16)

式(16)中：K為計算Monte-Carlo平均時的采樣數；超參數在區間α∈[10-12,1012]、β∈[10-4,100]內均勻取值。

在得到各類基函數的后驗概率LB后，取令LB最大的基函數作為訓練基函數φMP，并將LB最大時基函數對應的核參數值作為迭代初始時的核參數值θini。基于離線樣本后驗概率的基函數選擇方法無需反復進行測試，相比交叉驗證方法能夠大幅度減少計算復雜度。

2.2 在線參數更新

(17)

(18)

若滿足學習條件：

(19)

則向當前模型的F中添加樣本(xm+i,tm+i)對應基函數，并按照式(10)～式(12)來更新參數α、θ、β。

之后以減樣的方式刪除超參數αgt;1012對應的基函數，保持模型稀疏性并得提高預測性能。

若不滿足式(19)的學習條件，則保持原有模型不變。當在線樣本序貫加入時，重復上述學習過程，在模型收斂后得到各參數的最優值[αMP,βMP,θMP]，從而完成aRVM的在線訓練。

在線訓練的計算復雜度主要取決于過程變量Σ=(ΦTBΦ+A)-1中的求逆運算，傳統RVM起始迭代時的計算復雜度為O(N3)，N為所有離線和在線訓練樣本的總數，而在線aRVM在參數更新時每步迭代的計算復雜度為O(M3)，M為參與運算的基函數集F中的樣本數量，由于Mlt;lt;N，因此相比傳統RVM，aRVM在線訓練的計算復雜度大大降低。

3 電子設備的在線狀態預測

反映電子設備運行狀態的特征參量主要有電阻值、漏電流、輸出電壓、輸出電流等[1]。采用aRVM對電子設備進行在線狀態預測首先需要對特征參量序列進行相空間重構，構建輸入樣本與目標值的對應關系。

假設采集到的特征參數為一組隨時間變化的序列{s(t)|t=1,2,…,l}(l∈R)，根據Takens定理[8]，可在一個高維相空間上恢復該序列的后續演化規律，即存在一個非線性映射f:Rd→R，使得

s(n)=f([s(n-1),s(n-2),…,s(n-d)])

(20)

式(20)中：d為相空間嵌入維數。

由此可構建aRVM訓練的輸入樣本和目標值：

(21)

(22)

式(21)中：X為aRVM的輸入樣本；t為對應的目標值。利用該樣本訓練aRVM，使預測模型逼近非線性映射f，從而對后續數據{s(l+1),s(l+2),…}進行預測。基于aRVM的電子設備狀態在線預測流程如下：

步驟1 離線采集設備的狀態參量數據并按時間順序進行相空間重構，生成aRVM的初始離線訓練樣本集；

步驟2 計算離線訓練樣本相對于各類基函數的后驗概率，選擇后驗概率值最大的基函數作為訓練基函數；

步驟3 將離線訓練樣本集輸入到aRVM，訓練后得到aRVM的初始離線預測模型；

步驟4 利用當前模型預測后續時刻的特征參量值，并將采集到的新數據輸入到預測模型中判斷是否滿足在線學習條件；

步驟5 對于滿足學習條件的新數據對其進行在線學習更新預測模型參數；

步驟6 根據預測模型得到狀態參量最新的動態預測結果，從而判斷被測設備后續的健康狀況。

4 仿真實驗

高壓電源作為雷達發射機的核心部件，其運行狀態直接關系到雷達發射機的可靠性。本文的仿真預測實驗以某型雷達發射機的高壓電源為對象，實驗數據源于文獻[1]中在雷達維修廠對該雷達發射機高壓電源等時間間隔采樣得到的40組紋波電壓數據，見表1。

表1 紋波電壓數據

由于電子設備采樣數據間隔較大，在短期預測的研究上已有文獻的研究成果主要集中于電子設備狀態的一步預測[2,4-8]，因此本文實驗也只針對一步預測。將aRVM的在線預測結果與基于優化算法的傳統RVM[8]的預測結果進行對比，仿真實驗在CPU為Intel Xeon E3-1230v3，16G內存的PC機上運行。相空間嵌入維數取5，重構后生成樣本35組，將前15組作為離線訓練樣本。傳統RVM采用高斯核作為基函數[8]， 本文方法從一階多項式核(Poly1)、二階多項式核(Poly2)、高斯核(Gauss)和Morlet小波核四類基函數中自適應選擇基函數。四類基函數對應的后驗概率如表2所示，同時給出采用5折交叉驗證計算的四類基函數預測誤差作為參照。從表中可以看出，后驗概率的大小和預測誤差有直接的關系，本次實驗選擇了后驗概率最大的二階多項式核作為預測模型的基函數。

表2 基函數對應的交叉驗證誤差及后驗概率

圖1給出了兩種方法的預測結果。可以看出，本文所提方法的預測結果明顯優于傳統RVM的離線預測結果，并且隨著時間推移，傳統RVM的預測曲線偏離實際值曲線的幅度越來越大，而本文方法依然保持了較高的預測精度，這是由于隨著時間的推移高壓電源的狀態也不斷發生變化，傳統RVM一成不變的預測模型已不能準確反映高壓電源的變化情況，因此導致了預測精度逐漸下降，而本文方法通過不斷更新模型參數來保持模型的動態預測能力，使得預測曲線更接近真實情況。表3給出了兩種方法的數據對比，從20個樣本均方根誤差的對比可以看出，本文方法的預測誤差僅為傳統RVM離線預測誤差的13.55%，預測精度大幅度高于傳統RVM。在模型的訓練時間上，雖然本文方法的總體訓練時間長于傳統RVM，但每次在線更新參數的平均訓練時間為2.38 ms，僅為傳統RVM訓練時間的16.7%。

圖1 預測結果

表3 兩種方法的性能對比

5 實例預測實驗

為驗證所提方法在實際應用中的性能，本文以50倍音頻放大器作為實驗對象設計了實例預測實驗，實驗環境如圖2所示。對于給定的激勵信號，該音頻放大器對其進行放大輸出，示波器在固定時間間隔下采集并記錄放大器的輸出電壓，溫度傳感器則監控實驗過程中的設備溫度，防止設備過熱受損并分析溫度對輸出的影響。由于電子設備的可靠性較為穩定，在無退化情況下輸出電壓的變化范圍十分微小，故本次實驗以緩慢變化的正弦信號作為激勵，模擬輸出電壓的漂移。實驗中采樣間隔取60 s，相空間重構的嵌入維數取5，實驗過程共生成400組樣本，將前100組作為離線樣本對余下300個數據進行在線學習和預測，其他參數設置同第4節的仿真預測實驗相同。

圖2 實驗環境

本文預測方法和傳統RVM離線預測方法的預測曲線如圖3所示，可以看出，在實際應用中由于各類噪聲及測試設備誤差的影響，輸出信號存在一定的隨機波動，輸出電壓的實際值并不是一條平滑的曲線，傳統RVM的離線式預測隨著時間的推移仍然存在著預測誤差不斷變大的現象，而本文提出的預測方法則保持了較高的預測精度，預測曲線更接近真實值。表4給出了兩種方法的性能指標，在實際應用中，本文方法誤差僅為傳統RVM離線預測誤差的30.64%，并且本文方法在線更新參數的平均訓練時間僅為7.18 ms，大大小于傳統RVM的離線訓練時間。此外，本文方法自適應選擇了二階多項式核作為基函數，相比高斯核，二階多項式核的局部學習能力較弱而全局學習能力更強，在本次實例預測實驗中樣本帶有明顯的噪聲，高斯核較強的局部學習能力使得預測模型在訓練時傾向于對噪聲也進行解釋，更容易產生過擬合現象，故本文自適應選擇二階多項式核作為基函數使得預測模型具有更好的魯棒性。

圖3 預測結果

表4 兩種方法的性能對比

6 結論

本文提出一種基于aRVM的電子設備在線狀態預測方法，經仿真實驗和實例實驗驗證表明：

1) 所提方法能夠根據離線樣本結構自適應選擇最優基函數，提高預測模型對樣本數據的表述能力；

2) 所提方法能夠在新樣本輸入時快速實現模型參數的在線更新，使模型保持動態預測的能力，進一步提高整體預測精度；

3) 所提方法在實際應用中對噪聲具有較好的魯棒性，保持了較高的預測精度，具有一定的實際應用價值。

[1] 許麗佳.電子系統的故障預測與健康管理技術研究[D].成都：電子科技大學,2009.

[2] 劉震,王厚軍,龍兵,等.一種基于加權隱馬爾可夫的自回歸狀態預測模型[J].電子學報,2009,37(10):2113-2118.

[3] 趙建忠,歐陽中輝,張磊,等.基于多智能體遺傳算法優化的航空電子設備狀態組合預測[J].兵工學報,2016,37(4):727-734.

[4] 黃大榮,黃麗芬.灰色系統理論在故障預測中的應用現狀及其發展趨勢[J].火炮發射與控制學報,2009(3):88-92.

[5] 張弦,王宏力,張金生,等.狀態時間序列預測的貝葉斯最小二乘支持向量機方法[J].西安交通大學學報,2010,44(10):42-46.

[6] 趙玉剛,鞠建波,張經偉.基于LIB-SVM的電子設備故障預測方法研究[J].計算機測量與控制,2015,23(6):1888-1891.

[7] 張弦,王宏力.局域極端學習機及其在狀態在線監測中的應用[J].上海交通大學學報,2011,45(2):236-240.

[8] 范庚,馬登武,張繼軍,等.基于自適應RVM的電子裝備緩變故障預測方法[J].北京航空航天大學學報,2013,39(10):1319-1324.

[9] 湯巍,景博,黃以鋒,等.振動載荷下面向電子設備PHM的板級封裝潛在故障分析方法[J].電子學報,2016,44(4):944-951.

[10] 雷亞國,陳吳,李乃鵬,等.自適應多核組合相關向量機預測方法及其在機械設備剩余壽命預測中的應用[J].機械工程學報,2016,52(1):87-93.

[11] 張磊,李行善,于勁松,等.基于關聯向量機回歸的故障預測算法[J].系統工程與電子技術,2010,32(7):1540-1543.

[12] 黃帥棟,衛志農,高宗和,等.基于非負矩陣分解的相關向量機短期負荷預測模型[J].電力系統自動化,2012,36(11):62-66.

[13] TIPPING M E.Sparse bayesian learning and the relevance vector machine[J].Journal of Machine Learning Research,2001,1(3):211-244.

[14] TZIKAS D G,LIKAS A C,GALATSANOS N P.Sparse bayesian modeling with adaptive kernel learning[J].IEEE Transactions on Neural Networks,2009,20(6):926-37.

[15] TIPPING M E,FAUL A C.Fast Marginal Likelihood Maximisation for Sparse Bayesian Models[C]//International Workshop on Artificial Intelligence and Statistics,Key West,Florida,USA,2003:3-6.

[16] SCHMOLCK A,EVERSON R.Smooth relevance vector machine:a smoothness prior extension of the RVM[J].Machine Learning,2007,68(2):107-135(29).

[17] FAUL A C.Analysis of sparse bayesian learning[C]//Advances in Neural Information Processing Systems,Vancouver,British Columbia,Canada,2001:383-389.

[18] 汪洪橋,孫富春,蔡艷寧,等.多核學習方法[J].自動化學報,2010,36(8):1037-1050.

[19] 姚暢,陳后金,Yang,等.基于自適應核學習相關向量機的乳腺X線圖像微鈣化點簇處理方法研究[J].物理學報,2013,62(8):88702-088702.

[20] MACKAY D J C.Information theory,inference,and learning algorithms[J].Kybernetes,1972,50(10):640.

[21] TIPPING M E.Bayesian inference:an introduction to principles and practice in machine learning[J].Lecture Notes in Computer Science,2004,3176:41-62.

(責任編輯楊繼森)

OnlineConditionPredictionofElectronicEquipmentBasedonRelevanceVectorMachinewithAdaptiveKernelLearning

GAO Mingzhe1， XU Aiqiang1， XU Qing2

(1.Department of Scientific Research, Naval Aeronautical and Astronautical University, Yantai 264001, China; 2.The No. 91635thTroop of PLA, Beijing 102200, China)

Aimed at the condition prediction of electronic equipment, an online prediction method based on relevance vector machine with adaptive kernel learning(aRVM) is proposed. In the proposed method, the condition prediction of electronic equipment is formulated as a supervised-learning problem. Firstly, the basis function which is most suitable for prediction problem is selected according to the posterior probability of equipment offline data. Then the prediction model based on aRVM is trained by offline data. Finally, the parameters of the model are updated dynamically through incremental training of online samples in the prediction process. Experimental results of both simulation experiment and practical experiment indicate that the proposed method obviously outperforms the traditional one in both prediction accuracy and online training efficiency.

electronic equipment; status prediction; relevance vector machine; online training; adaptive kernel

2017-07-25；

2017-08-30

裝備預研基金資助項目(9140A27020214JB14435)

高明哲(1988—)，男，博士研究生，主要從事電子裝備的測試與故障診斷技術研究。

10.11809/scbgxb2017.11.024

本文引用格式：高明哲,許愛強，許晴.基于aRVM的電子設備狀態在線預測方法[J].兵器裝備工程學報，2017(11):108-113.

formatGAO Mingzhe，XU Aiqiang，XU Qing.Online Condition Prediction of Electronic Equipment Based on Relevance Vector Machine with Adaptive Kernel Learning[J].Journal of Ordnance Equipment Engineering,2017(11):108-113.

TP206

A

2096-2304(2017)11-0108-06