貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)在線學(xué)習(xí)算法研究及應(yīng)用

摘要：現(xiàn)代大型機(jī)電設(shè)備的日趨復(fù)雜化和自動化導(dǎo)致設(shè)備故障現(xiàn)象和機(jī)理之間具有很大的不確定性，因此對故障診斷技術(shù)提出了更高的要求。針對汽車發(fā)動機(jī)的工作原理及其故障知識結(jié)構(gòu)特征，基于貝葉斯網(wǎng)絡(luò)理論，以機(jī)器學(xué)習(xí)中的增量學(xué)習(xí)為基礎(chǔ)提出和研究了在線式貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)方法，并利用該方法對汽車發(fā)動機(jī)故障結(jié)構(gòu)網(wǎng)絡(luò)進(jìn)行在線學(xué)習(xí)。最后通過實驗分析驗證了在線式貝葉斯網(wǎng)絡(luò)故障診斷方法比起傳統(tǒng)的貝葉斯網(wǎng)絡(luò)方法以及專家系統(tǒng)方法，該方法在汽車發(fā)動機(jī)故障診斷結(jié)果中具有更高的準(zhǔn)確性和可靠性。

關(guān)鍵詞：故障診斷；貝葉斯網(wǎng)絡(luò)；汽車發(fā)動機(jī)；結(jié)構(gòu)在線學(xué)習(xí)

中圖分類號：TP393文獻(xiàn)標(biāo)識碼：A文章編號：1009-3044(2008)35-2230-03

Application and Research of Online Learning Algorithm for Bayesian Networks Structure

QIAN Na， GONG Yi-shan

(Shenyang University of Technology， Shenyang 110178， China)

Abstract: Nowadays， the complication and automatization of large mechanical equipment leads to the more uncertainty between fault phenomenon and mechanism. Higher requirements are put forward for fault diagnosis technology. Pointing to the working principle and fault structure character of Automobile Engine， based on the Bayesian Networks and the increment learning of Machine Learning， the method of online learning for Bayesian Networks structure is advanced and researched. The method is applied to online learning of the structure network of Automobile Engine Fault Diagnosis. In conclusion comparing with the traditional method of Bayesian Networks and Expert System Method， we validate that the method of online learning Bayesian Networks for fault diagnosis has more veracity and reliability on the result of Automobile Engine Fault Diagnosis.

Key words: Fault Diagnosis; Bayesian Networks; Automobile Engine; Structure Online Learning

1 引言

隨著汽車發(fā)動機(jī)等大型機(jī)電設(shè)備的新技術(shù)、新結(jié)構(gòu)的不斷涌現(xiàn)，汽車發(fā)動機(jī)故障征兆和故障原因之間表現(xiàn)出很大的不確定性和隨機(jī)性，傳統(tǒng)的故障診斷方法已經(jīng)很難滿足現(xiàn)代汽車發(fā)動機(jī)故障診斷的需要[1]。為了實現(xiàn)汽車發(fā)動機(jī)故障診斷的高有效性和可靠性，針對汽車發(fā)動機(jī)的工作原理及其故障知識結(jié)構(gòu)特征，以完善的貝葉斯網(wǎng)絡(luò)理論、機(jī)器學(xué)習(xí)中的增量學(xué)習(xí)為基礎(chǔ)提出了一種能夠不斷實時的利用新數(shù)據(jù)更新和求精已經(jīng)學(xué)習(xí)到的結(jié)果的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)在線學(xué)習(xí)方法，并利用該方法對汽車發(fā)動機(jī)故障結(jié)構(gòu)網(wǎng)絡(luò)進(jìn)行在線學(xué)習(xí)。

2 貝葉斯網(wǎng)絡(luò)

貝葉斯網(wǎng)絡(luò)（Bayesian Networks）也被稱為信念網(wǎng)絡(luò)（Belief Networks），是基于概率分析、圖論的一種不確定性知識表達(dá)和推理模型，是一種將因果知識和概率知識相結(jié)合的信息表示框架[2]。

一個貝葉斯網(wǎng)絡(luò)是一個具有N個節(jié)點的有向無環(huán)圖（Directed Acyclic Graph，DAG），圖中的節(jié)點代表隨機(jī)變量，節(jié)點之間的邊代表隨機(jī)變量之間的依賴關(guān)系，每個節(jié)點都附有一個概率分布，即條件概率表（Conditional Probabilities Table，CPT），它表達(dá)了每個節(jié)點與其父節(jié)點之間的依賴關(guān)系[3]。

假設(shè)網(wǎng)絡(luò)中的隨機(jī)變量為X1，X2，…，Xn，貝葉斯網(wǎng)絡(luò)是聯(lián)合概率分布分解的一種表示，那么聯(lián)合概率分布P(X1，X2，…，Xn)可表示為：

3 貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)在線學(xué)習(xí)

貝葉斯網(wǎng)絡(luò)學(xué)習(xí)即是通過分析樣本實例數(shù)據(jù)而獲得貝葉斯網(wǎng)絡(luò)模型的過程，它包括參數(shù)學(xué)習(xí)和結(jié)構(gòu)學(xué)習(xí)。結(jié)構(gòu)學(xué)習(xí)是結(jié)合先驗知識并根據(jù)樣本實例數(shù)據(jù)建立最擬合樣本數(shù)據(jù)的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)；參數(shù)學(xué)習(xí)是在結(jié)構(gòu)學(xué)習(xí)的基礎(chǔ)上，確定結(jié)構(gòu)中每個節(jié)點的條件概率表[4]。其中結(jié)構(gòu)學(xué)習(xí)是貝葉斯網(wǎng)絡(luò)學(xué)習(xí)的核心，也是基礎(chǔ)。傳統(tǒng)的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)可以分為基于評分搜索的方法和基于依賴分析的方法。本文采用的是基于評分—搜索的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)在線學(xué)習(xí)方法，其中采用的是罰項似然度的爬山法。

3.1 結(jié)構(gòu)在線學(xué)習(xí)思想

在線學(xué)習(xí)是基于機(jī)器學(xué)習(xí)中的增量學(xué)習(xí)。按學(xué)習(xí)方法分類，機(jī)器學(xué)習(xí)可以分為批量學(xué)習(xí)和增量學(xué)習(xí)。一般情況下，傳統(tǒng)的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)算法都是以機(jī)器學(xué)習(xí)中的批量學(xué)習(xí)[5]為思想基礎(chǔ)的，當(dāng)有新的實例數(shù)據(jù)出現(xiàn)時，需要將原有數(shù)據(jù)和新的數(shù)據(jù)合并成新的數(shù)據(jù)集，并在新的數(shù)據(jù)集上重新學(xué)習(xí)貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)，這樣就不能充分利用原有數(shù)據(jù)集學(xué)到的結(jié)構(gòu)，導(dǎo)致資源浪費、重復(fù)計算。而增量學(xué)習(xí)具有利用新數(shù)據(jù)實時地更新和求精已經(jīng)學(xué)習(xí)到的結(jié)果，不需要重新學(xué)習(xí)原舊數(shù)據(jù)集中學(xué)習(xí)到的結(jié)果，避免了資源的浪費。

基于增量學(xué)習(xí)的結(jié)構(gòu)在線學(xué)習(xí)思想如圖1。

由圖1可以看出貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)在線學(xué)習(xí)的思想過程是根據(jù)原有的樣本數(shù)據(jù)進(jìn)行貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)，得到當(dāng)時的網(wǎng)絡(luò)結(jié)構(gòu)。當(dāng)有新數(shù)據(jù)傳來時，結(jié)合網(wǎng)絡(luò)修改規(guī)則，綜合新數(shù)據(jù)學(xué)習(xí)得到新的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。

3.2 結(jié)構(gòu)在線學(xué)習(xí)算法

貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)在線學(xué)習(xí)算法的核心是當(dāng)有新數(shù)據(jù)傳來時，根據(jù)結(jié)構(gòu)修改規(guī)則對貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行修改，修改后將產(chǎn)生多種不同的結(jié)構(gòu)，然后根據(jù)結(jié)果選擇判定準(zhǔn)則從中選擇擬合度最好的結(jié)構(gòu)作為當(dāng)前貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)。

3.2.1 結(jié)構(gòu)修改規(guī)則

貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)修改規(guī)則要求修改后的結(jié)構(gòu)中不能出現(xiàn)有向環(huán)，貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)修改規(guī)則包括添加有向邊、刪除有向邊和邊反向[6-7]三條，圖形表示如下面所示：

圖2 原貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)B0圖3 增加有向邊Xn+1后的網(wǎng)絡(luò)B1圖4 刪除有向邊Xn后的網(wǎng)絡(luò)B2 圖5 邊反向

對于圖3，在原結(jié)構(gòu)B0的基礎(chǔ)上增加了有向邊Xn+1，為了保證新結(jié)構(gòu)B1與原結(jié)構(gòu)B0具有相同的聯(lián)合概率分布，B1中節(jié)點Y的條件概率表采用如下方式給出：

PB1(Y|X1，X2，…Xn+1)=PB0(Y|X1，X2，…，Xn)

對于圖4，在原結(jié)構(gòu)B0上刪除了有向邊Xn，為了保證新的結(jié)構(gòu)與原結(jié)構(gòu)有相同的聯(lián)合概率分布，B2中節(jié)點Y的條件概率計算如下：

其中Σ表示對Xn的所有可能值求和。

對于圖5，在B0上把有向邊取反方向，邊反向規(guī)則可以理解成為是刪除邊和添加邊的組合，可以分別利用上述兩種規(guī)則來實現(xiàn)。

3.2.2 貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)判定準(zhǔn)則

貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)判定準(zhǔn)則要求修改后的網(wǎng)絡(luò) 與原網(wǎng)絡(luò)B具有較高的一致性，修改后的網(wǎng)絡(luò)盡可能多地保留以前學(xué)習(xí)到的結(jié)果，此外新的網(wǎng)絡(luò)結(jié)構(gòu)還要更好地擬合當(dāng)前的樣本數(shù)據(jù)D。該準(zhǔn)則可表達(dá)為[8]：

該式右邊第一項表示為訓(xùn)練樣本D的對數(shù)似然，第二項為新舊網(wǎng)絡(luò)所表達(dá)的聯(lián)合概率分布之間的誤差平方和。參數(shù)β表示了當(dāng)前貝葉斯網(wǎng)絡(luò)模型的成熟度，參數(shù)η為學(xué)習(xí)率。當(dāng)學(xué)習(xí)剛開始時，由于當(dāng)前模型與最終模型的差距較大，為了更快的擬合當(dāng)前數(shù)據(jù)，成熟度β應(yīng)該選的較小；隨著學(xué)習(xí)的不斷進(jìn)行，參數(shù)β應(yīng)該逐漸變大，以便盡可能多的保留先前學(xué)習(xí)到的結(jié)果。

3.2.3 在線結(jié)構(gòu)學(xué)習(xí)搜索算法

輸入：X—一組變量D—一組關(guān)于X的完整數(shù)據(jù)

f—罰項似然度評分函數(shù) B0—初始貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)

輸出：一個貝葉斯網(wǎng)絡(luò)

4 結(jié)構(gòu)在線學(xué)習(xí)算法在汽車發(fā)動機(jī)故障診斷中的應(yīng)用

首先根據(jù)專家經(jīng)驗構(gòu)造初始貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)圖，經(jīng)過貝葉斯網(wǎng)絡(luò)學(xué)習(xí)后得到擬合傳感器當(dāng)前信息的汽車發(fā)動機(jī)供油子系統(tǒng)的部分網(wǎng)絡(luò)結(jié)構(gòu)圖：E1(液位偏高)，E2(溫度異常)，E3(濾清器閉塞)，E4(油泵不泵油)，E5(油塞堵塞)，X(油溫)，Y(液位)，P(混合氣體)。

圖5發(fā)動機(jī)故障診斷模型貝葉斯網(wǎng)絡(luò)部分結(jié)構(gòu)圖圖6 在線診斷隨樣本增加準(zhǔn)確率變化圖

圖6表達(dá)了當(dāng)實例樣本數(shù)據(jù)在不斷增加的情況下在線診斷方法準(zhǔn)確率的變化情況，由此圖可以看出本文的在線診斷方法的準(zhǔn)確率是隨著樣本數(shù)量的增加而增加的，從而說明在大樣本數(shù)據(jù)量時貝葉斯網(wǎng)絡(luò)在線診斷方法具有較高的準(zhǔn)確率。

為了驗證在線故障診斷的高準(zhǔn)確率，設(shè)置汽車發(fā)動機(jī)的壓氣機(jī)入口堵塞，將故障信息輸入為13個特征參數(shù)，并將參數(shù)歸一化，通過上述單一故障進(jìn)行診斷來比較傳統(tǒng)貝葉斯網(wǎng)絡(luò)方法、專家系統(tǒng)方法和本文方法的故障診斷準(zhǔn)確率。傳統(tǒng)的貝葉斯網(wǎng)絡(luò)方法采用的是MDL為評分函數(shù)，模擬退火法為搜索算法的結(jié)構(gòu)學(xué)習(xí)方法。專家系統(tǒng)方法則通過搜集現(xiàn)場的實際數(shù)據(jù)，將數(shù)據(jù)和規(guī)則庫中的規(guī)則進(jìn)行匹配[9]，得到故障診斷的結(jié)果。三種方法的診斷結(jié)果如表1。

表1 單一故障不同方法診斷比較

其中Tr（排氣溫度），Ps（進(jìn)氣管壓力），Ts（進(jìn)氣管溫度），Pemax（最高爆發(fā)壓力），Temax（最高爆發(fā)溫度），S（最高爆發(fā)壓力相位），Ge（燃油消耗量），θai（供油開始角度），θne（供油結(jié)束角度），Nrc（增加器轉(zhuǎn)速），Pjmax（最大供油壓力），Pi（平均指示壓力）。表1中表達(dá)了當(dāng)參數(shù)取不同的值時，診斷準(zhǔn)確率比較高的方法。由表可以看出當(dāng)某些參數(shù)超過正常值范圍很多時，專家系統(tǒng)方法和本文方法都具有較高的診斷準(zhǔn)確率，然而當(dāng)參數(shù)值變化很微小時，專家系統(tǒng)方法的診斷準(zhǔn)確率明顯低于本文方法。因此可以看出本文方法與傳統(tǒng)的貝葉斯網(wǎng)絡(luò)方法和專家系統(tǒng)方法相比具有較高的準(zhǔn)確率。

5 結(jié)論

本文以機(jī)器學(xué)習(xí)中的增量學(xué)習(xí)為基礎(chǔ)提出了在線式貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)方法，并將該方法應(yīng)用于汽車發(fā)動機(jī)故障診斷中，通過與傳統(tǒng)的貝葉斯網(wǎng)絡(luò)方法和專家系統(tǒng)方法的比較，驗證了該方法在故障診斷中具有較高的準(zhǔn)確性和可靠性。

參考文獻(xiàn)：

[1] 吳金培， 肖健華. 智能故障診斷與專家系統(tǒng)[M]. 北京:科學(xué)出版社，1997.

[2] Pearl， J.Fusion. Propagation and structuring in belief networks. Artificial Intelligence.1986，29:241-248.

[3] 張連文， 郭海鵬. 貝葉斯網(wǎng)引論[M]. 北京：科學(xué)出版社，2006.

[4] 張少中， 楊南海， 王秀坤. 貝葉斯網(wǎng)絡(luò)參數(shù)的在線學(xué)習(xí)算法及應(yīng)用[J]. 大連:小型微型計算機(jī)系統(tǒng)，2004，10.

[5] 李儉川. 貝葉斯網(wǎng)絡(luò)故障診斷與維修決策方法及應(yīng)用研究[D]. 工程博士論文，2002，10:13-24.

[6] 盛兆順，尹琦領(lǐng).設(shè)備狀態(tài)監(jiān)測與故障診斷技術(shù)及應(yīng)用[J].北京:工業(yè)裝備與信息工程出版社，2002，10:303-340.

[7] Bauer E， Koller D， Singer Y. Update rules for parameter estimation in Bayesian Networks[C]. Proceedings of the 13th Annual conference on uncertainty in Artificial Intelligence， Providence， Rhode Island，USA，1997:3-13.

[8] 劉啟元，張聰，沈一棟，等. 信度網(wǎng)結(jié)構(gòu)在線學(xué)習(xí)算法[J]. 軟件學(xué)報，2002(13):2300-2301.

[9] 陸汝鈐. 人工智能[M]. 北京:科學(xué)出版社，1975:180-183.