小數據集情況下基于變權重融合的BN參數學習算法*

郭文強,寇 馨，李夢然，侯勇嚴，肖秦琨

(1.陜西科技大學電子信息與人工智能學院，陜西 西安 710021；2.陜西科技大學陜西省人工智能聯合實驗室，陜西 西安 710021；3.陜西科技大學電氣與控制工程學院，陜西 西安 710021；4.西安工業大學電子信息工程學院，陜西 西安 710021)

1 引言

隨著研究人員對貝葉斯網絡BN(Bayesian Network)理論的不斷深入研究，其應用范圍越來越廣泛[1-5]，如故障的診斷[6]、經濟領域的預測[7]和醫學診斷[8]等都可以通過BN來進行參數學習，但很多時候因數據不足導致無法學習到更精確的結果。

當樣本數據充足時，最大似然估計法MLE(Maximal Likelihood Estimate)能很好地實現BN參數估計，但是當樣本數據較少時，該算法就不能精確地估計參數[9]；定性最大后驗概率QMAP(Qualitative Maximum A Posterior)算法對滿足定性約束的參數集合通過拒絕-接受算法進行虛擬采樣，再將真實數據和虛擬數據結合估計BN參數，但拒絕-接受算法以概率分布函數估計為基礎，而實際問題中BN參數的概率分布函數較難估計[10]，限制了該算法的應用。文獻[11]提出了一種單調約束估計MCE(Monotonic Constraint Estimation)算法，利用單調約束模型學習參數，當訓練數據不足時，將領域知識引入參數學習過程中，雖然該算法也提高了參數學習的精度，但實際應用中單調約束的假設不易給定。文獻[12]提出了一種基于定性知識和進化策略的約束參數進化學習算法。首先在BN參數學習過程中引入定性知識，以縮小參數搜索空間；然后引入進化策略，避免結果陷入局部最優。但是，該算法在解決參數優化問題時存在收斂結果不穩定的缺陷。

為了克服以上算法的缺陷，并且更好地解決樣本數據較少時參數學習的問題，同時能夠在實際應用中更方便地估計參數，并得到穩定的參數學習結果，本文提出一種基于變權重融合的BN參數學習VWPL(Variable Weight Parameter Learning)算法，首先根據小樣本數據量的變化，設計了調整樣本數據和定性約束擴展參數的權重系數；然后進行變加權融合計算得出BN參數學習結果，解決了在小數據集情況下貝葉斯網絡參數學習的問題。

2 相關理論知識

2.1 最大似然估計

在樣本數據充足的情況下，研究人員通常采用最大似然估計(MLE)算法來學習BN參數。MLE算法的本質是計算似然函數取最大值時的參數取值[13]，可表示為式(1)所示：

(1)

其中，Di表示樣本數據集，n為數據集個數，θ表示貝葉斯網絡的參數。

貝葉斯網絡模型的參數估計可表示為式(2)所示：

θijk=P(Xi=k|Pa(Xi)=j)

(2)

其含義是在第i個節點Xi的父節點Pa(Xi)取值為第j個組合狀態的條件下，Xi取值為k時的條件概率參數的取值[14]。在實際應用中，可以用式(3)估計每個參數的最大似然估計：

(3)

當樣本數據很少時，式(3)就會出現Nij接近于0的情況，為了避免這種情況對式(3)做一些修正，如式(4)所示：

(4)

其中，η為一個接近于零的很小的常數，c=qi·ri，qi表示第i個節點的父節點變量的取值數，ri表示第i個節點的子節點變量的取值數。

2.2 小數據集閾值

在進行參數學習時，學習模型的最小樣本數據集閾值確定如式(5)[15]所示：

(5)

其中，M表示所需最小數據集數量；λ表示度量網絡結構中變量的概率分布的偏度系數；d表示最大父節點數；ε表示KL(Kullback-Leibler)誤差；N表示網絡節點數；K表示網絡節點最大狀態數；δ表示網絡置信度。

2.3 KL散度

參數學習算法得到的估計結果與真實結果之間的差別可以用作評判參數學習結果的測度。本文采用KL散度來衡量BN參數估計方法的精度，其定義如式(6)[16]所示：

(6)

其中,θijk代表真實參數結果，θ′ijk代表BN參數學習得到的參數結果。θ′ijk與θijk越接近，KL散度越小，說明此參數學習方法得出的結果精度越高。

3 BN參數學習及變權重融合

3.1 BN參數學習

貝葉斯網絡(BN)參數學習是在已知貝葉斯網絡拓撲結構的前提下，利用專家先驗知識和訓練樣本數據[17]，來確定模型中相關變量間的條件概率分布的過程。

如圖1所示為BN參數學習的基本過程。實線框①表示由BN1模型(其中,G1表示BN結構，θ1表示其參數)可得到觀測樣本數據集{D11,D12,…,D1h,Dp}；同理，由模型BN2(其中,G2表示BN結構，θ2表示參數)可得到觀測數據集{D21,D22,…,D2f,Dp}。當樣本數據集較小時，BN1與BN2模型會有一定的概率得到相同的數據集Dp。虛線框②表示當獲得的數據足夠充足時，BN1模型將得到的樣本數據集{D11,D12,…,D1h,Dp}利用參數學習算法(如MLE算法)學到參數θ′1；同理，通過由模型BN2得到的數據集{D21,D22,…D2f,Dp}利用參數學習算法也可估計出參數θ′2。隨著樣本數據量不斷增加，每次通過樣本數據集學習出的相應的參數會越來越接近真實參數，并當學習用的樣本數據足夠充足時，學習出的BN參數會收斂于真實參數。

Figure 1 BN parameter learning 圖1 BN參數學習

3.2 加權影響

結合2種或2種以上數據集來進行BN參數學習，既能夠避免僅使用單一數據集導致數據信息利用不充分的缺點，又能提高參數學習的精度。但是，結合多種數據集進行參數加權估計時，每種數據集所占的權重對結果也會產生影響，而權重可分為固定權重和變化權重2種類型[18]。在參數估計過程中，若每種數據集的權重系數因某種規則變化則稱之為變權重算法VWPL，反之則為不變權重即定權重算法FWPL(Fixed Weight Parameter Learning)。

3.3 變權重融合

融合模型是一種形式框架，是對從多個信息源獲取的數據或信息進行關聯，并對其估計結果進行持續精煉的過程，同時也是信息處理過程中不斷自我修正，以獲得結果的改善的一個過程。

本文選擇變權重融合框架作為目標融合領域(BN約束知識和樣本數據)和目標評估領域(BN參數學習)的估計模型，主要基于以下考慮：信息融合具有一定的容錯性，對所采用的樣本數據和約束信息進行加權組合，調節權重，而不會破壞整個估計模型的正確性；同時，它自然地解決了統計模型中參數適應性問題，即根據樣本數據量的大小調節權重，滿足約束知識和樣本數據的融合性。基于變權重融合進行參數學習的基本思想是根據數據量的變化情況，不斷調整參數估計中各種學習數據集的權重系數，然后加權融合確定出最終參數估計結果。圖2所示為本文所使用的變權重融合框架的示意圖。

Figure 2 Diagram of variable weight fusion framework圖2 變權重融合框架示意圖

基于加權融合的參數學習問題可以轉化為形如式(7)和式(8)所示的問題：

(7)

(8)

其中,ωi(t)為權重系數，θijk(ωi(t))為ωi(t)對應的BN參數集合，m，L∈N。

又由文獻[19]可知,BN參數估計可由式(9)表示：

θ=(1-ω)·θprior+ω·θdata

(9)

其中，θprior表示由先驗知識得到的參數集，θdata表示由樣本數據集得到的參數集，ω表示參數集的權重因子，θ表示最終的參數學習結果。

分析可知，在小樣本情況下進行BN參數學習時，隨著樣本數據量的變化會學習得到不同的參數。體現在式(9)中，若學習了q次，就有q個變化的權重因子，即權重ω隨之在0～1相應發生變化，且當ω=0，即無樣本數據時，參數估計可借由專家先驗知識獲得；而當樣本量足夠充分時，此時ω=1，參數估計僅由樣本數據本身統計量來決定。

因此，本文選擇基于變權重融合的方法來進行BN參數學習，通過先計算樣本數據和約束擴展參數集的權重，再求出加權融合后的參數估計值。由于隨著數據量的變化，權重可以作出相應的調整，從而能獲得更好的參數學習效果。

4 基于變權重融合的BN參數學習算法

本文提出的小數據集情況下基于變權重融合的BN參數學習(VWPL)算法的流程圖如圖3所示。

Figure 3 Flow chart of VWPL algorithm圖3 VWPL算法流程圖

VWPL的主要步驟如下所示：

步驟1建立參數學習模型結構(包括貝葉斯網絡模型的節點和有向邊)；

步驟2由式(5)獲取計算參數學習模型所需的最小樣本數據集閾值M；

步驟3根據專家先驗知識確定出該參數學習模型的不等式約束條件Ω；

步驟5通過Bootstrap方法[20]進行參數擴展得到Q組滿足約束條件Ω的候選參數集θijk(Ω)；

步驟6有關基于變權重融合的貝葉斯網絡參數計算可方便地描述為式(10)，據此再去確定出合適的權重因子ω來分配樣本數據集與約束擴展參數集對參數學習方法學習結果信任度的指標。

(10)

其中，θdata表示樣本數據參數集，θconstraintextension表示約束擴展參數集，θestimate為最終參數學習結果。

步驟7設計變權重因子ω如式(11)所示：

(11)

其中，D為樣本量，σ=D/M，其含義是通過樣本量與最小樣本數據集閾值的比值來反映樣本數據量的規模。

步驟9根據式(12)的BN變權重參數計算模型來進行加權融合計算得出最終的參數學習結果。

(12)

其中s表示樣本。

分析可知：在式(11)中，若數據量D趨向于+∞，則ω近似等于1，此時利用式(12)進行參數估計的結果依賴于樣本數據本身的數據量，其結果趨向于MLE算法估計的結果；若數據量接近于0，則ω近似等于0，此時參數估計結果傾向于由約束擴展參數集獲得，即依賴于先驗知識；隨著學習參數集總數的逐漸變化，可調整約束擴展參數集和樣本數據集各自所占的權重因子比重。綜上所述，由基于變權重融合的BN參數學習算法(式(12))來估計參數能夠有效提高參數估計的精度。

5 實驗與結果分析

通過以下實驗來驗證本文所提算法在小數據集情況下進行參數學習的可行性。首先用Asia網絡模型在模擬數據上分別采用MLE算法、QMAP算法、定權重算法(FWPL)和本文算法(VWPL)進行BN參數學習對比分析。然后，將VWPL算法應用于軸承故障診斷實驗。本次實驗程序通過Matlab R2014a編程完成，仿真實驗平臺為Windows 7系統，處理器為Intel(R)Celeron(R)CPU 1.60 GHz。

5.1 模擬數據BN參數學習實驗設置

Asia網絡模型是驗證BN參數學習算法的經典模型之一，圖4為該模型的結構。

Figure 4 Structure of Asia network model圖4 Asia網絡模型結構

該網絡共有8個節點，分別是：節點A(訪問亞洲)、節點S(吸煙)、節點T(肺結核)、節點L(肺癌)、節點B(支氣管炎)、節點O(肺結核或者肺癌)、節點X(X射線結果)和節點H(呼吸困難)。以對節點H進行參數學習為例，參數事件集合如表1所示。其中，事件取1時表示事件為假，2表示事件為真。表2為由專家經驗部分知識得到的概率參數P(H|O,B)所滿足的約束條件Ω。

Table 1 Parameter event sets表1 參數事件集合

在表2中，T1>T2表示在“未患肺結核或肺癌且無支氣管炎”這一條件下“呼吸困難”為“不發生”的概率大于在“未患肺結核或肺癌但患有支氣管炎”這一條件下“呼吸困難”為“不發生”的概率，本文將其稱為約束條件1，即C1。以此類推可得其余13個約束條件。上述約束條件1～約束條件14的約束集合是符合大眾認知范圍的合理客觀規律。

Table 2 Sets of constraints satisfied by the probability parameter P(H|O,B)表2 概率參數P(H|O,B)所滿足的約束集合

5.2 模擬數據上的實驗結果分析

本實驗中Asia模型進行參數學習所需的最小樣本數據量可根據式(5)計算得到，其中，λ取1.85，d為2，ε取0.05，N為8，K為2，δ取0.01，得出M近似等于50。用于參數學習的總數據集個數設置為500。

5.2.1 本文算法與MLE及QMAP算法的對比

在樣本數量為50組的條件下，分別用MLE、QMAP和VWPL算法學習節點H的參數。圖5所示為3種算法學習15次得到的估計參數與真實參數間KL散度取平均值的對比情況。

Figure 5 KL divergence comparison of three algorithm with 1～50 groups of samples圖5 1～50組樣本數量下3種算法KL散度對比

在樣本數量相對充足時，實驗中取200組樣本，3種算法學習節點H參數的KL散度對比如圖6所示。

Figure 6 KL divergence comparison of three algorithms with 1～200 groups of samples圖6 1～200組樣本數量下3種算法KL散度對比

實驗結果表明：

(1)在50組樣本數據情況下，MLE的KL散度較大，QMAP和VWPL具有明顯優勢。隨著樣本數量的不斷增加，MLE的KL散度值逐漸減小，但總體上始終還是高于QMAP和VWPL的，QMAP的KL散度的變化趨勢不明顯；在樣本數量為5～10時，VWPL的KL散度曲線與QMAP的KL散度曲線相交，而后VWPL的KL散度總體繼續呈一定的下降趨勢，說明了其在小數據集情況下的大多數情形中進行BN參數估計的優越性。原因是隨著數據量的增加VWPL在不斷變化權重以進行加權融合估計。

(2)在200組樣本數據下，QMAP的KL散度仍基本上保持不變，而VWPL和MLE的KL散度一直呈逐漸下降趨勢。因為MLE在樣本量相對充足時參數估計的結果會比較好，所以在本實驗中隨著樣本量逐漸增加，MLE在樣本量為134左右時，其KL散度開始低于VWPL的并基本趨于穩定不變，但VWPL的KL散度也隨著樣本量的增加一直在不斷減小并逐漸趨近于MLE的，說明了VWPL算法在樣本量相對充足時依然具有一定的可行性。

綜上所述，VWPL算法在小數據集情況下的參數學習精度較MLE和QMAP更具優勢，且在樣本數據相對充足時依然可行，本文算法能隨著數據量的變化調整權重因子，不斷提高參數學習的精度。

5.2.2 本文算法與定權重算法的對比

在5.2.1節實驗1基礎上，增加定權重條件下的算法(FWPL)來學習節點H的參數與VWPL進行對比，進一步來驗證本文算法的優越性。本節選擇了3組固定權重(分別是0.1,0.5和0.7)進行實驗，50組樣本數量下其KL散度對比圖如圖7a～圖7c所示，200組樣本數量下其KL散度對比圖如圖8a～圖8c所示。

由實驗結果得出：(1)當ω<0.5時，不管是在50組還是200組樣本數量下進行實驗，FWPL得到的KL精度估計結果相較于VWPL都較差；(2)當ω=0.7時，50組樣本量時的定權重參數估計已經接近于變權重估計的KL精度，但200組樣本量時的變權重參數估計的KL精度仍優于定權重參數估計的；(3)從上述實驗結果對比可看出，要想同時讓小數據集上和相對充足數據集上的KL精度都達到較好的參數學習效果，VWPL算法有著更明顯的優勢。

Figure 7 KL divergence comparison between VWPL and FWPL with 1～50 groups of samples圖7 1～50組樣本數量下變權重與定權重算法的KL散度對比

Figure 8 KL divergence comparison between VWPL and FWPL with 1～200 groups of samples圖8 1～200組樣本數量下變權重與定權重算法的KL散度對比

通過與定權重算法的實驗對比可知，本文算法在小樣本數據集或相對充足樣本數據情況下都具有一定的可行性和優越性。

5.3 本文算法在軸承故障診斷中的應用實驗

在現實生產過程中，特別是在需要診斷設備故障時，有時很難獲取足夠的模型訓練所需的故障數據。本次實驗使用了文獻[21]的軸承故障診斷模型以及469條特征數據進行本文參數學習算法的驗證。實驗中所采用的原始數據源于美國Case Western Reserve University軸承故障模擬實驗中心，他們采用破壞性實驗獲取了數量相對充足的典型軸承故障類型的監測數據。

5.3.1 實驗條件設置

軸承診斷BN模型中共有9個節點[21]，1個父節點和8個子節點。診斷每種故障類型時的概率置信度取0.7。參數學習總備選數據集個數為500，根據專家經驗可以得到8條參數約束條件。故障診斷實驗過程首先是根據領域專家經驗實現BN模型的結構建模，再分別在小數據集(45組樣本量)和相對充足數據(200組樣本量)這2個實驗數據條件下利用本文算法進行參數學習，在構建好故障診斷推理模型之后，再利用269組數據在已建好的模型上選用經典有效的聯合樹算法進行軸承的各種典型故障推理診斷實驗來驗證本文算法的可行性。

5.3.2 診斷推理實驗結果

表3和表4是分別利用45組和200組特征數據進行建模，然后再用269組特征數據診斷推理的結果。

Table 3 Modeling and reasoning accuracy results of VWPL on 45 groups of data表3 45組數據上變權重算法建模推理正確率結果

Table 4 Modeling and reasoning accuracy results of VWPL on 200 groups of data表4 200組數據上變權重算法建模推理正確率結果

實驗結果表明：本文算法在小數據集上進行建模推理時，對滾動體故障狀態及外圈故障狀態診斷的效果略差于相對充足數據集上的建模推理結果。整體上其診斷正確率較高，表明了本文算法在小數據集情況下進行參數學習的可行性和有效性。

6 結束語

本文提出的BN變權重學習算法在小數據集上進行BN參數學習時，能夠隨著數據量的變化不斷調整樣本量和定性約束參數的權重，進而優化參數學習的結果，提高了學習精度。將該算法應用在故障診斷中的實驗結果也展現出其可行性和實用性。該算法為在智能決策系統中，尤其是小數據集情況下進行建模與推理提供了一條有效的途徑。