融合專家綜合知識的貝葉斯網絡參數學習方法

鹿 浩，張鴻洲,2*，鐘 寒，宿亞杰，石晶瑩

(1.中國人民公安大學信息網絡安全學院，北京 100038；2.中國人民公安大學公共安全風險防控教育部工程研究中心，北京 100038; 3.大連市公安局中山分局，大連 116001)

近年來，貝葉斯網絡模型已經成為不確定知識推理的重要工具[1]，由于貝葉斯網絡模型具有表達能力強、可讀性強等特點，目前廣泛應用于態勢感知[2-3]、犯罪分析[4]、意圖識別[5]、故障診斷[6]、決策支持[7]、風險分析[8]等多個領域中。貝葉斯網絡參數學習是模型構建的重要環節，實質上就是確定給定結構貝葉斯網絡的條件概率表(conditional probability table, CPT)[9]。

目前應用較為廣泛的參數學習方法有最大似然估計法(maximum likelihood estimation, MLE)、最大期望法(expectation maximization, EM)、最大后驗概率法(maximum a posterior, MAP)、貝葉斯估計法等[10]。上述方法是基于觀測數據學習獲取參數的方法，在數據量充足情況下可以得到較為準確的參數，但是在實際情況中大多數領域往往無法獲取大量高質量數據，當數據集較小的情況下，所得參數與實際存在較大誤差。

為解決上述問題，大量研究在小數據集的參數學習過程中引入專家先驗知識。專家先驗知識是經過大量實踐所得到的經驗，是人對某個特定領域相關問題學習的結果。文獻[11]提出在貝葉斯網絡參數學習的過程中根據領域知識確定各個節點在其父節點取值確定時的參數單調性，并將單調性約束轉化為虛擬樣本結合數據進行參數學習。文獻[12]提出將專家對節點間條件概率看作正態分布，然后采用貝葉斯最大后驗概率方法進行參數學習。文獻[13]對專家知識進行蒙特卡洛抽樣轉化為樣本結合數據集進行貝葉斯網絡參數學習中。文獻[14]將參數學習轉化為似然函數優化問題并采用凸約束方法進行求解。文獻[15]針對連續節點離散化的問題，使用云模型將定量樣本轉化為定性樣本用于參數學習，為定量樣本參數學習提出新的學習方法。文獻[16]針對不完整數據集的貝葉斯網絡參數學習，在對相關參數的范圍進行了約束，提高了參數學習的精度。文獻[17]將專家先驗和單調性約束進行融合進行參數學習，提高了專家知識的利用率。

綜合上述文獻，大量研究已經注意到在使用現有數據學習的同時，需要結合領域內專家的相關知識，專家知識的表示方法可以呈現為多種形式。在構建貝葉斯網絡模型的過程中專家知識的表示方法包括正態分布[12]、單調性約束[16]和蒙特卡洛采樣[13]等方法，但是領域內單一專家的知識由于專家掌握程度不同，存在片面性和主觀性強的問題。

在解決復雜問題求解過程中知識片面問題中，主要方法有群體研討和D-S證據理論等。群體研討[18-20]是解決復雜問題求解過程的重要方法之一，在問題討論的過程中需要將復雜問題分解為多個子問題分階段進行討論，研究的過程需要設計研究規則和安排研討協調員，且專家在研討的過程中需要同時在線，無法分開采集專家知識。D-S證據理論[21-22]在解決爭議問題中具有較強的優勢，能夠對已有證據進行合成，綜合考慮來自多源的不確定信息。

為了解決貝葉斯網絡參數學習過程中采用單一專家知識主觀性較強的問題，提升領域專家知識利用率。現提出基于D-S證據理論的專家綜合知識進行融合，將融合得到的先驗知識轉化為狄利克雷分布的超參數，最后采用最大后驗概率法進行參數學習。在該方法中，采用D-S證據理論將多專家知識進行融合能夠降低單一專家對知識片面性理解造成的誤差，并且能夠一定程度上克服數據量小、學習參數不精確等問題。

1 相關理論基礎

1.1 貝葉斯網絡

貝葉斯網絡又稱信念網絡、因果網絡，最早于18世紀由貝葉斯提出，20世紀Pearl將其引入人工智能領域。貝葉斯網絡結合了圖論與概率論的特點，能夠表達不確定知識進行推理并可視化展示。

貝葉斯網絡模型的核心是貝葉斯網絡結構和各節點之間的條件概率。一般情況下可將貝葉斯網絡模型記作N=。

貝葉斯網絡結構是一個有向無環圖(directed acyclic graph，DAG)，節點位置以及節點之間的關聯關系記作G，各節點的參數表示節點之間的依賴程度記作θ，學習參數θ的過程稱作參數學習。

貝葉斯網絡參數學習是在貝葉斯網絡模型結構確定的情況下，通過觀測數據通過計算獲取各節點條件概率的過程。設一個包含n個節點的貝葉斯網絡模型X。對于其中任一節點Xi，該節點狀態數為ri，其父節點狀態數為qi。則節點Xi的參數表示為

θijk=P[Xi=k|π(Xi)=j]

(1)

1.2 D-S證據理論

定義1(識別框架) 給定一問題域Q，設非空集合Θ={θ1,θ2,…,θN}，對于問題域中任一命題A，其基本概率分配均屬于冪集2Θ。

定義2(基本概率分配) 給定識別框架Θ，概率質量(mass)函數滿足以下條件：

m(?)=0

(2)

(3)

定義3(信任函數) 給定識別框架Θ，mass函數的信任函數定義為

(4)

定義4(似然函數) 給定識別框架Θ，mass函數的似然函數定義為

(5)

定義5(證據合成規則) Dempster合成規則(dempster’s combinational rule)也稱證據合成公式。對于?A?Θ，Θ上的兩個mass函數m1、m2的合成規則為

(6)

定義6(歸一化常數) 定義為

(7)

2 融合專家綜合知識的貝葉斯網絡參數學習方法

提出一種融合專家綜合知識的參數學習方法，將來自領域內多位專家的知識進行融合，采用正態分布表示合成后的專家知識，并結合數據集進行參數學習獲取貝葉斯網絡模型參數，流程圖如圖1所示。

2.1 專家知識收集與綜合

貝葉斯網絡模型中任意一組節點之間均存在條件概率，將一組節點的條件概率取值視為一個問題域Q，對于問題域Q中節點取值的每種情況構建一個識別框架Θ。

針對給定的問題域Q，收集相關領域內n位專家先驗知識，專家根據其對問題域Q的了解情況，個性化確定其識別框架Θi，并給出相關知識，每位專家的知識用一個mass函數表示，收集并形成專家知識集，記作

M={m1(Θ1),m2(Θ2),…,mn(Θn)}

(8)

在式(6)和式(7)的基礎上將證據合成公式進行推廣，得到多個mass函數合成規則，即

(9)

(10)

將專家綜合知識使用證據合成公式進行合成，獲得專家綜合先驗知識m。

2.2 專家綜合知識表示

將問題域Q中識別框架Θ對應的專家綜合知識表示為正態分布[12],記作

(11)

式(11)中：m為合成后的專家綜合先驗知識，為正態分布的期望；σ為正態分布的均方差。

將專家知識正態分布轉化成為狄利克雷分布的超參數用于參數學習，使用狄利克雷分布的邊緣分布Beta分布逼近正態分布。采用期望相等、方差和位置差值最小的方式進行逼近。

(12)

min{[(DB-DM)2+(LB-LM)2]}

(13)

式中：α、β為Beta分布的參數；EB、EM、LB、LM、DB、DM分別為Beta分布和正態分布的期望、位置和方差。求解式(12)、式(13)獲得Beta分布的參數。

2.3 融合專家綜合知識參數學習

將所得Beta分布的參數值作為貝葉斯最大后驗估計方法中的專家先驗知識，結合已有樣本數據進行貝葉斯網絡參數學習，如式(14)所示。

(14)

式(14)中：Nijk為樣本中節點i取值為k且父節點取值為j的統計值；αijk為求解獲得的Beta分布超參數。

3 仿真分析

以貝葉斯網絡參數學習常用數據集草坪濕潤模型為例，對本文算法進行仿真實驗。由于草坪濕潤模型中各節點之間關系為常識，仿真過程中所采用的專家知識為3名對相關情況具有豐富經驗的專家實際指定，正態分布方差為σ2=0.155。

3.1 仿真內容

選擇經典草坪濕潤模型作為目標模型進行貝葉斯網絡參數學習。草坪濕潤模型包含4個節點和4條邊(圖2)。模型中各個節點均有TRUE和FALSE兩種取值，采用1代表TRUE，0代表FALSE，網絡模型的真實參數如表1所示。

圖2 草坪濕潤貝葉斯網絡模型

表1 草坪濕潤模型真實參數表

3.2 結果分析

分別使用最大似然估計法、貝葉斯估計法、一致先驗最大后驗概率法和本文所述方法在10數據、20數據、30數據、40數據和50數據的情況下進行參數學習。通過比較各種方法在不同小數據集的情況下的K-L散度和歐式距離驗證本文方法的性能。

K-L散度(Kullback-Leibler divergence)又稱相對熵，在人工智能領域常用于衡量兩種概率分布之間的差異情況。歐式距離是進行相似性度量的一種常見衡量指標，表示二者在歐式空間中的距離。K-L散度值和歐式距離越小，證明學習所用方法與實際參數之間的差距越小，準確度越高。

為了降低實驗過程產生的誤差，4種方法在不同數據量的情況下分別重復測試10次，并取結果的平均值進行分析。由圖3和圖4可以看出，本文方法在10、20、30、50數據量的情況下參數學習精度明顯優于最大似然估計法、貝葉斯估計法和一致先驗最大后驗概率法。在40數據量的情況下，本文方法與貝葉斯估計法和一致先驗最大似然估計法學習所得參數精度稍高。

圖4 不同數據量下草坪濕潤模型K-L散度

為了進一步分析本文方法的參數學習精度，將4種方法在50數據量下各個節點的條件概率值與真實值之間的K-L散度和歐式距離進行分析，如圖5所示。

圖5 50數據量下草坪濕潤模型參數學習結果

由圖5可以看出，4種方法進行參數學習所得結果中，本文方法與其他方法相比，歐式距離明顯減小，學習所得參數與實際情況的歐式距離的接近0。通過上述實驗結果表明，本文方法相較其他方法能夠在貝葉斯參數學習結合專家綜合知識的前提下通過已有數據進行補正，并且參數學習結果的準確度有明顯提升。

3.3 實例驗證

以典型刑事案件盜竊案件作為研究對象，依靠公安刑偵專家和一線民警經驗確定節點及節點間關系構建線索研判貝葉斯網絡模型結構，并采用本文方法進行參數學習。通過構建所得線索研判模型進行分析，并與真實案件相關線索比較，驗證本文方法的合理性和有效性。

在刑事案件偵查過程中，公安機關通過現場勘驗檢查、相關人員走訪、受害者詢問等方法獲取與案件有關線索。以犯罪嫌疑人的相關特征作為推理目標構建貝葉斯網絡模型模型，將受害人的經濟狀況、現場翻動痕跡、現場偽造痕跡作為證據節點，構建線索研判貝葉斯網絡，采用GeNIe進行仿真，如圖6所示。

圖6 線索研判貝葉斯網絡模型

線索研判貝葉斯網絡模型中，通過犯罪現場的犯罪痕跡和受害人的經濟狀況推測犯罪嫌疑人的犯罪動機。并通過犯罪現場痕跡、受害人的經濟狀況結合犯罪動機推測犯罪嫌疑人的相關特征。按照上述節點間關系，收集來自公安機關偵查部門的3位具有豐富偵查經驗的專家先驗知識并使用D-S證據理論進行合成作為專家綜合先驗知識，如表2所示。

表2 專家綜合先驗知識(犯罪嫌疑人經濟狀況)

通過對現有相關的100件刑事案件的現場勘驗檢查筆錄、詢問筆錄等案件有關材料進行分析，獲得線索研判貝葉斯網絡的參數學習樣本，如表3所示。

表3 刑事案件參數學習樣本

將專家知識結合數據集學習后所得參數輸入線索研判貝葉斯網絡模型結構中，獲得完整的貝葉斯網絡模型，如圖7所示。以公安機關實際刑事案件對構建所得模型進行驗證，某一盜竊案件在前期偵查過程中通過群眾走訪、現場勘查和被害人詢問等方法已知被害人經濟狀況好且現場具有翻動痕跡。將上述證據輸入貝葉斯網絡模型中進行推理，獲得推理結果為作案動機為圖財、犯罪嫌疑人與被害人不認識、犯罪嫌疑人有前科的可能性較高，如圖8所示。對比破案后的犯罪嫌疑人的實際情況，與推理所得結果相符，驗證了方法的有效性。

圖7 線索研判貝葉斯網絡模型

圖8 線索研判推理結果

4 總結

在結合專家知識的貝葉斯網絡參數學習方法的基礎上，為了解決單一專家知識結合小數據集進行參數學習可能產生的誤差大的問題，提出了融合專家綜合知識的參數學習方法。通過實驗，證明了本文方法相較于最大似然估計法、貝葉斯估計法和一致先驗最大后驗概率法學習精度具有明顯提升。在部分領域中，數據獲取的成本較高，可以利用領域內豐富的專家知識綜合后輔助進行參數學習。將專家綜合知識進行融合用于構建貝葉斯網絡，能夠克服數據量少和單一專家知識主觀性強造成的參數學習準確性差的問題。將本文方法應用于公安機關刑事偵查線索研判貝葉斯網絡參數學習，模型推理結果與實際情況相符，驗證了本文方法的有效性。研究在專家知識的利用上首先對多個專家知識進行了綜合，但是專家知識的收集方法較為單一，知識的表示形式較為簡單，下一步工作的重點是考慮采用經驗函數對專家知識進行采集和表示，并將專家知識綜合后用于貝葉斯網絡參數學習。