基于飛蛾-燭火優(yōu)化算法的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)

,, ,

(中國(guó)科學(xué)技術(shù)大學(xué) 自動(dòng)化系,合肥 230027)

0 概述

貝葉斯網(wǎng)絡(luò)又稱(chēng)信度網(wǎng)絡(luò),自1988年在文獻(xiàn)[1]中被提出以來(lái),已經(jīng)廣泛運(yùn)用于各個(gè)領(lǐng)域,是不確定知識(shí)表達(dá)和推理領(lǐng)域最有效的理論模型之一。貝葉斯網(wǎng)絡(luò)的構(gòu)建包含結(jié)構(gòu)學(xué)習(xí)和參數(shù)學(xué)習(xí),其中結(jié)構(gòu)學(xué)習(xí)是基礎(chǔ)和核心,其結(jié)果直接影響參數(shù)學(xué)習(xí)。

完備數(shù)據(jù)集下的結(jié)構(gòu)學(xué)習(xí)方法主要有2類(lèi):基于依賴分析的方法及基于評(píng)分搜索的方法。基于依賴分析的方法[2-4]根據(jù)節(jié)點(diǎn)間的條件相關(guān)性,利用互信息等準(zhǔn)則獲取貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)。基于評(píng)分搜索的方法通過(guò)定義評(píng)分函數(shù),利用有效的搜索算法,尋找評(píng)分最高的網(wǎng)絡(luò)結(jié)構(gòu)。相比于前者,后者通常能夠獲取到更好的網(wǎng)絡(luò)結(jié)構(gòu)。

采用評(píng)分搜索的方法來(lái)學(xué)習(xí)貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)NP-Hard問(wèn)題[5],通常用啟發(fā)式算法來(lái)解決此類(lèi)問(wèn)題。文獻(xiàn)[6]給出一種基于貪婪搜索的K2算法,算法需要預(yù)先輸入節(jié)點(diǎn)順序且無(wú)法進(jìn)行全局搜索。文獻(xiàn)[7]給出了基于爬山算法(Hill Climbing,HC)的結(jié)構(gòu)學(xué)習(xí)算法,通過(guò)選擇不同操作,改變網(wǎng)絡(luò)結(jié)構(gòu),但容易陷入局部最優(yōu)。進(jìn)化計(jì)算也廣泛應(yīng)用于結(jié)構(gòu)學(xué)習(xí)中,文獻(xiàn)[8]給出基于遺傳算法(Genetic Algorithm,GA)的結(jié)構(gòu)學(xué)習(xí)算法,利用交叉變異算子對(duì)網(wǎng)絡(luò)更新迭代,取得了良好的效果。文獻(xiàn)[9]根據(jù)粒子群的搜索策略,結(jié)合遺傳算法交叉變異算子,給出了貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)算法(BNC-PSO),仿真結(jié)果表明,BNC-PSO能夠搜尋到較優(yōu)的結(jié)構(gòu)。蜂群算法[10]、蟻群算法[11]等進(jìn)化計(jì)算方法已經(jīng)應(yīng)用于貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)中,然而存在收斂性較差、易陷入局部最優(yōu)或不穩(wěn)定等問(wèn)題。

2015年文獻(xiàn)[12]給出了仿生優(yōu)化算法:飛蛾?duì)T火優(yōu)化算法(Moth-flame Optimization,MFO),該算法模擬了飛蛾圍繞燭火等角螺線飛行,最終撲向燭火這一曲線運(yùn)動(dòng)過(guò)程,很好地平衡了解空間的全局探索和潛在最優(yōu)解的局部探索,能夠快速有效地找到最優(yōu)解,該算法在連續(xù)域問(wèn)題求解中得到了廣泛運(yùn)用[13-14]。然而,結(jié)構(gòu)學(xué)習(xí)是二值離散問(wèn)題,不能模擬曲線位置更新,算法無(wú)法直接運(yùn)用到貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)中。

本文將MFO算法引入到貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)這一離散問(wèn)題中,保留了原有MFO的排序框架,通過(guò)借鑒遺傳算法的相關(guān)操作,在變異時(shí)參考節(jié)點(diǎn)間互信息,解決二值離散問(wèn)題中無(wú)法模擬曲線位置更新的問(wèn)題,提出用于貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)的BN-MFO算法。

1 貝葉斯網(wǎng)絡(luò)及其結(jié)構(gòu)學(xué)習(xí)

貝葉斯網(wǎng)絡(luò)N(G,θ)包含兩部分:結(jié)構(gòu)矩陣G和參數(shù)θ。其中,矩陣G=〈V,E〉為有向無(wú)環(huán)圖(Directed Acyclic Graph,DAG),V={V1,V2,…,Vn}是貝葉斯網(wǎng)絡(luò)的節(jié)點(diǎn)集,E={Vk→Vl,Vi→Vj,…}則代表節(jié)點(diǎn)間的依賴關(guān)系,其中k,l,i,j∈[1,n];參數(shù)θ={θ1,θ2,…,θn}是一組節(jié)點(diǎn)的條件分布的集合,其中θi=P(Vi|π(Vi))為節(jié)點(diǎn)Vi的條件概率分布,若Vi沒(méi)有父節(jié)點(diǎn)則該分布為其邊緣分布。貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)問(wèn)題可描述為:

OM=(D,G′,C,f)

(1)

其中,G′是V構(gòu)成的所有網(wǎng)絡(luò)結(jié)構(gòu)的集合,C是合法結(jié)構(gòu)的約束條件,矩陣D是樣本數(shù)據(jù),f是描述結(jié)構(gòu)矩陣G∈G′對(duì)于數(shù)據(jù)矩陣D的匹配程度的評(píng)分函數(shù)。

結(jié)構(gòu)學(xué)習(xí)的過(guò)程就是在所有符合約束條件的結(jié)構(gòu)中搜索評(píng)分最優(yōu)的結(jié)構(gòu),即:

(2)

其中,G|=C表示結(jié)構(gòu)矩陣G滿足約束條件C。常用的評(píng)分函數(shù)f有K2評(píng)分函數(shù)[15]、BDe評(píng)分函數(shù)[16]、BIC評(píng)分函數(shù)[17]等,它們各有特點(diǎn)。本文采用BIC評(píng)分函數(shù):

(3)

2 MFO算法

NP-Hard問(wèn)題的啟發(fā)式求解方法一般包含兩個(gè)關(guān)鍵環(huán)節(jié):全局搜索和局部搜索。優(yōu)秀的啟發(fā)式算法能夠在兩者之間合理地平衡,提高算法性能。MFO是一種優(yōu)秀的啟發(fā)式算法,成功運(yùn)用在了連續(xù)優(yōu)化問(wèn)題的求解過(guò)程中。

MFO算法中,飛蛾是解的搜索者,燭火是當(dāng)前最優(yōu)解,飛蛾數(shù)量和燭火數(shù)量在初始時(shí)相同。向量Mi是矩陣M中的一行,代表一只飛蛾,其適應(yīng)值在適應(yīng)值矩陣OM中對(duì)應(yīng)為OMi。

(4)

其中,n是飛蛾的數(shù)量,d是解的維數(shù)。算法另一重要組成部分是燭火的描述矩陣F,每一行代表一支燭火向量Fi,且其對(duì)應(yīng)的適應(yīng)值不劣于Fi+1的適應(yīng)值,矩陣F對(duì)應(yīng)的適應(yīng)值矩陣為矩陣OF:

(5)

MFO將飛蛾和燭火均視為解,不同的是迭代過(guò)程中更新方式:飛蛾作為搜索的行動(dòng)者,沿曲線朝著燭火進(jìn)行搜索;飛蛾搜索到的解若更優(yōu),則將其標(biāo)記為燭火,吸引飛蛾進(jìn)行搜索。飛蛾的曲線位置更新函數(shù)如下:

Mi=Diebtcos(2πt)+Fj

(6)

其中,矩陣Mi代表第i只飛蛾,矩陣Fj代表第j支燭火,Di=|Fj-Mi|是距離,常量b決定了等角螺線形狀,t∈[-1,1]是隨機(jī)變量。

MFO人為地使每只飛蛾都繞著對(duì)應(yīng)的燭火飛,即:第i只飛蛾繞著第g(i)優(yōu)的燭火進(jìn)行位置更新。每一輪迭代都會(huì)根據(jù)適應(yīng)值對(duì)燭火進(jìn)行排序,在下一輪迭代中,飛蛾再繞著對(duì)應(yīng)的燭火飛。燭火的數(shù)量FN是變化的:

(7)

其中,l是當(dāng)前迭代次數(shù),N是最大燭火數(shù),T是最大迭代次數(shù)。后期將只有一支燭火,所有飛蛾都會(huì)在最優(yōu)的燭火附近飛,算法結(jié)束時(shí)返回剩下的燭火位置即為問(wèn)題的最優(yōu)解。

3 BN-MFO算法

3.1 初始化

本文貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)矩陣G用鄰接矩陣A表示:

(8)

若節(jié)點(diǎn)Vj是Vi的子節(jié)點(diǎn),則aij=1,否則aij=0。相應(yīng)地,為適應(yīng)結(jié)構(gòu)學(xué)習(xí)問(wèn)題的描述方式,重新定義矩陣M和矩陣F,如式(9)、式(10)所示。

(9)

(10)

其中,M和F分別為原算法飛蛾矩陣和燭火矩陣,Mi和Fi均為有向無(wú)環(huán)圖DAG對(duì)應(yīng)的鄰接矩陣,其余定義均保持不變。需要指出的是,初始時(shí),向量M和向量F包含完全相同的DAG,只是DAG排列不同。

初始化時(shí),隨機(jī)生成n個(gè)合法DAG作為向量M并求出對(duì)應(yīng)的適應(yīng)值矩陣OM,對(duì)矩陣OM排序得到矩陣OF及其對(duì)應(yīng)的向量F。初始化時(shí),還從數(shù)據(jù)中求得節(jié)點(diǎn)間的互信息矩陣MI。DAG生成算法為算法1,該算法不同于一般DAG生成算法,它能夠返回一個(gè)與節(jié)點(diǎn)順序無(wú)關(guān)的隨機(jī)合法DAG,使得初始飛蛾在解空間中的分布更為均勻,其中隨機(jī)數(shù)k≤size(Q)。

算法1生成DAG

輸入節(jié)點(diǎn)個(gè)數(shù)n

輸出隨機(jī)的合法DAG對(duì)應(yīng)的鄰接矩陣A

步驟1將n個(gè)節(jié)點(diǎn)隨機(jī)排列為隊(duì)列Q,A=0。

步驟2Q出隊(duì)節(jié)點(diǎn)Vx。從Q中隨機(jī)選擇k個(gè)節(jié)點(diǎn)為Vx的子節(jié)點(diǎn)。將矩陣A相應(yīng)位置置1。

步驟3若Q非空,轉(zhuǎn)至步驟2。

步驟4返回矩陣A。

3.2 非法結(jié)構(gòu)及其更正

本文定義貝葉斯網(wǎng)絡(luò)的非法結(jié)構(gòu)為存在有向環(huán)的結(jié)構(gòu),如圖1所示,圖中節(jié)點(diǎn)2、3、5構(gòu)成了有向環(huán)。除非法結(jié)構(gòu)之外的其他結(jié)構(gòu)都是合法結(jié)構(gòu),它們構(gòu)成了飛蛾的飛行空間。當(dāng)飛蛾位置非法時(shí),需要有機(jī)制對(duì)位置進(jìn)行更正,使其重新回到搜索空間。

圖1 非法結(jié)構(gòu)

根據(jù)圖論知識(shí)設(shè)計(jì)了算法2實(shí)現(xiàn)檢測(cè)并更正,若輸入的矩陣合法則不處理,否則更正,該算法更正時(shí)能夠保持DAG的大部分結(jié)構(gòu)不變。本文標(biāo)記檢測(cè)更正算子為CC(Check and Correct)。

算法2DAG合法檢測(cè)及更正

輸入DAG的鄰接矩陣A

輸出保證合法的鄰接矩陣A

步驟1矩陣A的副本矩陣C,i=1。

步驟2矩陣C對(duì)角線不含非零元素,則C=C*C,i=i+1;否則轉(zhuǎn)至步驟4。

步驟3若i

步驟4隨機(jī)選擇矩陣C非零元素對(duì)應(yīng)的2個(gè)節(jié)點(diǎn)Vx、Vy,將矩陣A中Vx、Vy對(duì)應(yīng)的邊刪除或反向,將新矩陣作為輸入,遞歸調(diào)用本算法,返回值賦給矩陣A并返回矩陣A。

3.3 位置更新

貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)的解空間離散,MFO中的曲線移動(dòng)策略無(wú)法實(shí)施。位置更新本質(zhì)是繼承燭火和飛蛾的部分信息,飛蛾的下一個(gè)位置和當(dāng)前位置、目標(biāo)位置相關(guān)。通過(guò)借鑒遺傳算法,可以定義貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)問(wèn)題中雜交、變異、選擇等操作,實(shí)現(xiàn)飛蛾的位置移動(dòng)。

3.3.1 雜交操作

如圖2所示,隨機(jī)選擇飛蛾矩陣Mi和對(duì)應(yīng)燭火矩陣Fg(i)的若干列進(jìn)行交換,生成新的2個(gè)子代,考慮到效率問(wèn)題,列數(shù)與網(wǎng)絡(luò)節(jié)點(diǎn)總數(shù)相關(guān)。該操作可能會(huì)產(chǎn)生非法的DAG,暫時(shí)不做處理,本文標(biāo)記雜交算子為CO(Crossover)。

圖2 雜交操作

3.3.2 變異操作

在結(jié)構(gòu)學(xué)習(xí)中,變異操作(如圖3所示)包含3種行為,即增加邊、刪除邊、反向邊。通常3種操作是隨機(jī)的,事實(shí)上,在貝葉斯網(wǎng)絡(luò)中,若節(jié)點(diǎn)間互信息較大,說(shuō)明該對(duì)節(jié)點(diǎn)有較大相關(guān)性,可以認(rèn)為它們之間存在有向邊[3]。在BN-MFO變異過(guò)程中,選擇若干節(jié)點(diǎn)對(duì),參考對(duì)節(jié)點(diǎn)間的標(biāo)準(zhǔn)互信息,采取不同的操作:對(duì)于互信息值較大的節(jié)點(diǎn)對(duì),若節(jié)點(diǎn)間有邊存在,傾向于將邊反向,若沒(méi)有邊,傾向于加邊;對(duì)于互信息較小的節(jié)點(diǎn)對(duì),傾向于刪邊。同樣,選擇的節(jié)點(diǎn)對(duì)數(shù)和網(wǎng)絡(luò)節(jié)點(diǎn)總數(shù)相關(guān)。本文標(biāo)記變異算子為V(Variation)。

圖3 變異操作

變異操作之后,需要檢查DAG的合法性,若該DAG非法,需要按照3.2節(jié)中的方法對(duì)其進(jìn)行更正,保證結(jié)構(gòu)合法。由于該步驟參考了節(jié)點(diǎn)間的互信息,這使得飛蛾更傾向飛向樣本數(shù)據(jù)的潛在結(jié)構(gòu),保證了學(xué)習(xí)結(jié)果的穩(wěn)定性。

3.3.3 選擇操作

飛蛾矩陣Mi與對(duì)應(yīng)的燭火矩陣Fg(i)雜交后生成2個(gè)子代矩陣ChAi、ChBi,子代經(jīng)過(guò)變異、糾正之后,通過(guò)評(píng)分函數(shù)對(duì)其進(jìn)行評(píng)分,選出評(píng)分較優(yōu)的子代為飛蛾的下一位置,所有的子代加上全部燭火排序之后,選擇合前R優(yōu)的為新的燭火,過(guò)程如圖4所示。

圖4 排序選擇框架

(11)

事實(shí)上,可以采用其他的函數(shù)關(guān)系來(lái)描述燭火數(shù)量和迭代代數(shù)的關(guān)系,不同的關(guān)系也會(huì)有不同的性能效果。

本文算法描述見(jiàn)算法3,算法將n只飛蛾按編號(hào)對(duì)R取余分配目標(biāo)燭火,即g(i)=i%R+1;判斷是否需要淘汰飛蛾取決于當(dāng)前迭代代數(shù)和飛蛾的適應(yīng)值。

算法3BN-MFO

輸入數(shù)據(jù)矩陣D,飛蛾數(shù)量n,迭代次數(shù)T

輸出貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)鄰接矩陣A

步驟1初始化向量M,求對(duì)應(yīng)的矩陣OM,對(duì)矩陣OM排序得到矩陣OF,根據(jù)對(duì)應(yīng)關(guān)系得到向量F,求互信息矩陣MI,矩陣ChA=0、矩陣ChB=0用于放置子代。

步驟2根據(jù)式(11)更新R。

步驟3對(duì)n只飛蛾矩陣Mi均按如下流程移動(dòng)位置[ChAi,ChBi] =CO(Mi,Fg(i)),ChAi=V(ChAi),ChBi=V(ChBi),ChAi=CC(ChAi),ChBi=CC(ChBi),Mi=BiggerOne(ChAi,ChBi),更新OMi。

步驟4對(duì)向量F、矩陣ChA、矩陣ChB按照適應(yīng)值排序,取前R優(yōu)為新的向量F,同時(shí)更新矩陣OF,根據(jù)算法1生成新飛蛾替換需要淘汰飛蛾同時(shí)更新向量M和矩陣OM;若迭代未完成,轉(zhuǎn)至步驟2。

步驟5返回向量F(此時(shí)最優(yōu)燭火即為所求矩陣A)。

4 實(shí)驗(yàn)及分析

4.1 實(shí)驗(yàn)設(shè)置及結(jié)果

本文采用經(jīng)典的8個(gè)節(jié)點(diǎn)Asia網(wǎng)和5個(gè)節(jié)點(diǎn)Cancer網(wǎng)檢驗(yàn)算法的有效性。首先,對(duì)網(wǎng)絡(luò)進(jìn)行采樣,分別獲得3個(gè)數(shù)據(jù)集。算法有效性有4個(gè)評(píng)價(jià)指標(biāo):1)反向邊數(shù)量;2)缺失邊數(shù)量;3)多余邊數(shù)量;4)求得的結(jié)構(gòu)的評(píng)分。實(shí)驗(yàn)中,飛蛾數(shù)量設(shè)為30只,迭代次數(shù)分別為200(Cancer)、250(Asia)。實(shí)驗(yàn)對(duì)比算法為經(jīng)典算法HC和同樣基于群的優(yōu)化算法BNC-PSO,其粒子群數(shù)為50,迭代次數(shù)和BN-MFO相同,每個(gè)實(shí)驗(yàn)均做10次,實(shí)驗(yàn)結(jié)果如表1、表2所示。

表1 Cancer網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果

表2 Asia網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果

對(duì)于Cancer網(wǎng)絡(luò)BN-MFO能夠保持和HC一樣的效果,且返回的結(jié)果穩(wěn)定,雖然BNC-PSO能夠返回評(píng)分最優(yōu)的結(jié)構(gòu),但是每次返回的結(jié)果和標(biāo)準(zhǔn)Cancer網(wǎng)有較大差別。對(duì)于Asia網(wǎng)絡(luò),3種算法中BN-MFO能夠找到和標(biāo)準(zhǔn)Asia網(wǎng)最為相近的結(jié)構(gòu),且10次實(shí)驗(yàn)返回的結(jié)構(gòu)基本相同、結(jié)果穩(wěn)定、評(píng)分普遍優(yōu)于標(biāo)準(zhǔn)Asia網(wǎng);HC算法返回結(jié)構(gòu)的評(píng)分有時(shí)甚至不如標(biāo)準(zhǔn)Asia網(wǎng)的評(píng)分優(yōu),BNC-PSO返回的結(jié)構(gòu)評(píng)分普遍優(yōu)于標(biāo)準(zhǔn)Asia網(wǎng),但是每次返回的結(jié)構(gòu)均有較大差別、不穩(wěn)定。

圖5和圖6分別是BN-MFO算法在Cancer1000和Asia2000數(shù)據(jù)集下的迭代記錄,其中,粗線表示了10次實(shí)驗(yàn)的平均值,細(xì)線表示單次的收斂曲線。對(duì)于Cancer網(wǎng),算法在30代左右就找到了潛在結(jié)構(gòu),Asia網(wǎng)絡(luò)的解空間較大,找到潛在結(jié)構(gòu)的迭代次數(shù)較大。

圖5 Cancer1000收斂曲線

圖6 Asia2000收斂曲線

實(shí)驗(yàn)結(jié)果表明,3種算法均能學(xué)習(xí)到網(wǎng)絡(luò)結(jié)構(gòu)的大部分結(jié)構(gòu),仍有部分結(jié)構(gòu)和標(biāo)準(zhǔn)結(jié)構(gòu)不同。BN-MFO返回的結(jié)果穩(wěn)定且最接近標(biāo)準(zhǔn)結(jié)構(gòu);HC算法能夠快速學(xué)習(xí)出網(wǎng)絡(luò)結(jié)構(gòu),但是有時(shí)不能學(xué)到最優(yōu)的結(jié)構(gòu);BNC-PSO普遍能夠?qū)W到評(píng)分最優(yōu)的結(jié)構(gòu),但每次學(xué)到的都有較大差別,不夠穩(wěn)定。

4.2 結(jié)果分析

BN-MFO保留了MFO的整體框架,從而繼承了MFO的優(yōu)良性質(zhì)。由于飛蛾和燭火間的動(dòng)態(tài)對(duì)應(yīng)關(guān)系g(i)和數(shù)量變化的燭火數(shù)量R的綜合作用,在算法初期飛蛾與對(duì)應(yīng)燭火的位置距離較遠(yuǎn),飛蛾將有更大概率探索到更多區(qū)域,保證了全局探索性;在中期,一支燭火將會(huì)對(duì)應(yīng)多只飛蛾,保證了對(duì)燭火鄰域的局部探索,后期產(chǎn)生的新生飛蛾也使得算法有機(jī)會(huì)發(fā)現(xiàn)新的潛在最優(yōu)解。可見(jiàn)BN-MFO很好地平衡了對(duì)解空間的全局探索和局部探索。同時(shí),在飛蛾通過(guò)雜交、變異等操作具有隨機(jī)性,使得飛蛾位置能夠較為均勻地分布;另一方面,在變異時(shí)參考節(jié)點(diǎn)間的互信息,使變異有更大概率向數(shù)據(jù)潛在結(jié)構(gòu)發(fā)生,保障了對(duì)潛在結(jié)構(gòu)的充分探索,使得返回的結(jié)構(gòu)更為穩(wěn)定。

3種算法均為基于評(píng)分搜索的算法,影響結(jié)果的自然是搜索的過(guò)程和評(píng)分函數(shù),實(shí)驗(yàn)已經(jīng)表明,3種算法的搜索方式甚至能夠?qū)W到評(píng)分優(yōu)于標(biāo)準(zhǔn)網(wǎng)的網(wǎng)絡(luò)結(jié)構(gòu),驗(yàn)證了搜索過(guò)程的正確性。可見(jiàn),評(píng)分函數(shù)是導(dǎo)致實(shí)驗(yàn)中的3種算法不能學(xué)到與原結(jié)構(gòu)完全一致的結(jié)構(gòu)的主要原因。BNC-PSO和BN-MFO得到的結(jié)果表明,不同的結(jié)構(gòu)能夠獲得相同的BIC評(píng)分,這一現(xiàn)象進(jìn)一步表明評(píng)分函數(shù)的選擇能夠影響結(jié)構(gòu)學(xué)習(xí)的過(guò)程。

5 結(jié)束語(yǔ)

本文將MFO引入到貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)離散問(wèn)題領(lǐng)域,借鑒遺傳算法,替換原算法的位置更新方式,在移動(dòng)的過(guò)程中參考網(wǎng)絡(luò)節(jié)點(diǎn)的互信息,提出BN-MFO。該算法繼承了原算法的優(yōu)良性能,同時(shí),因?yàn)榛バ畔⒌倪\(yùn)用,保證了BN-MFO的穩(wěn)定性。在標(biāo)準(zhǔn)貝葉斯網(wǎng)絡(luò)Cancer網(wǎng)和Asia網(wǎng)上,與經(jīng)典結(jié)構(gòu)學(xué)習(xí)算法及同類(lèi)型結(jié)構(gòu)學(xué)習(xí)算法進(jìn)行實(shí)驗(yàn)對(duì)比,驗(yàn)證了算法的有效性和優(yōu)越性。

[1] PEARL J.Probabilistic Reasoning in Intelligent Systems[J].Computer Science Artificial Intelligence,1988,70(2):1022-1027.

[2] 胡學(xué)鋼,胡春玲.一種基于依賴分析的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)算法[J].模式識(shí)別與人工智能,2006,19(4):445-449.

[3] 李冰寒,高曉利,劉三陽(yáng),等.利用互信息學(xué)習(xí)貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)[J].智能系統(tǒng)學(xué)報(bào),2011,6(1):68-72.

[4] SPIRTES P G C,SCHEINES R,TILLMAN R.Automated Search for Causal Relations——Theory and Practice[EB/OL].(2010-11-21).http://repository.cmu.edu/philosophy/435/.

[5] CHICKERING D M.Learning Bayesian Networks is NP-Complete[J].Networks,1996,112(2):121-130.

[6] COOPER G F,HERSKOVITS E.A Bayesian Method for the Induction of Probabilistic Networks from Data[J].Machine Learning,1992,9(4):309-347.

[7] ALCOBé J R.Incremental Hill-climbing Search Applied to Bayesian Network Structure Learning[C]//Proceedings of the 15th European Conference on Machine Learning.Pisa,Italy:Springer,2004:301-311.

[8] LARRANAGA P,KUIJPERS C M H,MURGA R H,et al.Learning Bayesian Network Structures by Searching for the Best Ordering with Genetic Algorithms[J].IEEE Transactions on Systems Man & Cybernetics Part A Systems & Humans,1996,26(4):487-493.

[9] GHEISARI S,MEYBODI M R.BNC-PSO:Structure Learning of Bayesian Networks by Particle Swarm Optimization[J].Information Sciences,2016,348:272-289.

[10] 郭 童,林 峰.基于混合差分蜂群算法的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)[J].模式識(shí)別與人工智能,2014,27(6):540-545.

[11] CAMPOS L M D,FERNNDEZ-LUNA J M,GMEZ J A,et al.Ant Colony Optimization for Learning Bayesian Networks[J].International Journal of Approximate Reasoning,2002,31(3):291-311.

[12] MIRJALILI S.Moth-flame Optimization Algorithm:A Novel Nature-inspired Heuristic Paradigm[J].Knowledge-based Systems,2015,89:228-249.

[13] ALLAM D,YOUSRI D A,ETEIBA M B.Parameters Extraction of the Three Diode Model for the Multi-crystalline Solar Cell/module Using Moth-flame Optimization Algorithm[J].Energy Conversion & Management,2016,123:535-548.

[14] YAMANY W,FAWZY M,THARWAT A,et al.Moth-flame Optimization for Training Multi-layer Perceptrons[C]//Proceedings of International Computer Engineering Conference.Washington D.C.,USA:IEEE Press,2015:267-272.

[15] COOPER G F,HERSKOVITS E.A Bayesian Method for the Induction of Probabilistic Networks from Data[J].Machine Learning,1992,9(4):309-347.

[16] HECKERMAN D,DAN G,CHICKERING D M.Learning Bayesian Networks:The Combination of Knowledge and Statistical Data[J].Machine Learning,1995,20(3):197-243.

[17] LAM W,BACCHUS F.Learning Bayesian Belief Networks:An Approach Based on the MDL Principle[J].Computational Intelligence,1994,10(3):269-293.