改進(jìn)人工蜂群優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的分類研究

韋鵬宇，潘福成，李 帥

1.無(wú)錫中科泛在信息技術(shù)研發(fā)中心有限公司，江蘇 無(wú)錫 214135

2.中國(guó)科學(xué)院大學(xué)，北京 100049

3.中國(guó)科學(xué)院 沈陽(yáng)自動(dòng)化研究所，沈陽(yáng) 110016

4.中國(guó)科學(xué)院 物聯(lián)網(wǎng)研究發(fā)展中心，江蘇 無(wú)錫 214135

1 引言

BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)[1]是按照誤差反向傳播進(jìn)行訓(xùn)練的多層前饋（Multilayer feed-forward）神經(jīng)網(wǎng)絡(luò),是應(yīng)用最廣泛的人工神經(jīng)網(wǎng)絡(luò)模型。但是BP神經(jīng)網(wǎng)絡(luò)尚有如下不足：（1）BP算法是隨機(jī)梯度下降算法[2]，全局搜索能力差，容易陷入局部最優(yōu)；（2）BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值是隨機(jī)而來(lái)[3]，進(jìn)而造成結(jié)果波動(dòng)范圍比較大，魯棒性低。

為了克服這些缺點(diǎn)，諸多學(xué)者引入群智能算法對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行了改進(jìn)，有代表性的是蟻群算法[4]（Ant Colony Optimization，AOC）、粒子群算法[5]（Particle Swarm Optimization，PSO）和遺傳算法[6]（Genetic Algorithm，GA）。但是它們存在許多缺點(diǎn)，其中ACO算法尋優(yōu)比較盲目，收斂速度慢；由于信息素更新能力有限，算法容易陷入局部最優(yōu)解；當(dāng)問(wèn)題規(guī)模增大時(shí)，算法效率明顯下降；PSO算法在迭代后期難以保持種群多樣性，容易陷入局部最優(yōu)解，且搜索精度不高；GA算法易早熟收斂，在迭代后期收斂速度慢。

人工蜂群[7]（Artificial Bee Colony，ABC）算法是由Karaboga在2005年比較系統(tǒng)地提出的，它是一種基于蜜蜂采蜜行為的優(yōu)化算法，其主要優(yōu)點(diǎn)是全局尋優(yōu)能力強(qiáng)；能利用蜜蜂之間尋優(yōu)的正反饋機(jī)制均有效加快全局尋優(yōu)過(guò)程，尤其適用于求解組合優(yōu)化和連續(xù)優(yōu)化以及復(fù)雜的優(yōu)化問(wèn)題[8]。然而，標(biāo)準(zhǔn)ABC算法存在局部探索能力較差，開發(fā)能力弱等問(wèn)題。

針對(duì)神經(jīng)網(wǎng)絡(luò)和人工蜂群的缺點(diǎn)，本文提出一種基于改進(jìn)人工蜂群和誤差反向傳播的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法——IABC-BP（Improved Artificial Bee Colony and Back Propagation）。首先，根據(jù)跟隨蜂到某一位置后，先在附近尋找最優(yōu)蜜源這一習(xí)性來(lái)增強(qiáng)局部探索能力。其次，用全局最優(yōu)來(lái)引導(dǎo)跟隨蜂的搜索軌跡，增強(qiáng)開發(fā)能力。最后，用改進(jìn)的人工蜂群全局搜索神經(jīng)網(wǎng)絡(luò)的初始權(quán)重，防止神經(jīng)網(wǎng)絡(luò)陷入局部最優(yōu)。用新的方法對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練進(jìn)行分類，實(shí)驗(yàn)結(jié)果表明，該算法相對(duì)于標(biāo)準(zhǔn)的BP神經(jīng)網(wǎng)絡(luò)，有效提高了分類正確率，泛化能力較強(qiáng)。

2 人工蜂群算法原理及改進(jìn)

2.1 人工蜂群算法

人工蜂群算法在求解最小值優(yōu)化問(wèn)題時(shí),將優(yōu)質(zhì)蜜源的位置抽象成優(yōu)化問(wèn)題的可行解，人工蜂群尋找蜜源的過(guò)程就是算法搜尋最優(yōu)解的過(guò)程。該算法把人工蜂群分為雇傭蜂、跟隨蜂和偵查蜂3種角色，群體的一半由雇傭蜂構(gòu)成，另一半由跟隨蜂構(gòu)成，每一處蜜源僅僅有一個(gè)雇傭蜂，偵查蜂由進(jìn)化停滯的雇傭蜂轉(zhuǎn)化而來(lái)，蜜源的含蜜量則對(duì)應(yīng)優(yōu)化問(wèn)題的適應(yīng)度值，算法通過(guò)三種蜜蜂之間的相互協(xié)作來(lái)實(shí)現(xiàn)對(duì)最優(yōu)蜜源的搜索過(guò)程。蜂群的搜索過(guò)程如下。

（1）初始化：設(shè)ABC算法生成了SN個(gè)解，每個(gè)解Xi(i=1,2,…,SN)是一個(gè)D維向量，每個(gè)可行解對(duì)應(yīng)一個(gè)蜜源。蜜源i的初始值依照式（1）在搜索空間隨機(jī)產(chǎn)生。

其中，xij∈(Lmin,Lmax)，Lmin和Lmax分別表示搜索空間的最小值和最大值 j∈(1 ,2,…,D )。

（2）雇傭蜂負(fù)責(zé)全局搜索：依次對(duì)雇傭蜂中每個(gè)蜜源進(jìn)行更新操作，即隨機(jī)選擇蜜源Xi中任意的一維分量按式（2）進(jìn)行變異，產(chǎn)生新蜜源。

其中，Xk是隨機(jī)選取的一個(gè)蜜源，k∈(1 ,2,…,SN ) ；j∈(1 ,2,…,D )是隨機(jī)選取的，且k≠i；φ∈[- 1,1]是控制搜索步長(zhǎng)的隨機(jī)數(shù)。在產(chǎn)生新的候選蜜源后，計(jì)算其適應(yīng)度。雇傭蜂采用貪婪原則在和xij之間進(jìn)行選擇：如果新蜜源的適應(yīng)度值高于原蜜源xij，則以替換 xij，否則保持 xij不變，并且記錄 xij的更新失敗次數(shù)加1。

（3）跟隨蜂局部搜索：當(dāng)雇傭蜂搜索完成后，它們把蜜源信息分享給跟隨蜂，跟隨蜂根據(jù)花蜜量，按照概率pi選擇蜜源位置，選定蜜源之后，在其附近按照式（2）搜索出新的蜜源，并根據(jù)貪婪原則選擇蜜源。

其中，fit(Xi)為蜜源i的適應(yīng)度，f(x)是人工蜂群優(yōu)化的目標(biāo)函數(shù)。

（4）偵查蜂處理進(jìn)化失敗的蜜源：如果某個(gè)解Xi經(jīng)過(guò)指定的limit次循環(huán)沒(méi)有得到改善,則該解對(duì)應(yīng)的雇傭蜂轉(zhuǎn)變?yōu)閭刹榉?通過(guò)式（1）產(chǎn)生一個(gè)新解來(lái)代替該解，并計(jì)算它的適應(yīng)度。然后返回到雇傭蜂階段，開始下一輪迭代。

2.2 改進(jìn)的人工蜂群算法

實(shí)際的蜜蜂采蜜過(guò)程中，當(dāng)雇傭蜂把蜜源信息分享給跟隨蜂后，跟隨蜂來(lái)到這個(gè)區(qū)域，會(huì)選擇這個(gè)區(qū)域中最合適的蜜源，因此跟隨蜂和雇傭蜂在尋找蜜源的方式上不同。Zhu等[9]學(xué)者指出在ABC搜索公式（2）中，由于φ∈[- 1,1]是隨機(jī)數(shù)且xkj為隨機(jī)選取的種群中的個(gè)體的一個(gè)分量，使得該搜索方程具有較好的探索能力，卻忽略了算法的開發(fā)能力，于是受粒子群算法的啟發(fā)，他們提出如下的搜索公式：

其中，k和 j的選取與式（2）相同；uij為[0，1.5]之間的隨機(jī)數(shù)；Xbest為整個(gè)蜂群搜索到的最優(yōu)蜜源位置。可以看出，受粒子群?jiǎn)l(fā)的搜索方程式（5）由于有最優(yōu)位置Xbest的引導(dǎo)，在保證算法的探索能力的同時(shí)也在一定程度上提高了算法的開發(fā)能力。為了進(jìn)一步提高算法的開發(fā)能力，高衛(wèi)峰等[10]受差分進(jìn)化算法的啟發(fā)，提出如下的搜索方程：

其中，Xk是從當(dāng)前蜂群中隨機(jī)選取的不同于Xi的蜜源，Xbest為整個(gè)蜂群搜索到的最優(yōu)蜜源位置，φ∈[0 , 1]為隨機(jī)數(shù)。與式（2）相比，公式（6）由最優(yōu)位置引導(dǎo)蜂群搜索軌跡并僅在最優(yōu)位置附近產(chǎn)生新的候選解，從而大大提高了算法的開發(fā)能力，但是忽略了算法的探索能力。在實(shí)際的蜜蜂采蜜活動(dòng)中，跟隨蜂在第一次到達(dá)某一區(qū)域后會(huì)根據(jù)蜂蜜量尋找這一區(qū)域內(nèi)的最優(yōu)位置。為了平衡算法探索能力和開發(fā)能力，本文跟隨蜂的搜索方程采用公式（7）來(lái)描述。

其中，k,j,uij和 Xbest的選取與式（5）相同，Ni是 Xi的鄰域，是Xi鄰域中的最優(yōu)解。式（7）是在鄰域最優(yōu)解的附近產(chǎn)生的候選解，與式（2）相比更加符合蜜蜂的實(shí)際活動(dòng)，增強(qiáng)了算法的開發(fā)能力，防止算法陷入局部最優(yōu)，與式（5）相比，保留了算法的開發(fā)能力，也增加了算法的探索能力。在計(jì)算過(guò)程中，采用歐氏距離來(lái)尋找鄰域，Xi到其余所有解的平均半徑mi用公式（8）表示，dij表示 Xi和 Xj的歐氏距離，只要 dij＜mi就可認(rèn)為Xj∈Ni。假設(shè)Ni中共有S個(gè)解，其中也包含Xi，適應(yīng)度最大解就是，其計(jì)算公式如式（9）所示。

改進(jìn)的人工蜂群算法——IABC，從實(shí)際情況出發(fā)，改進(jìn)跟隨蜂搜索方程，增強(qiáng)了局部探索能力，同時(shí)也能提高開發(fā)能力。

3 改進(jìn)人工蜂群優(yōu)化BP神經(jīng)網(wǎng)絡(luò)

3.1 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是由一個(gè)輸入層、一個(gè)或多個(gè)隱含層和一個(gè)輸出層組成[11]，每層由神經(jīng)元組成。典型的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

在BP網(wǎng)絡(luò)中輸入向量X=(x1,x2,…,xn)，隱含層各神經(jīng)元輸入由式（10）計(jì)算：

其中，wih是輸入層第i個(gè)神經(jīng)元和隱藏層第h個(gè)神經(jīng)元之間的權(quán)值，θh是隱藏層第h個(gè)神經(jīng)元的閾值。隱含層各神經(jīng)元的輸出由公式（11）計(jì)算：

同理，輸出層各神經(jīng)元的輸出為yoo。

輸出層所有神經(jīng)元的誤差平方和是BP算法優(yōu)化的目標(biāo)函數(shù)值，由式（12）計(jì)算：

其中，do表示輸出層神經(jīng)元O的期望輸出值。根據(jù)梯度下降法，輸出層各神經(jīng)元的誤差由公式（13）得到：

輸出層的權(quán)值和閾值可以通過(guò)公式（14）和公式（15）調(diào)整：

其中，?∈[0 , 1]是學(xué)習(xí)率，反映的是訓(xùn)練學(xué)習(xí)的速度。同理，可得隱含層的權(quán)值和閾值。

如果不能從輸出層得到期望的結(jié)果，它需要不斷調(diào)整權(quán)值和閾值，逐漸使誤差變小。BP神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的自學(xué)習(xí)能力，并能迅速獲得最優(yōu)解。

3.2 IABC-BP算法

在用改進(jìn)的人工蜂群優(yōu)化BP神經(jīng)網(wǎng)絡(luò)過(guò)程中，優(yōu)化的對(duì)象為網(wǎng)絡(luò)的權(quán)值和閾值，網(wǎng)絡(luò)的結(jié)構(gòu)和文獻(xiàn)[12]的相同。人工蜂群的目標(biāo)函數(shù)值為樣本的預(yù)測(cè)值和實(shí)際值的均方誤差MSE（Mean Square Error），當(dāng)MSE越小，蜜源的適應(yīng)度就越大。選取使適應(yīng)度最大的蜜源，然后用這組權(quán)值和閾值初始化神經(jīng)網(wǎng)絡(luò)，用BP算法訓(xùn)練網(wǎng)絡(luò)，然后對(duì)測(cè)試樣本進(jìn)行分類。人工蜂群蜜源的維數(shù)由公式（16）計(jì)算可得：

其中，I、H、O分別是輸入層神經(jīng)元個(gè)數(shù)、隱含層神經(jīng)元個(gè)數(shù)、輸出層神經(jīng)元個(gè)數(shù)。改進(jìn)的人工蜂群優(yōu)化BP神經(jīng)的流程圖如圖2所示。

具體實(shí)現(xiàn)步驟如下：

（1）設(shè)定改進(jìn)人工蜂群的參數(shù)，使用公式（1）初始化SN個(gè)蜜源，即SN組BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值。

（2）進(jìn)入循環(huán)階段直到達(dá)到最大循環(huán)次數(shù)。

（3）雇傭蜂使用公式（2）搜索新的蜜源，對(duì)新的蜜源使用BP算法計(jì)算目標(biāo)函數(shù)值，然后使用公式（4）計(jì)算新的蜜源的適應(yīng)度，并根據(jù)貪婪原則選擇新舊蜜源。

（4）使用公式（3）計(jì)算每個(gè)蜜源被選擇的概率，跟隨蜂選定蜜源后，使用公式（7）搜索新的蜜源，然后對(duì)新的蜜源使用BP算法計(jì)算目標(biāo)函數(shù)值，然后使用公式（4）計(jì)算新的蜜源的適應(yīng)度，并根據(jù)貪婪原則選擇新舊蜜源。

（5）如果全局最優(yōu)蜜源的目標(biāo)函數(shù)值滿足最小的MSE或者兩次MSE之差小于某個(gè)定值，則進(jìn)入步驟（8）。

（6）偵查蜂處理進(jìn)化失敗的蜜源。

圖2 IABC-BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

（7）如果達(dá)到最大循環(huán)次數(shù)，則進(jìn)入步驟（8），否者進(jìn)入步驟（3）。

（8）用最優(yōu)蜜源初始化神經(jīng)網(wǎng)絡(luò)，然后使用BP算法訓(xùn)練網(wǎng)絡(luò)。

（9）將測(cè)試集進(jìn)行分類，評(píng)價(jià)測(cè)試集的分類錯(cuò)誤率。

4 實(shí)驗(yàn)結(jié)果與分析

本文采用WEKA數(shù)據(jù)挖掘平臺(tái)進(jìn)行仿真，運(yùn)行環(huán)境為Intel?CoreTMi5-2310 2.9處理器，2.89 GHz主頻以及 3.34 GB內(nèi)存，操作系統(tǒng)是Ubuntu16.04。

4.1 IABC的結(jié)果與分析

為了測(cè)試本文提出的改進(jìn)的人工蜂群算法的性能以及先進(jìn)性，選取10個(gè)常用的測(cè)試函數(shù)如表1所示，其中函數(shù)1～5為單峰值函數(shù)，函數(shù)6～10是多峰值函數(shù)，將這10個(gè)函數(shù)分別用ABC、GABC和IABC進(jìn)行測(cè)試對(duì)比。算法的參數(shù)設(shè)置為：蜂群規(guī)模為100，最大循環(huán)次數(shù)為1 000，蜂群進(jìn)化失敗最大值為100，維數(shù)為50。表2是在相同的測(cè)試條件下，三種算法的測(cè)試結(jié)果，其中Best、Worst、Mean和Std[10]分別為算法獨(dú)立實(shí)驗(yàn)30次的最優(yōu)值、最差值、平均值和標(biāo)準(zhǔn)差，Best和Worst反映了解的質(zhì)量，Std反映了算法的魯棒性和穩(wěn)定性。

從表2中可以看出，IABC算法在函數(shù) f1、f2、f5、f6、f7、f8、f9、f10上表現(xiàn)顯著，和ABC以及GABC相比精度提高了103～107倍，在函數(shù) f3和 f4上精度提高了2倍，同時(shí)在穩(wěn)定性上也都大幅提高。本文提出的IABC算法能夠在高維上對(duì)目標(biāo)函數(shù)進(jìn)行優(yōu)化，并且相比于現(xiàn)有的優(yōu)秀算法改進(jìn)效果明顯，達(dá)到了預(yù)期的結(jié)果。

4.2 IABC-BP神經(jīng)網(wǎng)絡(luò)的結(jié)果與分析

為了客觀地比較和分析IABC-BP神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)的分類效果，本文采用UCI機(jī)器學(xué)習(xí)庫(kù)[13]中的8組數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，它們分別是Breast Cancer、Heart Disease、Pima Diabetes、Iris、Breast Tissue、Blood Transfusion Service Center、Banknote Authentication 和Climate Model Simulation Crashes。這8組數(shù)據(jù)集的樣本個(gè)數(shù)、屬性個(gè)數(shù)和類別個(gè)數(shù)如表3所示。其中將每個(gè)數(shù)據(jù)集中的40%的樣本作為測(cè)試集，40%的樣本作為訓(xùn)練集，20%的樣本作為驗(yàn)證集[14]，驗(yàn)證集是為了防止過(guò)擬合。

表1 測(cè)試函數(shù)

表2ABC，GABC和IABC的對(duì)比實(shí)驗(yàn)結(jié)果

表3 數(shù)據(jù)集信息

將這8個(gè)數(shù)據(jù)集分別用IABC-BP神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)進(jìn)行10次獨(dú)立的測(cè)試。算法的參數(shù)設(shè)置為：蜂群規(guī)模為20，蜂群最大循環(huán)次數(shù)為100，神經(jīng)網(wǎng)絡(luò)最大訓(xùn)練次數(shù)為500，學(xué)習(xí)率為0.3，隱含層神經(jīng)元的個(gè)數(shù)為6，激活函數(shù)為S型函數(shù)，兩次MSE之差小于10－4時(shí)，跳出循環(huán)。統(tǒng)計(jì)10次測(cè)試的平方根誤差的均值MRMSE（Mean of Root Mean Square Error）、絕對(duì)平均誤差的均值 MMAE（Mean of Mean Absolute Error）、平均運(yùn)行時(shí)間ART（Average Running Time）以及分類正確率中的最好值Best、最差值Worst和平均值Mean。實(shí)驗(yàn)結(jié)果如表4和表5所示。

表4IABC-BP和BP的MRMSE、MMAE和ART

表5 IABC-BP和BP的分類正確率%

由表4和表5可知，在8個(gè)數(shù)據(jù)集上，IABC-BP在MRMSE和MMAE上比BP提高了10－3～10－2倍。 IABC-BP的分類正確率的平均值明顯高于BP的分類正確率的平均值，大約提高了1%～3%。在Heart、Diabetes、Iris和Transfusion數(shù)據(jù)集上IABC-BP的Best值相比于BP提高了約1%～2%，在其余數(shù)據(jù)集上持平，表明IABC-BP的全局尋優(yōu)能力高于BP的全局尋優(yōu)能力。在所有數(shù)據(jù)集上，IABC-BP的Worst值高于BP的值，表明IABC-BP比BP在尋優(yōu)能力上更加穩(wěn)定，跳出局部最優(yōu)的能力比較強(qiáng)。本文提出的IABC-BP算法的尋優(yōu)能力和精度都比BP算法好。

IABC-BP是在ABC算法的基礎(chǔ)上對(duì)BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值做優(yōu)化，表4中IABC-BP的ART都比BP的ART要高。BP和IABC-BP的時(shí)間復(fù)雜度分別由公式（17）和（18）表示：

其中，M是循環(huán)次數(shù)，N是樣本個(gè)數(shù)，n1、n2、n3分別是輸入層、隱含層和輸出層的節(jié)點(diǎn)個(gè)數(shù)。SN是蜂群個(gè)數(shù)，D是維數(shù)。IABC-BP的時(shí)間復(fù)雜度是BP的M×SN倍，IABC-BP以提高時(shí)間復(fù)雜度為代價(jià)來(lái)提高分類正確率。

5 結(jié)束語(yǔ)

本文提出了一種改進(jìn)的人工蜂群算法，優(yōu)化了跟隨蜂的搜索行為，使算法更符合現(xiàn)實(shí)蜂群的采蜜行為，提高了人工蜂群算法的探索能力和開發(fā)能力。將改進(jìn)的人工蜂群引入到BP神經(jīng)網(wǎng)絡(luò)中，利用人工蜂群的全局尋優(yōu)能力有效防止了目標(biāo)函數(shù)陷入局部最優(yōu)，使算法具有較好的分類效果，較強(qiáng)的魯棒性。下一步工作將進(jìn)一步優(yōu)化BP網(wǎng)絡(luò)的結(jié)構(gòu)，使分類效果更加顯著，同時(shí)選取合適的參數(shù)來(lái)降低計(jì)算復(fù)雜度。

：

[1]Rumelhart D E，Hinton G E，Williams R J.Learning representations by back-propagating errors[J].Nature，1986，323：533-536.

[2]Lee H K H.Model selection for neural network classification[J].Journal of Classification，2001，18（2）：227-243.

[3]王燕妮，樊養(yǎng)余.改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的自適應(yīng)預(yù)測(cè)算法[J].計(jì)算機(jī)工程與應(yīng)用，2010，46（17）：23-26.

[4]裴振兵，陳雪波.改進(jìn)蟻群算法及在車輛運(yùn)輸調(diào)度中的應(yīng)用[J].信息與控制，2015，44（6）：753-758.

[5]周利軍，彭衛(wèi)，鄒芳，等.自適應(yīng)變異粒子群算法[J].計(jì)算機(jī)工程與應(yīng)用，2016，52（7）：50-55.

[6]肖志權(quán)，崔玲麗.基于遺傳算法的柔性機(jī)械臂的同時(shí)優(yōu)化設(shè)計(jì)[J].機(jī)器人，2004，26（2）.

[7]Karaboga D.An idea based on honey bee swarm for numerical optimization，Technical Report-TR06[R].Engineering Faculty Erciyes University，2005.

[8]Karaboga D，Basturk B.A powerful and efficient algorithm for numerical function optimization：Artificial Bee Colony（ABC） algorithm[J].Journal of Global Optimization，2007，39.

[9]Zhu G，Kwong S.Gbest-guided artificial bee colony algorithm for numerical function optimization[J].Applied Mathematics and Computation，2010，217（7）：3166-3173.

[10]Gao W F，Liu S Y.A modified artificial bee colony algorithm[J].Computers&Operations Research，2012，39（3）：687-697.

[11]謝文蘭，石躍祥，肖平.應(yīng)用BP神經(jīng)網(wǎng)絡(luò)對(duì)自然圖像分類[J].計(jì)算機(jī)工程與應(yīng)用，2010，46（2）：163-166.

[12]Bullinaria J A.Yahya K A.Artificial Bee Colony training of neural networks：comparison with back-propagation[J].Memetic Comp，2014，6：171-182.

[13]Sarangi P P，Sahu A，Panda M.Training a feed-forward neural network using artificial bee colony with backpropagation algorithm[J].Advancesin IntelligentSystems&Computing，2014，243：511-519.

[14]Prechelt L P.A set of neural network benchmark problems and benchmarking rules，Technical Report 21[R].Fakult AatfAur Informatik University，Karlsruhe，Germany，1994.