競(jìng)爭(zhēng)算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)性能研究①

盧瀅宇

(寧波職業(yè)技術(shù)學(xué)院 公共教學(xué)部，寧波 315800)

BP神經(jīng)網(wǎng)絡(luò)是一種信號(hào)前向傳遞，誤差反向傳播的多層前饋神經(jīng)網(wǎng)絡(luò).由于強(qiáng)大的泛化能力，BP神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于模式分類[1-3]、故障診斷[4，5]及非線性擬合預(yù)測(cè)[6]等方面.但BP神經(jīng)網(wǎng)絡(luò)尚有以下不足:(1)初始權(quán)重與閾值隨機(jī)產(chǎn)生，導(dǎo)致網(wǎng)絡(luò)優(yōu)化不穩(wěn)定，輸出結(jié)果波動(dòng)較大.(2)通過(guò)梯度下降法訓(xùn)練修正權(quán)值閾值[7]，使得算法容易陷入局部最優(yōu)，全局搜索能力不強(qiáng).

為了克服上述問(wèn)題，眾多學(xué)者從各個(gè)角度對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，而將遺傳算法、粒子群算法、蜂群算法等群智能算法用于優(yōu)化BP神經(jīng)網(wǎng)絡(luò)成了研究的一大熱點(diǎn)[8-13].群智能算法往往原理簡(jiǎn)單，參數(shù)設(shè)置少，優(yōu)化結(jié)果較好，在資源分配、調(diào)度優(yōu)化、工程應(yīng)用等各領(lǐng)域都有應(yīng)用[14-16].但是群智能算法亦存在缺陷:遺傳算法全局搜索能力強(qiáng)，但收斂速度慢；粒子群算法參數(shù)個(gè)數(shù)少，但后期種群多樣性低，容易陷入局部最優(yōu)；蜂群算法流程相對(duì)復(fù)雜，局部開(kāi)發(fā)能力較弱；猴群算法搜索速度慢，求解精度不高.為了提高群智能算法的搜索與開(kāi)發(fā)能力，學(xué)者們從優(yōu)化參數(shù)[17]、反向搜索[18]、構(gòu)造混沌映射以開(kāi)發(fā)搜索區(qū)域[8]、鄰域內(nèi)增強(qiáng)局部搜索[11]、引入誘導(dǎo)過(guò)程[14]、復(fù)制新粒子進(jìn)行不同程度變異[19]等方式來(lái)提高尋優(yōu)能力，開(kāi)發(fā)種群多樣性，這些方法提高了原算法的計(jì)算精度，但是也使得算法流程變得復(fù)雜，計(jì)算量增加.

目前大多學(xué)者利用群智能算法來(lái)優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值與閾值，這亦存在如下問(wèn)題:通過(guò)群智能算法優(yōu)化的初始權(quán)值閾值，經(jīng)再次訓(xùn)練后作分類預(yù)測(cè)，由于訓(xùn)練過(guò)程中樣本順序的隨機(jī)性，導(dǎo)致訓(xùn)練的網(wǎng)絡(luò)不穩(wěn)定，優(yōu)化后預(yù)測(cè)精度提高不明顯，更好的方法是將整個(gè)優(yōu)化后的訓(xùn)練網(wǎng)絡(luò)保留下來(lái)，一方面可以降低訓(xùn)練成本，另一方面也能提高預(yù)測(cè)精度.針對(duì)BP神經(jīng)網(wǎng)絡(luò)與群智能算法的以上問(wèn)題，本文首先提出了一種新的算法--競(jìng)爭(zhēng)算法.這種算法的優(yōu)點(diǎn)在于參數(shù)設(shè)置少，流程簡(jiǎn)易，計(jì)算量小，且具有遠(yuǎn)高于粒子群算法的全局搜索能力，提高搜索精度.然后將此算法用于優(yōu)化BP神經(jīng)網(wǎng)絡(luò)，可以有效提高BP神經(jīng)網(wǎng)絡(luò)優(yōu)化性能，增強(qiáng)網(wǎng)絡(luò)的魯棒性.

1 算法原理及改進(jìn)

1.1 競(jìng)爭(zhēng)(PK)算法

在眾多群智能算法中，遺傳算法、粒子群算法以及蜂群算法是目前運(yùn)用較多的幾種算法.其中粒子群算法因其流程簡(jiǎn)明、參數(shù)少而廣泛受到學(xué)者的青睞.但粒子群算法也同其他群智能算法一樣，容易陷入局部最優(yōu).因此，改進(jìn)已有的算法或者尋找搜索能力更強(qiáng)的智能算法是眾多學(xué)者研究的焦點(diǎn).受粒子群算法啟發(fā)，我們給出一種新的算法，并為其命名為競(jìng)爭(zhēng)(PK)算法，該算法不僅流程簡(jiǎn)潔，參數(shù)較粒子群算法更少，且全局搜索能力強(qiáng)于粒子群算法.PK 算法的優(yōu)化流程如下:

(1)初始化.設(shè)定種群規(guī)模為N，首先隨機(jī)生成初始種群即N個(gè)個(gè)體，每個(gè)個(gè)體xi=(xi1,xi2,···,xiD)是一個(gè)D維向量，代表問(wèn)題的一個(gè)解.隨機(jī)生成每個(gè)個(gè)體對(duì)應(yīng)的初始速度vid=(vi1,vi2,···,vid)，并限定個(gè)體與速度的上下界[xmin,xmax]、[vmin,vmax].

(2)個(gè)體評(píng)價(jià).根據(jù)問(wèn)題計(jì)算每個(gè)個(gè)體的適應(yīng)度函數(shù)f(xi)以評(píng)價(jià)個(gè)體優(yōu)劣，并記錄最優(yōu)個(gè)體.

(3)對(duì)每個(gè)個(gè)體xi(稱之為主動(dòng)挑戰(zhàn)者)，隨機(jī)找另一個(gè)體xj(稱之為被動(dòng)挑戰(zhàn)者)來(lái)做PK.如果xi更優(yōu)，則通過(guò)向xi學(xué)習(xí)修正xj，反之修正xi.個(gè)體第d維修正公式如下:

修正主動(dòng)挑戰(zhàn)者xi:

修正被動(dòng)挑戰(zhàn)者xj:

其中，w1,w2分別為主動(dòng)挑戰(zhàn)者和被動(dòng)挑戰(zhàn)者的慣性權(quán)重.t表示個(gè)體迭代的代數(shù).確保個(gè)體與速度都在預(yù)定的上下界范圍內(nèi).

(4)如果達(dá)到終止條件則停止，否則返回(2).

從上述流程可以看出，競(jìng)爭(zhēng)算法只有w1，w2兩個(gè)參數(shù)，流程簡(jiǎn)單，主要只有PK 與修正兩種運(yùn)算，所以迭代計(jì)算量小.與粒子群算法相比，粒子群算法主要是向全局最優(yōu)及個(gè)體最優(yōu)的方向?qū)W習(xí)，所以容易陷入局部最優(yōu)；而競(jìng)爭(zhēng)算法每次的學(xué)習(xí)對(duì)象都是隨機(jī)產(chǎn)生的，能更好地保持種群的多樣性，從而更容易跳出局部最優(yōu).此外，每次都是PK 失敗的個(gè)體得到修正，這既保留了適應(yīng)度好的個(gè)體，也進(jìn)化了適應(yīng)度差的個(gè)體，有效提高了算法的收斂速度.

1.2 PK-BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)一般有1個(gè)輸入層、1個(gè)或多個(gè)隱含層，以及1個(gè)輸出層.優(yōu)化流程為:給定初始權(quán)值與閾值，在BP神經(jīng)網(wǎng)絡(luò)輸入層輸入向量，輸入向量經(jīng)與權(quán)值、閾值及激活函數(shù)做一定運(yùn)算后到達(dá)隱含層，再經(jīng)與權(quán)值、閾值及激活函數(shù)做一定運(yùn)算后到達(dá)輸出層，如果輸出層不能得到期望的輸出，則反向傳遞期望輸出與實(shí)際輸出的誤差，調(diào)整權(quán)值與閾值，重復(fù)此流程，不斷減少誤差.BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力強(qiáng)，能解決任意復(fù)雜的模式分類問(wèn)題和多維函數(shù)映射問(wèn)題.

BP神經(jīng)網(wǎng)絡(luò)自身存在一定的局限性，如優(yōu)化過(guò)程中容易陷入局部最優(yōu)值，且因?yàn)橛?xùn)練過(guò)程中訓(xùn)練樣本的輸入順序是隨機(jī)的，同一初始權(quán)值閾值下優(yōu)化出來(lái)的網(wǎng)絡(luò)性能存在差異.為了提升優(yōu)化精度，提高全局搜索能力，增強(qiáng)BP神經(jīng)網(wǎng)絡(luò)的魯棒性，采用競(jìng)爭(zhēng)算法來(lái)優(yōu)化BP神經(jīng)網(wǎng)絡(luò).其基本流程如下:

圖1 算法流程

具體實(shí)現(xiàn)步驟如下:

(1)設(shè)定競(jìng)爭(zhēng)算法參數(shù)，初始化種群，其中每個(gè)個(gè)體均表示BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值，個(gè)體維度的計(jì)算由式(5)計(jì)算:

其中，神經(jīng)網(wǎng)絡(luò)的隱含層個(gè)數(shù)為1，I、H、O分別為輸入層、隱含層、輸出層的神經(jīng)元個(gè)數(shù).

(2)利用競(jìng)爭(zhēng)算法優(yōu)化神經(jīng)網(wǎng)絡(luò)內(nèi)部權(quán)值、閾值.其中適應(yīng)度函數(shù)即為神經(jīng)網(wǎng)絡(luò)訓(xùn)練指定次數(shù)之后實(shí)際輸出值與期望輸出值的絕對(duì)誤差之和，在分類問(wèn)題里取分錯(cuò)類的總個(gè)數(shù).

(3)將最優(yōu)網(wǎng)絡(luò)保存下來(lái)使之形成“虛擬”函數(shù)，來(lái)作為高精度的預(yù)測(cè)網(wǎng)絡(luò)模型，進(jìn)一步用于分類預(yù)測(cè)，并評(píng)價(jià)測(cè)試集的分類正確率.

由于競(jìng)爭(zhēng)算法收斂速度快，高維度下全局收斂能力強(qiáng)，經(jīng)競(jìng)爭(zhēng)算法優(yōu)化后的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)性能高.不同于以往的利用群智能算法來(lái)優(yōu)化初始權(quán)值與閾值，而是利用優(yōu)化好的網(wǎng)絡(luò)直接加以預(yù)測(cè)，不僅能減少重新訓(xùn)練網(wǎng)絡(luò)所需的時(shí)間代價(jià)，而且利用最好的網(wǎng)絡(luò)狀態(tài)進(jìn)行分類預(yù)測(cè)，可以有效避免因重新訓(xùn)練時(shí)樣本順序的隨機(jī)性而導(dǎo)致的精度穩(wěn)定性不高問(wèn)題.

2 算法結(jié)果與分析

2.1 競(jìng)爭(zhēng)(PK)算法性能

為了測(cè)試PK 算法的性能，我們選取了10個(gè)常用的測(cè)試函數(shù)如表1所示，并在不同的維度與迭代次數(shù)下對(duì)PK 算法做精度測(cè)試并與帶慣性權(quán)重的粒子群算法運(yùn)算結(jié)果相比較.其中，PK 算法中w1=0.5，w2=0.7，粒子群算法中w=0.5，c1=c2=2(該參數(shù)下性能較好)，速度的上下界設(shè)定為個(gè)體上下界的20%.表2 是兩種算法的在30 次獨(dú)立運(yùn)算下的平均值、最小值及標(biāo)準(zhǔn)差.

表1 基準(zhǔn)函數(shù)

競(jìng)爭(zhēng)算法由于明確的目的性—提高適應(yīng)度，以及強(qiáng)化的學(xué)習(xí)性—在原有的基礎(chǔ)上向強(qiáng)者學(xué)習(xí)，因此收斂速度更快，而且因?yàn)楸惶魬?zhàn)者的選擇是隨機(jī)的，學(xué)習(xí)方向也多了隨機(jī)性，因此全局搜索能力能強(qiáng).從表2 可以看出，PK 算法對(duì)10個(gè)測(cè)試函數(shù)的平均值全部?jī)?yōu)于粒子群算法或者達(dá)到了全局最優(yōu).在高維空間中的優(yōu)越性更加明顯.尤其是40 維度下的f2、f3、f6、f9四個(gè)函數(shù)的，粒子群算法的收斂性能并不好，但PK 算法均能得到較好的優(yōu)化結(jié)果.對(duì)于30 次試驗(yàn)中搜索到的最小值，通過(guò)比較也可以發(fā)現(xiàn)，除了10 維度下的f2函數(shù)以及5 維度下的f5函數(shù)略遜于粒子群算法，PK 算法在這10個(gè)函數(shù)兩種維度下搜索到的最小值亦全部?jī)?yōu)于粒子群算法或者找到了全局最優(yōu)，其中有多個(gè)函數(shù)都能收斂到全局最優(yōu)0.關(guān)于標(biāo)準(zhǔn)差，除了40 維時(shí)的f4函數(shù)，其余函數(shù)下PK 算法的標(biāo)準(zhǔn)差均小于粒子群算法的標(biāo)準(zhǔn)差.因此說(shuō)明PK 算法的優(yōu)越性在數(shù)量級(jí)上較粒子群效果顯著，PK 算法的收斂速度更快，全局搜索能力更強(qiáng)，且穩(wěn)定性更好.

表2 PSO 和PK 對(duì)比實(shí)驗(yàn)結(jié)果

2.2 PK-BP神經(jīng)網(wǎng)絡(luò)算法性能

為了客觀地驗(yàn)證和分析PK-BP神經(jīng)網(wǎng)絡(luò)算法的有效性，選取了UCI 數(shù)據(jù)集上的11 組測(cè)試集測(cè)試了BP神經(jīng)網(wǎng)絡(luò)、PK-BP神經(jīng)網(wǎng)絡(luò)和用遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)(GA-BP)的分類準(zhǔn)確率.他們分別是Balance-scale，Iris，Cancer，Blood-transfusion，Banknote authentication，Mammographic messes，Seeds，User Knowledge Modeling，Wireless Indoor Localization，Wine，Zoo.這11 組測(cè)試集的基本信息如表3所示.將數(shù)據(jù)集中有缺失的樣本刪除，然后隨機(jī)抽取60%的樣本用于訓(xùn)練，余下40%的樣本作為測(cè)試集.

表3 數(shù)據(jù)集信息

作為比較，對(duì)用遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)(簡(jiǎn)記為GA-BP)進(jìn)行仿真.通過(guò)MATLAB R2016a 分別用BP神經(jīng)網(wǎng)絡(luò)、PK-BP神經(jīng)網(wǎng)絡(luò)以及GA-BP神經(jīng)網(wǎng)絡(luò)對(duì)這11個(gè)數(shù)據(jù)集進(jìn)行30 次獨(dú)立試驗(yàn).其中，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練次數(shù)均為5 次，學(xué)習(xí)速率為0.3，訓(xùn)練目標(biāo)最小誤差為0.0001，隱含層神經(jīng)元個(gè)數(shù)為6，傳遞函數(shù)為默認(rèn)的正切S 型及線性傳遞函數(shù).GA 和PK 算法的種群規(guī)模為20，迭代代數(shù)為50 代，PK 算法參數(shù)同前面，GA 算法交叉概率為0.3，變異概率為0.1.實(shí)驗(yàn)結(jié)果如表4所示.

從表4 可以看出，在這11個(gè)數(shù)據(jù)集上，PK-BP 與GA-BP 算法的平均準(zhǔn)確率均明顯高于BP神經(jīng)網(wǎng)絡(luò).且PK-BP 在8個(gè)測(cè)試集上平均值最高，GA-BP 在剩下的3個(gè)測(cè)試集上平均值最高.PK-BP 算法的分類正確率優(yōu)越性明顯，比B P 算法的正確率約提高了0.5%-7%.從分類準(zhǔn)確率的最大值這一項(xiàng)來(lái)看，BP 算法有6 次最大，PK-BP 算法有9 次最大，GA-BP 有5 次最大，說(shuō)明PK-BP 算法的全局尋優(yōu)能力最強(qiáng)；從標(biāo)準(zhǔn)差來(lái)看，BP 算法標(biāo)準(zhǔn)差最大，PK-BP 和GA-BP均有6 次達(dá)到最小，說(shuō)明PK-BP 與GA-BP的穩(wěn)定性都較好，均優(yōu)于BP神經(jīng)網(wǎng)絡(luò).綜上可知，PK-BP神經(jīng)網(wǎng)絡(luò)分類正確率高，尋優(yōu)能力強(qiáng)，且算法性能穩(wěn)定.

3 結(jié)論與展望

本文提出了一種參數(shù)少、尋優(yōu)能力強(qiáng)的競(jìng)爭(zhēng)算法(PK)，通過(guò)10個(gè)測(cè)試函數(shù)驗(yàn)證了這種算法具有較好的全局搜索能力和穩(wěn)定性.并將該算法應(yīng)入到優(yōu)化BP神經(jīng)網(wǎng)絡(luò)中，利用競(jìng)爭(zhēng)算法的搜索能力有效提高了BP神經(jīng)網(wǎng)絡(luò)的精度及魯棒性.結(jié)果表明:PK-BP 在11個(gè)測(cè)試集上的分類正確率更高，穩(wěn)定性更好.盡管競(jìng)爭(zhēng)算法已顯示出其優(yōu)越性，但算法尚未完善，可開(kāi)發(fā)能力還很高，在優(yōu)化神經(jīng)網(wǎng)絡(luò)時(shí)以計(jì)算時(shí)間為代價(jià)，下一步工作將對(duì)競(jìng)爭(zhēng)算法的性能及應(yīng)用進(jìn)一步進(jìn)行研究.

表4 30 次試驗(yàn)的正確率