改進(jìn)神經(jīng)網(wǎng)絡(luò)BP算法及其應(yīng)用

李越男 徐振平 馬心池

摘要：BP神經(jīng)網(wǎng)絡(luò)由于其結(jié)構(gòu)簡單、能夠自適應(yīng)、自己學(xué)習(xí)，有著優(yōu)越的非線性映射能力，使得它成為當(dāng)下神經(jīng)網(wǎng)絡(luò)應(yīng)用中最為面面俱到的一種。但從數(shù)學(xué)角度看，標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)采用最速梯度下降法，所以收斂的速度較為緩慢，輕易就會陷入局部極小得不到全局最優(yōu)、訓(xùn)練次數(shù)要達(dá)到一定的數(shù)量、學(xué)習(xí)效率不容樂觀等缺點(diǎn)。文章以BP神經(jīng)網(wǎng)絡(luò)作為研究對象，從四個方面來介紹BP神經(jīng)網(wǎng)絡(luò)的整體框架，首先對BP網(wǎng)絡(luò)的原理和實(shí)現(xiàn)步驟進(jìn)行了系統(tǒng)概述，其次針對其缺點(diǎn)提出了從增加動量項、自適應(yīng)調(diào)節(jié)學(xué)習(xí)率和優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)方法，再次介紹BP算法相關(guān)的應(yīng)用領(lǐng)域，最后進(jìn)行總結(jié)。

關(guān)鍵詞：PB算法;學(xué)習(xí)率;誤差;梯度下降法

中圖分類號：TP311? ? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2022）11-0086-02

1 引言

BP（Back Propagation） 網(wǎng)絡(luò)[1]在1986年，由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP神經(jīng)網(wǎng)絡(luò)是一種按誤差反向傳播（簡稱誤差反傳）訓(xùn)練的多層前饋網(wǎng)絡(luò)，把這個算法稱為BP算法。

BP算法包括信號的正向傳播和誤差的反向傳播兩個過程。信號的前向傳播從輸入層經(jīng)過隱含層到輸出層得到一個正向傳播的預(yù)測值。若預(yù)測值和實(shí)際值不相符合，則進(jìn)行反向傳播，誤差由輸出層經(jīng)過隱含層向輸入層反向傳播，根據(jù)誤差值修改權(quán)重，繼續(xù)迭代不斷修改權(quán)重，直到達(dá)到最優(yōu)。標(biāo)準(zhǔn)BP算法采用的是最速梯度下降，存在收斂數(shù)度慢，容易陷入局部極小、訓(xùn)練次數(shù)多、學(xué)習(xí)效率低等缺點(diǎn)。

由于BP算法自身存在的缺點(diǎn)，不少學(xué)者也對BP算法做出了大量的研究，如可以使BP神經(jīng)網(wǎng)絡(luò)進(jìn)行動態(tài)的全參數(shù)自調(diào)整學(xué)習(xí)[2]，將動量法和批處理方法結(jié)合對BP算法改進(jìn)[3]。本文主要針對標(biāo)準(zhǔn)反向傳播BP算法結(jié)構(gòu)原理、實(shí)現(xiàn)步驟、改進(jìn)方式及其應(yīng)用這四個方向進(jìn)行深入研究。對于BP算法所存在的缺點(diǎn)，討論從不同的方向上的改進(jìn)措施。旨在讓讀者更好地了解與應(yīng)用BP算法，并能做出進(jìn)一步的深入研究。

2 反向傳播BP算法的原理與實(shí)現(xiàn)步驟

反向傳播的BP算法的基本思想就是通過計算輸出層與期望值之間的誤差來調(diào)整網(wǎng)絡(luò)參數(shù)，從而使得誤差變小。它的基本原理是梯度最速下降法，它的中心思想是調(diào)整權(quán)值使網(wǎng)絡(luò)總誤差最小。

多層網(wǎng)絡(luò)運(yùn)用BP學(xué)習(xí)算法時，實(shí)際上包含了正向和反向傳播兩個階段。將誤差信號沿原來的連接通道返回，通過修改各層神經(jīng)元的權(quán)值，使誤差信號最小。也就是說神經(jīng)網(wǎng)絡(luò)是一種求解權(quán)重w的算法，分為信號“正向傳播（EP） ”求損失，也就是求得預(yù)測值和實(shí)際值之間的差值。“反向傳播（BP） ”傳回誤差，根據(jù)誤差值修改每層的權(quán)重w，繼續(xù)迭代。其中每一個神經(jīng)元都經(jīng)過了線性變化和激活函數(shù)的變換。

BP網(wǎng)絡(luò)由輸入層、隱藏層、輸出層組成。以三層感知器為例，其結(jié)構(gòu)如圖1。

BP算法-EP過程：

在正向傳播過程中，輸入信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望輸出，則轉(zhuǎn)入反向傳播。

其中輸出層A1～An是特征屬性，也可以進(jìn)行多項式的擴(kuò)展，如A2。隱層中每一個節(jié)點(diǎn)都是一個神經(jīng)元，神經(jīng)元M-P模型包含兩個部分如圖2所示，神經(jīng)元包含[w]x+b的線性變換和f（wx+b）的激活函數(shù)轉(zhuǎn)換兩個部分。激活函數(shù)的變化乘以其對應(yīng)的權(quán)重作為，下一層神經(jīng)元的輸入。輸出層的節(jié)點(diǎn)也是包含這兩部分。最后Z1～Zk就是經(jīng)過正向傳播函數(shù)變換后輸出的預(yù)測值。

① s是實(shí)際值;Z為預(yù)測值;則s-Z為誤差;[w]為某個節(jié)點(diǎn)的權(quán)重;y表示某個節(jié)點(diǎn)的輸出;m個神經(jīng)元

② 1～l個輸出層節(jié)點(diǎn)的誤差之和，也就是神經(jīng)網(wǎng)絡(luò)輸出層的整體誤差。

③ 輸出層誤差向前進(jìn)行回傳，輸出層節(jié)點(diǎn)進(jìn)行[fnetk]激活函數(shù)的變換，則將[Z]=[fnetk]帶入（1） 式后得到（2） 式。

④ 反向傳播過程中，根據(jù)神經(jīng)元的線性變化和激活函數(shù)的變換可以得出：

[Zk]=[fnetk]=[fj=1mwjkyj]=[fj=0mwjkfnetj]=[fj=0mwjkfi=1nvijxi]?（4）

⑤ 為了使誤差E越來越小，可以采用隨機(jī)梯度下降算法進(jìn)行[w]和[v]的求解，即讓求出的w和[v]使誤差E最小，[η]是初始化時給定的固定學(xué)習(xí)率。

[Δwjk=-η?E?wjk? j=0，1，2，…，m;k=1，2，…，l]? （5）

[Δvij=-η?E?viji=0，1，2，…，n;j=1，2，…，m]? （6）

3 BP算法的改進(jìn)方向

由于標(biāo)準(zhǔn)BP算法采用的是最速梯度下降，因此存在收斂數(shù)度慢，容易陷入局部極小得不到全局最優(yōu)、訓(xùn)練次數(shù)多、學(xué)習(xí)效率低等缺點(diǎn)。查看相關(guān)文獻(xiàn)，國內(nèi)外已經(jīng)提出了不少改進(jìn)算法，針對其缺點(diǎn)，比較具有代表性的改進(jìn)方法有增加動量項、自適應(yīng)調(diào)節(jié)學(xué)習(xí)率和優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)等。

增加動量項改進(jìn)BP算法，主要是針對誤差曲面可能會出現(xiàn)又窄又深曲線引起訓(xùn)練中的誤差來回震動。增加動量項公式如下：

[Δwt=ηδX+aΔwt-1] （7）

[α]為動量系數(shù)，一般有[α∈0，1]

權(quán)值[w]的修正由兩部分組成，第一，是由當(dāng)前的梯度所決定，權(quán)值修正量[Δwt]和誤差信號成正比和某層的輸入X成正比。第二，是與上一次的修正量[wt-1]確定，而上一次的修正量取多少呢？取[α∈0，1]，公式后面一項叫作動量項，其阻力作用，可以減少訓(xùn)練中震蕩次數(shù)，增加收斂速度。

自適應(yīng)調(diào)節(jié)率改進(jìn)BP算法，針對初始化時給定的學(xué)習(xí)率[η]在整個實(shí)驗過程中不變，但誤差曲面較為平坦時，希望權(quán)值W調(diào)節(jié)得更快一些，對學(xué)習(xí)率[η]進(jìn)行調(diào)節(jié)。由于[η]和梯度成正比，所以設(shè)一初始學(xué)習(xí)率，若經(jīng)過一批次權(quán)值調(diào)整后使總誤差增大，則本次調(diào)整無效，且[η=ηββ<1];若經(jīng)過一批次權(quán)值調(diào)整后使總誤差減小，則本次調(diào)整有效，且[η=θηθ>1]。

優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)BP算法，是針對隱含層的層數(shù)與隱節(jié)點(diǎn)的個數(shù)。實(shí)際求解問題時，網(wǎng)絡(luò)輸入層和輸出層節(jié)點(diǎn)個數(shù)一般根據(jù)問題的性質(zhì)設(shè)定好了，但是隱節(jié)點(diǎn)的個數(shù)如何選擇，還是缺乏理論指導(dǎo)，往往根據(jù)經(jīng)驗的積累和試探的方法。實(shí)踐證明，對于簡單的映射關(guān)系，在網(wǎng)絡(luò)精度達(dá)到要求的情況下，選擇少量的隱含層層數(shù);對于復(fù)雜的映射關(guān)系，可以通過增加隱含層層數(shù)來確保映射關(guān)系的正確實(shí)現(xiàn)。

查閱相關(guān)文獻(xiàn)，BP神經(jīng)網(wǎng)絡(luò)與遺傳算法、進(jìn)化計算、人工免疫算法、模擬退火算法等新的算法進(jìn)行結(jié)合，提出了一些新的混合算法，還有將BP算法和模糊數(shù)學(xué)相結(jié)合突出模糊神經(jīng)網(wǎng)絡(luò)。這些結(jié)合使得BP算法進(jìn)一步得到發(fā)展。

4 BP算法的應(yīng)用

近年來，BP算法在多個領(lǐng)域都獲得了較好的發(fā)展。與其他學(xué)科技術(shù)相融合，對二者都有非常好的良性循環(huán)，如在土木工程應(yīng)用中，對受損結(jié)構(gòu)進(jìn)行受損與否和受損部位定位與檢測等;在電力工業(yè)應(yīng)用中，對光伏發(fā)電系統(tǒng)輸出功率短期預(yù)測模型[4];在化工學(xué)科中，在牽扯到非線性因素建模時的表現(xiàn)優(yōu)異;在預(yù)測模型中，對多種情況的數(shù)據(jù)預(yù)測都體現(xiàn)了它的優(yōu)勢所在，對不動產(chǎn)業(yè)售價與熱度評估，對影響因素與售價和熱度之間進(jìn)行分析，如基于BP神經(jīng)網(wǎng)絡(luò)對上市公司財務(wù)預(yù)警建立模型[5];同時在風(fēng)險預(yù)警預(yù)測方面也有著非常廣泛的應(yīng)用，如地震、海嘯檢測等，為以后的自然災(zāi)害檢測方面提供了新方法新思路。

雖然BP算法目前應(yīng)用面較為廣泛，但并不是一成不變的，BP網(wǎng)絡(luò)自身還存在著缺陷和需要改進(jìn)之處，如學(xué)習(xí)收斂的速度并不理想、學(xué)習(xí)效率不夠穩(wěn)定、可能會有局部極小的出現(xiàn)等。目前對于BP神經(jīng)網(wǎng)絡(luò)，國內(nèi)外的許多研究人員也提出了各種對BP算法進(jìn)行的改進(jìn)，如啟發(fā)式和與新理論相結(jié)合的方法，隨著技術(shù)的日益進(jìn)步，算法會不斷得到優(yōu)化，BP神經(jīng)網(wǎng)絡(luò)也會有更好更廣泛的未來。

5 總結(jié)

本文系統(tǒng)地介紹了反向傳播BP算法的原理與實(shí)現(xiàn)步驟，針對標(biāo)準(zhǔn)BP算法目前存在的缺點(diǎn)對BP算法的常見改進(jìn)方向做了詳細(xì)闡述。通過增加動量項、調(diào)整自適應(yīng)學(xué)習(xí)率和優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)等方向來對BP算法做進(jìn)一步的改進(jìn)。由于BP神經(jīng)網(wǎng)絡(luò)算法還存在許多問題，傳統(tǒng)的改進(jìn)方法大多是對數(shù)值的優(yōu)化進(jìn)行改進(jìn)。在未來的深入學(xué)習(xí)研究中，有望深入研究，提出新的改進(jìn)方法或應(yīng)用于新的領(lǐng)域。

參考文獻(xiàn)：

[1] David E. Rumelhart， Geoffrey E. Hinton & Ronald J. Williams Learning representations by back-propagating errors[J].Nature，1986.

[2] 李曉峰，劉光中.人工神經(jīng)網(wǎng)絡(luò)BP算法的改進(jìn)及其應(yīng)用[J].四川大學(xué)學(xué)報（工程科學(xué)版），2000，32（2）：105-109.

[3] 陳樺，程云艷.BP神經(jīng)網(wǎng)絡(luò)算法的改進(jìn)及在Matlab中的實(shí)現(xiàn)[J].陜西科技大學(xué)學(xué)報，2004，22（2）：45-47.

[4] 丁明，王磊，畢銳.基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的光伏發(fā)電系統(tǒng)輸出功率短期預(yù)測模型[J].電力系統(tǒng)保護(hù)與控制，2012，40（11）：93-99，148.

[5] 楊淑娥，黃禮.基于BP神經(jīng)網(wǎng)絡(luò)的上市公司財務(wù)預(yù)警模型[J].系統(tǒng)工程理論與實(shí)踐，2005，25（1）：12-18，26.

收稿日期：2022-01-12

作者簡介：李越男（1996—） ，女，湖北荊州人，研究生在讀;通信作者：徐振平，男，副教授，博士;馬心池，男，研究生在讀。