啟發式改進BPNN在模式分類領域內的對比研究

丁 碩，常曉恒，巫慶輝，楊友林

（渤海大學 工學院，遼寧 錦州 121013）

啟發式改進BPNN在模式分類領域內的對比研究

丁 碩，常曉恒，巫慶輝，楊友林

（渤海大學 工學院，遼寧 錦州 121013）

采用附加動量BP算法、自適應最速下降BP算法、自適應動量BP算法、彈性BP算法4種啟發式改進方法分別對標準BP算法進行改進，并構建了相應的BP神經網絡分類模型，將構建的4種分類模型應用于二維向量模式的分類，并進行了泛化能力測試，將4種BP網絡分類模型的分類結果進行對比。仿真結果表明，對于中小規模的網絡而言，彈性BP算法改進的BP網絡的分類結果最為精確，收斂速度最快，分類性能最優；附加動量BP算法改進的BP網絡的分類結果誤差最大，收斂速度最慢，分類性能最差；自適應學習速率BP算法改進的BP網絡的分類結果的誤差值、收斂速度及分類性能介于上述兩種算法之間。

啟發式方法；算法改進；BP神經網絡；模式分類；泛化能力

人工神經網絡用于模式分類成為當今的一個研究熱點問題，在進行模式分類時，BP 神經網絡是應用得最為廣泛一類網絡模型。因為標準的BP（Back Propagation）算法存在學習收斂速度較慢、穩定性差、易陷入局部極小等缺點[1-3]，所以一部分學者利用啟發式改進方法對標準的BP算法進行改進。啟發式改進方法是在梯度下降法的基礎上，通過改進標準BP神經網絡的各項參數，從而克服網絡在學習過程中的各種缺陷。典型的啟發式改進方法有：附加動量BP算法、自適應最速下降BP算法、自適應動量BP算法和彈性BP算法。這些方法的核心思想是，使權值的調整量最大限度的適應誤差下降的要求。啟發式改進方法對權值變化量的調整方法略有不同，因此網絡學習的誤差收斂能力也有所差異[4]。盡管這些研究成果都在不同程度上改善了BP網絡性能，但是究竟何種啟發式方法改進的BP網絡更適合于模式分類，網絡的收斂速度更快且分類結果更為準確，涉及到這些問題的文獻尚不是很多。文中詳細分析了4種啟發式改進的BP神經網絡的分類性能，在MATLAB7.0環境下，分別基于4種啟發式改進算法構建了相應的BP神經網絡，并將其應用于平面上二維向量模式的分類，通過實例仿真，比較4種啟發式改進的BP神經網絡的分類性能，得出每種啟發式改進BP神經網絡進行模式分類的可行性及各自的優越性。

1 啟發式改進的BP神經網絡算法原理

1.1 附加動量的改進BP算法

附加動量BP算法是在梯度下降算法基礎上在每一個權值的變化上加上一項正比于上一次權值變化量的值，并根據梯度下降算法來產生新的權值變化。帶有附加動量因子的權值調整公式如式（1）所示。

式（1）中，w為訓練次數，k為訓練步數，η為學習率，mc（0≤mc≤1）為動量因子，Δf（w（k））為誤差函數的梯度。BP算法在修正網絡權重和閾值時，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢的影響，它允許忽略網絡上的微小變化特性。其實質是將最后一次權值變化的影響，通過一個動量因子來傳遞。當mc= 0時，權值的變化僅是根據梯度下降法產生；當 mc= 1時，新的權值變化則是設置為最后一次權值的變化，而以梯度法產生的變化部分則被忽略掉了[5]。附加動量BP算法降低了網絡對于誤差曲面局部細節的敏感性，有效的抑制網絡陷入局部極小。在MATLAB工具箱中，采用動量BP算法的訓練函數為traingdm。

1.2 自適應學習速率的改進BP算法

自適應學習速率BP算法在訓練過程中使學習的步長盡可能增大，又使學習率能夠根據局部誤差做出相應調整，同時兼顧算法穩定性。自適應學習速率算法如式（2）所示。

當誤差逐漸減小接近目標時，說明修正方向正確，于是使學習步長增加，即學習率乘以增量因子kinc，學習率增加；當誤差增加超過預設值時，說明修正過度，于是使學習步長減小，即學習率乘以減量因子kdec，學習率減小，同時舍去使誤差增加的前一步修正過程[6]。在MATLAB工具箱中，自適應最速下降BP算法和自適應動量BP算法采用的訓練函數分別為traingda（算法對應于式（3））與traingdx（算法對應于式（4））。式（4）中，η為學習速率，mc為動量因子，一般取0.95左右，E為誤差函數。

1.3 彈性的改進BP算法

彈性BP算法只取偏導數的符號，而不考慮偏導數的幅值。彈性BP算法的權值修正的迭代過程如式所示。式（5）中，sign（·）為符號函數。在彈性BP算法中，當訓練發生振蕩時，權值的變化量將減小；當在幾次迭代過程中權值均朝一個方向變化時，權值的變化量將增大；彈性BP算法復雜度較低，占用計算機內存相對較少。

2 啟發式改進的BP網絡分類模型的建立

建立啟發式改進的BP神經網絡，主要包含網絡層數、隱層神經元個數、初始權值和學習率4個要素。

2.1 網絡層數的確定

模式分類問題實質是模式特征空間的劃分問題，也可以說是一種映射問題。理論上已經證明，一個三層的BP網絡可以完成任意的從n維到m維的映射[7]。文中在進行模式分類實驗時，BP神經網絡全部采用單隱層結構。

2.2 隱含層節點數的確定

隱含層的神經元數目與輸入、輸出層神經元數目相關。文中采用動態法來確定隱含層神經元數，即一開始選用較少的隱層神經元，如果學習一定次數后效果不好，再增加隱層神經元，一直達到比較合理的隱層神經元數為止，經過反復多次試驗隱含層神經元數最終確定為20，可以達到逼近要求。

2.3 初始權值的選取

如果初始權值選取過大，會使得輸入樣本向量經過加權后落入傳遞函數的飽和區，從而終止網絡訓練過程。所以，文中在建立4種啟發式方法改進的BP神經網絡時，盡可能使輸入值經過加權處理后接近0，這樣可以保證初始權值的調整發生在S型傳遞函數的斜率最陡處。

2.4 學習率

學習率太大，會造成網絡不穩定；學習率太小，網絡的訓練時間就會延長，收斂速度緩慢，最終陷入局部最小值。為了兼顧系統穩定性和具有較快的收斂速度，文中在建立4種啟發式方法改進的BP神經網絡時，學習率選取為0.1。

2.5 樣本的預處理

由于文中的訓練樣本集各元素的取值范圍不完全一致，為了提高網絡的訓練速度和訓練的成功率。文中采用minmax函數將訓練樣本集中各元素歸一化到（0-1）范圍內。

3 仿真實驗

利用4種啟發式改進方法改進的BP神經網絡對圖1所示的15個樣本二維向量的模式進行分類。網絡輸入層節點數被確定為15。在對樣本二維向量的模式進行分類實驗時，網絡的輸出分別用（0 0）表示第一類模式、（0 1）表示第二類模式、（1 0）表示第三類模式、（1 1）表示第四類模式。所以網絡輸出層節點數被確定為2。

圖1 樣本向量與測試向量分布Fig.1 Distribution of sample vectors and test vectors

3.1 啟發式改進的BP網絡分類模型對訓練樣本的分類結果

在目標精度設置為0.001、訓練樣本數目相等的條件下，4種啟發式改進BP算法仿真結果對比如表1所示。可以看出，在4種啟發式方法改進的BP神經網絡中，附加動量BP算法需要大于10 000步才能達到目標精度，訓練時間最長，均方誤差最大；在2種自適應學習速率算法中，自適應最速下降BP算法需要183步才能達到目標精度，訓練時間略長，均方誤差略大，而自適應動量BP算法只需131步即可達到目標精度，訓練時間略短，均方誤差略小；彈性BP算法只需要6步就可以達到目標精度，訓練時間最短，均方誤差最小；總的來說，相對于訓練樣本集而言，只要訓練步數設置足夠大，4種啟發式方法改進BP算法都能在規定的訓練步數范圍內完成對已知二維向量的模式聚類任務，但相比之下，在4種算法中，彈性BP算法分類性能最優；在2種自適應學習速率算法中，自適應動量BP算法與自適應最速下降BP算法的均方誤差相差不大，但自適應動量BP算法的訓練時間明顯比自適應最速下降BP算法少，即自適應動量BP算法分類性能略優于自適應最速下降BP算法；彈性BP算法只需6步即可達到目標精度，網絡訓練時間遠遠少于其它3種啟發式方法改進BP算法，均方誤差也遠小于其它3種啟發式方法改進BP算法，是所有4種啟發式方法改進BP算法中所需訓練時間最短、均方誤差最小、分類性能最優一種改進算法。

表1 啟發式改進BP算法仿真結果對比Tab.1 Comparison of simulation results of BP neural networks improved by heuristic methods

3.2 啟發式改進的BP網絡分類模型的泛化能力測試

為了檢驗基于4種啟發式改進的BP網絡分類模型的泛化能力，文中分別利用4種分類模型（經過訓練后的網絡）對測試向量（不在訓練樣本空間內的向量）進行分類。設置4個分屬于不同類別的測試向量，如圖1所示，（5.37，5.78）屬于第1類，（5.11，5.83）屬于第2類，（5.50，6.01）屬于第3類，（5.28，5.97）屬于第4類，利用仿真函數sim得到BP神經網絡的輸出。

圖2 附加動量BP算法訓練誤差變化曲線Fig.2 Training error curve of additional momentum adaptive steepest BP algorithm

圖3 自適應最速下降BP算法訓練誤差變化曲線Fig.3 Training error curve of descent BP algorithm

附加動量BP算法、自適應最速下降BP算法、自適應動量BP算法和彈性BP算法改進的BP網絡對測試向量分類的誤差變化曲線如圖2～圖5所示。從圖2～圖5可以看出，在上述4種啟發式改進BP算法中，附加動量BP算法需要大于10 000步才能達到目標精度，收斂時間最長，均方誤差最大；自適應最速下降BP算法和自適應動量BP算法所需訓練時間稍短，分別需要183步和131步達到目標精度，均方誤差較附加動量BP算法略有減小；彈性BP算法只需6步即可達到目標精度，收斂時間最短，均方誤差最小。4種啟發式改進的BP網絡對測試向量的分類結果對比如表2所示。從表2可以看出，彈性BP算法最大絕對誤差為-0.024 9，自適應學習速率算法最大絕對誤差為-0.056 2，附加動量BP算法最大絕對誤差為-0.082 7。總的來說，相對于測試樣本集而言，4種啟發式改進BP網絡都能在規定的訓練步數范圍內完成對測試樣本的模式分類任務，但相比之下，彈性BP算法改進的BP網絡的分類結果最為精確，收斂速度最快，分類性能最優；附加動量BP算法改進的BP網絡的分類結果誤差最大，收斂速度最慢，分類性能最差；自適應學習速率算法改進的BP網絡的分類結果誤差值、收斂速度及分類性能介于上述兩種算法之間。

圖5 彈性BP算法訓練誤差變化曲線Fig.5 Training error curve of BP algorithm

4 結 論

文中利用啟發式改進方法構建了4種改進的BP網絡分類模型，并對輸入的二維向量模式進行分類實驗。仿真結果表明：附加動量BP算法、自適應最速下降BP算法、自適應動量BP算法和彈性BP算法都能在規定預設精度范圍內完成分類任務。但相比之下，附加動量BP算法的分類效果相對較差，需要較長的收斂時間，才能勉強達到分類精度要求；彈性BP算法收斂速度最快，訓練準確性和分類精度也明顯優于附加動量BP算法、自適應最速下降BP算法和自適應動量BP算法。所以在工程技術領域內進行設備的故障分類和故障診斷等應用時建議優先采用彈性BP算法進行分類，不建議采用附加動量BP算法。

表2 4種啟發式改進的BP網絡對測試向量的分類結果對比Tab.2 Comparison of classi fi cation results of 4 heuristic BP networks

[1] DING Shuo，CHANG Xiao-heng，WU Qing-hui.Approximation Performance of BP Neural Networks Improved by Heuristic Approach[J].Applied Mechanics and Materials，Vols.412-414（2013）：1952-1955

[2] 余妹蘭，匡芳君.BP神經網絡學習算法的改進及應用[J].沈陽農業大學學報，2011，42（3）：382-384.

YU Mei-lan，KUANG Fang-jun.Improved Learning Algorithms for BP Neural Network and Application[J].Journal of Shenyang Agricultural University，2011，42（3）：382-384.

[3] DING Shuo，CHANG Xiao-heng，WU Qing-hui.Application of Probabilistic Neural Network in Pattern Classification[J].Applied Mechanics and Materials，Vols.441（2014）：738-741.

[4] 賀清碧.BP神經網絡及應用研究[D].重慶：重慶交通學院，2004.

[5] 丁碩，巫慶輝.基于改進BP神經網絡的函數逼近性能對比研究[J].計算機與現代化，2012（11）：10-13.

DING Shuo，WU Qing-hui.Function Approximation Based on Improved BP Neural Network [J].Computer and Modernization，2012（11）：10-13.

[6] 周黃斌，周永華，朱麗娟.基于MATLAB的改進BP神經網絡的實現與比較[J].計算技術與自動化，2008，27（1）：28-31.

ZHOU Huang-bin，ZHOU Yong-hua，ZHU Li-juan.Implementation and Comparison of Improving BP Neural Network Based on MATLAB [J].Computing Technology and Automation，2008，27（1）：28-31.

[7] 江虹，曾立波，胡繼明.優化的BP神經網絡分類器的設計與實現[J].計算機工程與應用，2001（5）：122-125.

JIANG Hong，ZENG Li-bo，HU Ji-ming.The Design and Performance of Optimal BP Neural Network Classifier[J].Computer Engineering and Applications，2001（5）：122-125.

Comparative study of BPNNs improved by heuristic method in the fi eld of pattern classi fi cation

DING Shuo，CHANG Xiao-heng，WU Qing-hui，YANG You-lin
（College of Engineering，Bohai University，Jinzhou 121013，China）

Four kinds of heuristic methods including additional momentum BP algorithm，adaptive steepest descent BP algorithm，adaptive momentum BP algorithm and resilient BP algorithm are used to improve standard BP algorithm，and the corresponding BP neural networks are also established.The four kinds of classification methods are applied to classification of two-dimensional vectors.Then their generalization abilities are tested and the classification results of the four BP network are compared with each other.The simulation results show that for small and medium scale networks，BP neural network improved by resilient BP algorithm has the most accurate classification result，the fastest convergence speed and the best classification ability；the one improved by additional momentum BP algorithm has the biggest classification error，the slowest convergence speed and the worst classification ability；while the classification error，convergence speed and classification ability of BP neural network improved by adaptive steepest descent BP algorithm lie between the above two algorithms.

heuristic method；algorithm improvement；BP neural networks；pattern classification；generalization ability

TP391.9

A

1674-6236（2014）11-0137-04

2013-12-15 稿件編號：201312112

國家自然科學基金（61104071）

丁 碩（1979—），男，天津人，碩士，講師。研究方向：測試信號處理、虛擬儀器、人工神經網絡理論及其應用。