改進的PSO—BP神經網絡分類器設計

荀錦錦+王建南+張奎

摘 要：針對BP神經網絡的缺陷容易導致分類器精度低的問題，給出了改進粒子群算法。該算法在標準粒子群算法中融入混沌優化算法、動態慣性權重和動態學習因子。最后通過實驗，將梯度下降法和改進粒子群算法構建的神經網絡分類器對比。實驗結果表明，改進粒子群算法得到的分類器效果更優，精度更高。

關鍵詞：改進粒子群算法；BP神經網絡；分類

粒子群算法（PSO Particle Swarm Optimization）是在1995年由Kennedy和Eberhart提出的一種進化算法[1]。粒子群算法通過算法的融合、改進參數等可以獲得較好的全局搜索能力。混沌優化算法是非線性系統較為普遍的現象，其基本思想是進行混沌變量到優化變量取值空間的線性映射[2，6]。利用混沌優化算法的特性可以使粒子群算法避免早熟現象，BP神經網絡可以用來非線性分類，但BP算法存在容易陷入局部極小值等缺陷[3]1。為此，本文給出算法融合構建神經網絡分類器，同時對方法進行了仿真實驗。仿真結果表明，基于改進粒子群算法的BP神經網絡可以收斂到最優解，并且分類效果較好。

1 標準粒子群算法和BP神經網絡

1.1 標準粒子群算法

粒子群算法是通過局部最優的迭代達到全局最優收斂。1998年，Shi等人提出了慣性權重[4]。帶有慣性權重的PSO算法被稱為標準粒子群算法。標準粒子群算法的更新公式為：

（1）

（2）

式中：vid為粒子的速度，xid為粒子的位置，t為迭代次數，ω為慣性權重系數，c1、c2為加速常量，Pid為個體極值，pgd為全局極值。

從公式（1）和公式（2）可知，每個粒子在搜索時，不僅參自身思考，還參考了全局影響。這樣，就可以增強全局搜索能力。

1.2 BP神經網絡

BP神經網絡采用梯度下降法，通過均值誤差反向傳播來不斷調整神經網絡的權值和閾值，最終實現誤差滿足預設范圍或者學習次數。采用變學習率的方法提高學習速率，訓練開始時采用大的學習速率以跳過局部極值，在訓練后期以較小的學習速率達到全局極值。變化率符號確定法是一種較常用的方法[5]2，具體表達式為：

（3）

（4）

式中，λ>1，m0、m1是選擇的常數。

2 改進PSO優化BP神經網絡

2.1 初始權值的確定

為使提高搜索的效率，應使初始粒子均勻分布。為此，本文引入混沌優化算法。Kent混沌方程為[2，6，7]1：

（5）

其中，ζ為常數；z為混沌序列。

2.2 算法實現

改進粒子群算法優化BP神經網絡的具體步驟如下：

（1）確定BP神經網絡的結構，根據式（5）產生初始粒子群。

（2）根據適應度函數計算適應度值，確定每個粒子的個體極值，并產生全局極值。

（3）利用公式（1）、公式（2）更新粒子的速度和位置。

（4）均方誤差是否已經小于設定精度或迭代次數是否已經達到最大迭代次數。若否，則轉回到（2）。

（5）輸出使全局極值最小的粒子，即為BP神經網絡最佳的權值和閾值。

3 仿真實驗與實驗結果分析

實驗采用UCI數據庫中的Iris植物樣本數據，利用訓練好的網絡對測試樣本進行Matlab仿真實驗，仿真結果如圖1、圖2所示。由圖1和圖2可知，在實驗環境相同的情況下POS—BP神經網絡分類器的分類能力好于BP神經網絡分類器。

4 結論

為了解決BP算法局部極值問題，引入了具有全局搜索能力的粒子群算法；初始粒子對粒子群算法的性能有著密切的聯系，通過混沌算法來生成初始粒子，獲得分布均勻的初始粒子群；粒子群算法對參數有著一定的要求，根據需求引入動態參數。試驗結果表明，改進POS優化的BP網絡分類器分類正確率較高。

參考文獻

[1]KENNEDY J， EBERHART R C. Particle swarm optinization[C]//Proceedings of IEEE International Conference On Neural Networks Perth， Australia， 1995.

[2]Yang D X， Liu Z j， Zhou J L. Chaos optimization algorithms based on chaotic maps with different probability distribution and search speed for global optimization[J]. Communications in Nonlinear Science and Nunerical Simulation， 2014， 19（4）：1229-1246.

[3]孫增圻，鄧志東，張再興.智能控制理論與技術[M].2版.北京：清華大學出版社，2011.9：138-139.

[4]SHIY H， EBERHART R C. Amodified particle swarmoptimizer[C]// Proceedings of IEEE International Conference on Evolutionary Computation. Piscataway， NJ，1998：69-73.

[5]孫即祥.現代模式識別[M].2版.北京：高等教育出版社，2008，10：：412-413，409-411.

[6]劉麗軍，李捷，蔡金綻.基于強引導粒子群與混沌優化的電力系統無功優化[J].電力自動化設備，2010，30（4）：71-75..

[7]張彩宏，潘廣貞.融合禁忌搜索的混合果蠅優化算法[J].計算機工程與設計，2016，37（4）：908-909.

[8]丁騰飛，曹云俠.基于改進POS優化BP神經網絡的變壓器故障診斷[J].制造業自動化，2015，37（5）：83.endprint