混合粒子群優(yōu)化算法優(yōu)化前向神經(jīng)網(wǎng)絡結(jié)構(gòu)和參數(shù)

摘要：提出了綜合利用粒子群優(yōu)化算法(PSO)和離散粒子群優(yōu)化算法(D－PSO)同時優(yōu)化前向神經(jīng)網(wǎng)絡結(jié)構(gòu)和參數(shù)的新方法。該算法使用離散粒子群優(yōu)化算法優(yōu)化神經(jīng)網(wǎng)絡連接結(jié)構(gòu)，用多維空間中0或1取值的粒子來描述所有可能的神經(jīng)網(wǎng)絡連接，同時使用粒子群優(yōu)化算法優(yōu)化神經(jīng)網(wǎng)絡權(quán)值。將經(jīng)過該算法訓練的神經(jīng)網(wǎng)絡應用于故障診斷，能夠有效消除冗余連接結(jié)構(gòu)對網(wǎng)絡診斷能力的影響。仿真試驗的結(jié)果表明，相比遺傳算法等其他算法，該算法能夠有效改善神經(jīng)網(wǎng)絡結(jié)構(gòu)和參數(shù)的優(yōu)化效率，提高故障模式識別的準確率。

關(guān)鍵詞：粒子群優(yōu)化； 神經(jīng)網(wǎng)絡； 故障診斷； 遺傳算法

中圖分類號：TP183文獻標志碼：A

文章編號：1001-3695(2007)12-0091-03

神經(jīng)網(wǎng)絡具有模式識別、函數(shù)逼近、優(yōu)化和聯(lián)想記憶等性能，因此廣泛流行于研究領(lǐng)域和應用領(lǐng)域。設(shè)計一個神經(jīng)網(wǎng)絡主要有兩個方面的工作:選擇合適的神經(jīng)網(wǎng)絡結(jié)構(gòu)；調(diào)整神經(jīng)網(wǎng)絡的各參數(shù)使網(wǎng)絡輸出達到特定的精度要求。對于多層前向網(wǎng)絡，太大的網(wǎng)絡結(jié)構(gòu)容易造成歸納性差；太小的網(wǎng)絡結(jié)構(gòu)則造成學習能力低。因此，能同時有效優(yōu)化神經(jīng)網(wǎng)絡結(jié)構(gòu)和權(quán)重等參數(shù)的方法正成為研究的熱點。

目前應用遺傳算法訓練神經(jīng)網(wǎng)絡的權(quán)重和拓撲結(jié)構(gòu)方面的研究已經(jīng)有很多成功的實例。通過對神經(jīng)網(wǎng)絡種群進行一系列模擬生物進化的遺傳操作，可以獲得結(jié)構(gòu)優(yōu)化的神經(jīng)網(wǎng)絡。但是，遺傳算法復雜的遺傳操作如選擇、復制、交叉、變異使神經(jīng)網(wǎng)絡的訓練時間隨問題的規(guī)模及復雜程度呈指數(shù)級增長^[1]。而且，由于缺乏有效的局部區(qū)域搜索機制，算法在接近最優(yōu)解時收斂緩慢甚至出現(xiàn)收斂停滯現(xiàn)象。

粒子群優(yōu)化算法是一種基于群智能的進化計算技術(shù)。其速度—位移搜索模型操作簡單、計算復雜度低，既能以較大的概率保證最優(yōu)解，又可以提高局部區(qū)域的收斂速度^[2]。目前PSO已廣泛應用于函數(shù)優(yōu)化、神經(jīng)網(wǎng)絡訓練、模糊系統(tǒng)控制及其他遺傳算法等領(lǐng)域^[3~7]。基本粒子群算法是應用于連續(xù)優(yōu)化問題的，然而許多實際的工程難題均描述為組合優(yōu)化問題，所以Kennedy和Eberhart提出了一種二進制離散粒子群算法(D－PSO)^[8]。

由表1可知，本文算法對結(jié)構(gòu)的優(yōu)化提高了神經(jīng)網(wǎng)絡的故障模式識別能力，表明刪除的網(wǎng)絡連接為冗余連接，同時也驗證了冗余連接對神經(jīng)網(wǎng)絡性能的影響。由實驗結(jié)果還可以看出，本文算法與遺傳算法相比，訓練效率得到了較大提高，在訓練時間接近時，網(wǎng)絡的診斷能力顯著增強；若達到同樣誤差目標，采用粒子群優(yōu)化算法收斂所需的訓練迭代次數(shù)明顯降低。由此可見，本文算法不僅使訓練的收斂速度大大提高，且其訓練的神經(jīng)網(wǎng)絡性能也得到了增強。需要指出，盡管對結(jié)構(gòu)的優(yōu)化增加了本文算法訓練階段的復雜度，但是經(jīng)過連接結(jié)構(gòu)優(yōu)化的神經(jīng)網(wǎng)絡在實際應用中信息處理效率得到提高。經(jīng)過連接結(jié)構(gòu)優(yōu)化的神經(jīng)網(wǎng)絡尤其適合大規(guī)模數(shù)據(jù)的實時處理。

4結(jié)束語

針對神經(jīng)網(wǎng)絡中的冗余連接不僅會降低神經(jīng)網(wǎng)絡的處理速度，而且大量的冗余連接甚至會影響神經(jīng)網(wǎng)絡性能的情況，本文提出了綜合利用粒子群優(yōu)化算法和離散粒子群優(yōu)化算法同時優(yōu)化前向神經(jīng)網(wǎng)絡結(jié)構(gòu)和參數(shù)的新方法。該算法在訓練神經(jīng)網(wǎng)絡權(quán)值的同時刪除其冗余連接，實現(xiàn)連接結(jié)構(gòu)的優(yōu)化。在旋轉(zhuǎn)機械故障診斷神經(jīng)網(wǎng)絡上的試驗數(shù)據(jù)表明，這種方法不但能夠有效地優(yōu)化神經(jīng)網(wǎng)絡的結(jié)構(gòu)，而且還能提高訓練效率。與訓練全連接結(jié)構(gòu)權(quán)值的PSO相比，算法在保證分類正確率的同時減少了連接數(shù)目；與BP及遺傳算法相比，在提高分類誤差精度的同時加快了訓練收斂速度。

參考文獻：

[1]YANG J M， KAO C Y. A robust evolutionary algorithm for training neural networks[J]. Neural Computing and Application， 2001， 10(3):214-230.

[2]KENNEDY J， EBERHART R C. Particle swarm optimization[C]//Proc of IEEE International Conference on Neural Networks. Piscataway:IEEE Press， 1995: 1942-1948.

[3]VOSS M S， FENG Xin. Arma model selection using particle swarm optimization and AIC criterial[C]//Proc of the 15th Triennial World Congress. Barcelona， Spain:IFAC， 2002.

[4]PARSOPOULOS K E， VRAHATIS M N. Particle swarm optimization method in multiobjective problems[C]//Proc of ACM Symposium on Applied Computing. New York:ACM Press，2002.

[5]BERGHF van den，ENGELBRECHT A P. Cooperative learning in neural networks using particle swarm optimizers[J].South African Computer Journal，2000， 26:84-90.

[6]PARSOPOULOS K E， VRAHATIS M N. Recent approaches to global optimization problems through particle swarm optimization[J].Natural Computing， 2002，1(2-3): 235-306.

[7]OURIQUE C O， BISCAIA E C， PINTO J J C. The use of particle swarm optimization for dynamical analysis in chemical processes[J].Computers and Chemical Engineering， 2002， 26: 1783-1793.

[8]KENNEDY J， EBERHART R C. A discrete binary version of the particle swarm algorithm[C]//Procof Conf on Systems， Man， and Cybernetics. Piscataway: IEEE Press， 1997: 4104-4108.

[9]EBERHART R C， SHI Y. Comparing inertia weights and constriction factors in particle swarm optimization[C]//Proc of Congress on Evolutionary Computing. Piscataway: IEEE Press， 2000: 84-89.

[10]STACEY A，JANCIC M， GRUNDY I. Particle swarm optimization with mutation[J].Evolutionary Computation，2003(2):1425-1430.

“本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文”