一種新的基于灰色關聯(lián)分析的BP神經(jīng)網(wǎng)絡剪枝算法

摘 要：利用灰色關聯(lián)分析方法，為BP神經(jīng)網(wǎng)絡結(jié)構(gòu)約簡提出了一種新的剪枝算法，該算法通過剪枝和并枝兩個階段實現(xiàn)BP網(wǎng)絡結(jié)構(gòu)的優(yōu)化，提高了網(wǎng)絡的數(shù)值效能。最后，通過數(shù)值實驗驗證了該算法的合理性和有效性。

關鍵詞：神經(jīng)網(wǎng)絡；網(wǎng)絡結(jié)構(gòu)優(yōu)化；灰色關聯(lián)度分析；剪枝算法

4 實例建模

4.1 分類實例——XOR問題

XOR問題就是如何用神經(jīng)網(wǎng)絡實現(xiàn)異或邏輯關系，即Y=A·XOR·B。對于這個問題用單個神經(jīng)元模型無法解決，因為該問題是線性不可分的，對于兩維輸入空間，神經(jīng)元的作用可以理解為對輸入空間進行一條直線劃分。

多層神經(jīng)網(wǎng)絡可以解決這個問題，因為多層網(wǎng)絡引入了中間隱含層，每個隱含神經(jīng)元可以按不同的方法來劃分輸入空間抽取輸入空間中包含的某些特征，從而形成更為復雜的分類區(qū)域。理論上已經(jīng)證明三層神經(jīng)網(wǎng)絡足以解決任意復雜分類問題。

我們考慮用BP神經(jīng)網(wǎng)絡實現(xiàn)XOR問題，初步建立一個隱含層為30個神經(jīng)元的網(wǎng)絡結(jié)構(gòu)，再運用前文灰色關聯(lián)度分析的方法進行網(wǎng)絡剪枝，以實現(xiàn)最簡網(wǎng)絡的XOR問題。

XOR問題的樣本有四個，即他們的輸入為x=■；對應的輸出為：y=[0101]；輸入是2維向量，用2個神經(jīng)元作為輸入層，網(wǎng)絡輸出是1維向量，用1個神經(jīng)元作為輸出層，對于這個問題，在BP神經(jīng)網(wǎng)絡隱含層節(jié)點個數(shù)未知的情況下，先取30個節(jié)點，經(jīng)過簡單的訓練后得到網(wǎng)絡結(jié)構(gòu)，再利用灰色關聯(lián)分析優(yōu)化網(wǎng)絡結(jié)構(gòu)。

初始結(jié)構(gòu)：2-30-1，神經(jīng)元的傳遞函數(shù)取tin sig函數(shù)，BP網(wǎng)絡的訓練函數(shù)取tan sig；設定網(wǎng)絡的訓練參數(shù)如下：目標誤差為1e-4； 最大迭代步數(shù)為5000步；其余為系統(tǒng)默認值。

灰色關聯(lián)計算時選取的分辨系數(shù)為？籽=0.4；額定灰色關聯(lián)度為？著=0.55，最大剪枝次數(shù)為5，考慮到?jīng)]進行一次剪枝和并枝操作，網(wǎng)絡訓練較好，各神經(jīng)元間的聯(lián)系更加緊密，故每進行一次剪枝和并枝過程，額定灰色關聯(lián)度累加一次即？著=？著+0.05；

由表1-3可知，在程序運行過程中，原BP神經(jīng)網(wǎng)絡的結(jié)構(gòu)首先調(diào)整為2-15-1，此時被刪除的節(jié)點是E=2，5，6，7，9，10，16，17，20，21，

22，23，24，25，29共15個，在此基礎上繼續(xù)對網(wǎng)絡進行訓練學習，第二次刪除的節(jié)點是E=14，26，27，28，30共4個，此時的網(wǎng)絡結(jié)構(gòu)調(diào)整為2-10-1，依次過程第五次網(wǎng)絡達到穩(wěn)定，得到BP網(wǎng)的最優(yōu)化結(jié)構(gòu)為2-3-1，具體每次調(diào)整過程對應的縱向節(jié)點和橫向節(jié)點以及關聯(lián)度如表1-2所示（省略前兩次調(diào)整過程）。

每次剪枝完后網(wǎng)絡的輸出值是比較可觀的，誤差也是接近我們的目標誤差，精度很高，足見雖然每次減少了隱含層神經(jīng)節(jié)的個數(shù)，但網(wǎng)絡訓練不受影響，也證實了剪枝算法的合理性，如表3所示。

4.2 函數(shù)逼近實例——Y=sin（X）

我們考慮用BP神經(jīng)網(wǎng)絡實現(xiàn)函數(shù)逼近問題，初步建立一個隱含層為30個神經(jīng)元的網(wǎng)絡結(jié)構(gòu)，進行網(wǎng)絡剪枝運用前文灰色關聯(lián)度分析的方法，以實現(xiàn)最簡網(wǎng)絡的Y=sin（X）函數(shù)逼近問題。

我們選取100個樣本，隱含層節(jié)點數(shù)為30，輸入和輸出都是一維的。選取Y=sin（X）為逼近函數(shù)，輸入從0.01？仔到0.02？仔，增長率為0.02？仔。最大訓練次數(shù)為5000，學習速率為0.005，目標誤差為1e-3。

灰色關聯(lián)計算時選取的分辨系數(shù)為？籽=0.5；額定灰色關聯(lián)度為？著=0.50，最大剪枝次數(shù)為5，考慮到?jīng)]進行一次剪枝和并枝操作，網(wǎng)絡訓練較好，各神經(jīng)元間的聯(lián)系更加緊密，故每進行一次剪枝和并枝過程，額定灰色關聯(lián)度累加一次即？著=？著+0.05；

通過調(diào)節(jié)權(quán)值和閾值，網(wǎng)絡達到穩(wěn)定后，進行剪枝操作，第一次剪枝節(jié)點為E=12，13，21，25，27第二次剪枝節(jié)點為E=2，5，6，7，11，

16，22，30第三次剪枝節(jié)點為E=10，14，26，28，最終隱層節(jié)點為7個。函數(shù)逼近結(jié)果如圖1所示。由圖可知，大體符合函數(shù)逼近的趨勢，逼近效果較好。

5 結(jié)束語

文章通過分析了幾類前饋神經(jīng)網(wǎng)絡縱向和橫向信息的傳輸特點，采用灰色關聯(lián)分析方法，通過剪枝和并枝過程來設計一種以BP算法為例的剪枝算法，數(shù)值試驗結(jié)果表明這種方法非常有效，同時也對前饋神經(jīng)網(wǎng)絡的結(jié)構(gòu)優(yōu)化提供了一種新的學習算法。

參考文獻

[1]馮知凡.基于圖像處理及BP神經(jīng)網(wǎng)絡的車牌識別技術的研究[D].武漢科技大學，2011.

[2]楊晟院，高協(xié)平.基于面向?qū)ο驜P算法的灰度位圖圖像處理[J].計算機工程與應用，2003，33：103-105.

[3]周凌翱.改進BP神經(jīng)網(wǎng)絡在模式識別中的應用及研究[D].南京理工大學，2010.

[4]張宇.基于BP神經(jīng)網(wǎng)絡匯率預測的智能交易系統(tǒng)[D].安徽大學，2011.

[5]李聰.基于BP神經(jīng)網(wǎng)絡的股票指數(shù)期貨價格預測[D].青島大學，2012.

[6]黃慶斌.BP算法的改進及其應用研究[D].西南交通大學，2010.

[7]李曉峰，徐玖平，王蔭清，賀昌政.BP人工神經(jīng)網(wǎng)絡自適應學習算法的建立及其應用[J].系統(tǒng)工程理論與實踐，2004，05：1-8.

[8]黃麗.BP神經(jīng)網(wǎng)絡算法改進及應用研究[D].重慶師范大學，2008.

[9]陳小前，羅世彬，王振國，陶玉靜.BP神經(jīng)網(wǎng)絡應用中的前后處理過程研究[J].系統(tǒng)工程理論與實踐，2002，1：65-70+88.

[10]熊焱，吳微，張超，亢喜岱.基于灰色關聯(lián)分析的高階神經(jīng)網(wǎng)絡剪枝算法[J].大連理工大學學報，2010，3：463-468.

[11]唐萬梅.BP神經(jīng)網(wǎng)絡網(wǎng)絡結(jié)構(gòu)優(yōu)化問題的研究[J].系統(tǒng)工程理論與實踐，2005，10：95-100.

作者簡介：趙蓉（1992-），女，籍貫：湖南省岳陽市，學歷：本科，研究方向：算法優(yōu)化。