基于參數選取影響BP神經網絡訓練結果的分析

摘要：模式識別包含了兩個方面的內容：樣本訓練和樣本識別。而樣本識別的前提則是樣本訓練，當然訓練樣本多并具有代表性當然好，但并非越多越優。重要的是在訓練神經網絡的過程中，權值、閾值等各個參數應如何確定才有利于訓練的效率。正是針對使用一組簡單樣本對神經網絡進行訓練，并且采用變化參數值的方法觀察其訓練效果，從而得出不同的輸出結果，以及曲線分析圖。進而進行對比總結，找出最優的參數設置。而且實驗方法和結論有利于應用于其他識別系統的開發。

關鍵詞：

中圖分類號： ＴＰ３９１．４文獻標識碼：Ａ文章編號：２０９５－２１６３（２０１１）０３－００４３－０４

Ａｎａｌｙｓｉｓ ｏｆ Ｔｒａｉｎｉｎｇ Ｒｅｓｕｌｔｓ ｂａｓｅｄ ｏｎ ｔｈｅ Ｓｅｌｅｃｔｉｏｎ ｏｆ

Ｐａｒａｍｅｔｅｒｓ Ｉｎｆｌｕｅｎｃｉｎｇ ＢＰ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ

ＨＡＮ Ｘｕｅ

Ａｂｓｔｒａｃｔ： Pattern recognition includes two aspects : sample training and sample recognition. And sample training is the premise of sample recognition.Of course， there are lots of training samples and the samples are representative， whichis good， but not the more the better. In the process of training the neural network， it is very important how to determine various parameters that is beneficial to the training efficiency such as the weights and threshold values. This paper is aimed at the use of a simple sample for neural network training， changes parameter values for observing the training effect， thus obtains the different output results and the diagrams. Further study and comparison are carried outto find out the optimal parameter settings. And the experiment method and the conclusion are helpful for application in other identification system development.

Ｋｅｙ ｗｏｒｄｓ：

０引言

在對ＢＰ神經網絡進行訓練的過程中，很多時候，一些基本參數和訓練函數參數是隨機生成的，但是訓練效率并不高。對于ＢＰ神經網絡所應用的不同領域，這些參數的設置也有所區別。怎樣才能使得訓練網絡的效率更高，就需要了解參數的變化對于訓練結果的影響。本文要解決的問題就是變化其中的各項參數值，對得到的不同訓練結果進行對比分析，并找出相關規律。

１研究現狀

“神經網絡”的研究內容主要包括人工神經網絡、生物神經網絡、認知科學和混沌。

在研究方法上，對于神經網絡的研究已經收獲了很多不同的研究方法，比較重要且已有一定成果的研究有多層網絡 ＢＰ算法、Ｈｏｐｆｉｅｌｄ網絡模型、自適應共振理論和自組織特征映射理論等。

在研究領域上也可以分為理論研究和應用研究兩大方面。理論研究包括兩個方面：其一是理論上的深入研究，通過對已有算法的性能分析來探索功能更完善、效率更高的神經網絡模型，包括對穩定性、收斂性、容錯性、魯棒性等各個性能的最優化研究；其二是朝著智能的方向發展，利用神經生理與認知科學對人類思維和智能機理進行研究。應用研究也包含了兩個方面，分別是神經網絡的軟硬件研究和神經網絡在各個領域中應用的研究，其中包括：模式識別、信號處理、知識工程、專家系統、優化組合、機器人控制等[１]。

ＢＰ神經網絡是當前最流行、應用最廣泛的神經網絡模型之一。但是仍存在一些缺陷，如訓練速度較慢，所以很多學者正在尋找快速有效的ＢＰ學習算法，而且也取得了一些成效，最重要的幾種快速變體有ＱｕｉｃｋＰｒｏｐ[Ｆａｈ８８]、 ＳｕｐｅｒＳＡＢ [Ｔｏｌ９０]和共軛梯度法[Ｂａｔ９２][１]。

除了收斂速度較慢之外，ＢＰ神經網絡還存在一些缺點：容易在優化的過程中產生局部最優解而不是全局最優解；在對新樣本訓練的同時容易遺忘舊的樣本。基于對以上缺陷的改進，目前已有了一些行之有效的解決方法。

為了提高網絡訓練速度，在調整權值時增加了動量項，從而對某時刻前后的梯度方向都進行了必要的考慮；為了加快算法收斂速度，采用了自適應學習率調節的方法，如ＶＬＢＰ神經網絡，后面的實驗中還會進一步比較介紹。

目前，ＢＰ神經網絡作為很重要的神經網絡模型之一，在很多應用領域中發揮著重要的作用，包括圖像壓縮編碼、人臉識別、分類、故障診斷、最優預測等。

２算法原理

ＢＰ神經網絡的基本思想是通過不斷地訓練權值，并設有一個標準的輸出，每次訓練以后得到的實際輸出與標準的輸出比較，設置一個最小誤差，達到這個誤差就表示網絡訓練好了，否則繼續訓練；經過一定的訓練次數后，若還沒有達到這個誤差標準，就表示網絡的設置有問題。本實驗通過對參數的改變，尋找出最優參數設置的規律。

３算法實現

使用ｍａｔｌａｂ開發平臺，程序編寫分為定義輸入向量和目標向量、創建 ＢＰ網絡設置訓練函數、初始化權值閾值、設置訓練函數參數、訓練神經網絡五個部分。進行對比實驗時，只需將相關參數進行修改即可。對基本的ＢＰ神經網絡進行訓練時，設置基本參數：權值、閾值；訓練函數參數：學習率、最后達到的均方誤差、最大步長。分別對學習率、均方誤差、初始權值、初始閾值進行修改，對比實驗結果；基本的ＢＰ神經網絡中無法對學習率實現事先最優，所以用ＶＬＢＰ神經網絡進行改進。

程序如下：

ｎｅｔｂｐ．ｔｒａｉｎＰａｒａｍ．ｇｏａｌ＝０．０００１／／設置最后達到的均方誤差為 ０．０００１

ｎｅｔｂｐ．ｔｒａｉｎＰａｒａｍ．ｅｐｏｃｈｓ＝５０００ ／／設置最大訓練步長

[ｎｅｔｂｐ，ｔｒ]＝ｔｒａｉｎ（ｎｅｔｂｐ，ｐ，ｔ）

４實驗結果

初始訓練樣本的輸入設為[１；３]，期望輸出設為[０．９５；０．０５]，第一層的權值設為[１ ２；－２ ０]，第二層的權值設為[１ １；０ －２]，第一層的閾值設為[－３；１]，第二層的閾值設為[２；３]，學習率設為１，均方差設為０．０００１。其實驗仿真圖如圖１所示。

４．１改變學習率

只改變學習率的訓練函數參數時，運行程序后的對比結果如表１所示。

從表１中的實驗結果可見：在其他條件不變、學習率增大的情況下，所需的訓練步長變短，即誤差收斂速度快。但是學習率不可以無限制地增大，增大到一定程度后，誤差收斂速度將減慢，甚至有可能達不到誤差范圍內，進入局部穩定狀態。

表１中的各組實驗仿真圖如圖２－圖７所示。

４．２改變均方差

將均方差由原來的０．０００１變為０．００１后與原初始樣本參數對比結果如表２所示。

均方差變為０．００１后的仿真圖如圖８所示。

可見，在其他條件一樣的前提下，將最后要達到的均方誤差值設置較大時，網絡訓練步長變短，誤差收斂速度慢些，最后的輸出結果較為精確些。

４．３改變初始權值

將初始權值改變后的對比結果如表３所示。

改變初始權值后的仿真圖如圖９所示。

可見，后者的初始權值比較合適些，因此訓練的時間變短，誤差收斂速度明顯快些。

４．４改變初始閾值

將初始閾值改變后的對比結果如表４所示。

改變初始閾值后的仿真圖如圖１０所示。

可見，后者的初始閾值比較合適些，因此訓練的時間變短，誤差收斂速度明顯快些。

４．５學習率可變的ＶＬＢＰ神經網絡

用最基本的 ＢＰ 算法來訓練 ＢＰ神經網絡時，學習率、均方誤差、權值、閾值的設置都對網絡的訓練均有影響。選取合理的參數值會有利于網絡的訓練。在最基本的 ＢＰ算法中，學習率在整個訓練過程是保持不變的。學習率過大，算法可能振蕩而不穩定；學習率過小，則收斂速度慢，訓練時間長。而在對網絡進行訓練之前是無法選擇最佳學習率的。

雖說學習率在訓練前無法選最優，但是在訓練的過程中能否可變呢？因此ＢＰ神經網絡的一種改進算法ＶＬＢＰ可派上用場。也就是說，另外設置學習增量因子和學習減量因子，當誤差以減少的方式趨于目標時，說明修正方向正確，可以使步長增加，因此學習率乘以增量因子ｋ，使學習率增加；而修正過頭時，應減少步長，可以乘以減量因子ｋ，使學習率減小。

程序設計中加入下列語句：

ｎｅｔｂｐ＝ｎｅｗｆｆ（[－１ １；－１ １]，[２ ２]，‘ｌｏｇｓｉｇ’ ‘ｌｏｇｓｉｇ’，‘ｔｒａｉｎｇｄｘ’）

ｎｅｔｂｐ．ｔｒａｉｎＰａｒａｍ．ｌｒ＿ｉｎｃ＝１．１／／增量因子設為１．１

ｎｅｔｂｐ．ｔｒａｉｎＰａｒａｍ．ｌｒ＿ｄｅｃ＝０．６５ ／／減量因子設為０．６５

經過訓練后最后的輸出結果為[０．９６３ ８；０．０５０ ０]，訓練步長為５０，訓練后第一層的權值為[１．００４ ５ ２．０１３ ５；－１．４０８ ４ １．７７４ ８]，訓練后第二層的權值為[０．７６６ ９ ０．７６８ ３；－１．５４４ ７ －２．８６５ ０]。

ＶＬＢＰ神經網絡訓練仿真圖如圖１１所示。

觀察網絡的收斂速度，采用學習率可變的ＶＬＢＰ算法要比學習率不變ＢＰ算法收斂速度提高很多。以上兩種算法都是沿著梯度最陡的下降方向修正權值，誤差減小的速度最快。

５結束語

通過上述驗證性實驗，可以看出參數的選取對網絡的訓練結果有著很大的影響，當然ＢＰ算法還很多，但沒有一個算法適合所有 ＢＰ 網絡。在實際運用時，需根據網絡自身的特點、誤差要求、收斂速度要求、存儲空間等來做具體選擇。

參考文獻：

[ １ ] ｈｔｔｐ：／／ｂｌｏｇ．ｃｓｄｎ．ｎｅｔ／ｚｒｊｄｄｓ／ａｒｃｈｉｖｅ／２００８／０１／０２／２０１０７３０．ａｓｐｘ．

[ ２ ] 陳兆乾，周志華，陳世福． 神經計算研究現狀及發展趨勢． 南京

大學計算機軟件新技術國家重點實驗室，２００８：３－７．

[ ３ ] 趙艷． 神經計算與量子神經計算的研究綜述[Ｊ]． 計算機與信息

技術，２００９（５）．

[ ４ ] 周政． ＢＰ神經網絡的發展現狀綜述[Ｊ]． 山西電子技術，２００８（２）．