BP神經網絡的權值快速計算法及其逼近性能分析

劉暢

【摘 要】人工神經網絡作為人工智能的重要組成部分，有非常大的應用潛力。本文在闡述其神經網絡的基本原理、發展與應用的基礎上，著重研究了BP神經網絡算法與其它一些優化算法之間相互融合的改進。BP神經網絡在人工神經網絡模型中是最典型、最好用、也是應用最廣泛的一種網絡模型。它是多層前向神經網絡的一種，可以用任意精度逼近任意非線性函數，逼近性能尤其明顯，最關鍵是它結構簡單，是一種性能優良且簡單易看的神經網絡。

【關鍵詞】BP神經網絡；BP算法；函數逼近；神經元

1 研究背景與意義

1943年心理學家W.McCulloch 和數理邏輯學W.Pitts 首先提出了一個極為容易的神經網絡模型，雖然該模型相對來說比較容易，但它為進一步的研究打下了一定的基礎。直到20世紀80年代，美國物理學家J.J.Hop field提出一種反饋互連網，稱為Hop field網，D.E.和J.L.等人提出多層前饋網的反向傳播算法，簡稱BP算法。至此才掀起了研究神經網絡的熱潮。隨著嵌入式系統在生活中的應用越來越普遍，像在手拿設備、交通工具控制、企業工業控制、安防設備裝置等各個領域的廣泛應用，人們將各種智能化設備應用于嵌入式系統來方便控制各種操作應用問題，其應用范圍的不斷擴大，將越來越受到各個不同領域專家的著重關注。傳統人工神經網絡使用的浮點數權值和光滑激勵函數，在運作時需要進行許多大容量的浮點數算術運算，這種在資源和性能都有一定局限的嵌入式系統里很難做到。大量的浮點數權值相對的需要大量的存儲空間，這對于要求存儲容量相對精簡的嵌入式系統來說是一項不太劃算的開銷，而且在運算能力比較薄弱的嵌入式處理器上進行大量的浮點數運算會導致整個系統的實時性能下降，不符合嵌入式系統在較高實時性能要求環境中的應用。為此，需要一個較精簡的人工神經網絡模型以適用在嵌入式系統中來實現目標。

2 研究現狀與發展趨勢

隨著我們生活的一步步前進，技術也在慢慢升起，接踵而來的工程問題不斷增加，在實際生活中應用中幾乎所有神經網絡的權值精度是有一定范圍的，隨著應用的不斷深入我們生活；有限精度神經網絡的性能越發光彩。如何去減少權值精度已經讓我們學者開始產生極大興趣。這研究一般分為兩個方向。其一是現在所學的網絡計算法訓練法進行改正，使得正確率更加的精準。另外一個方向則是是序列化訓練法。這門技術就是用線性函數來替換其他的函數來當做神經元激活函數。這個算法的有點就是能夠極小的縮短誤差陷阱。

1）將網絡的最開始的變化參數停留在一定的范圍中；

2）限制參數改變條件，當平均誤差比網絡訓練誤差還要小的時候才進行參數變化。實驗證明這算法在1到2位權值精度也能得到良好的收斂。

2001年，Beiu在經過自己一系列的實驗之后所表達了自己的觀點，低精度權值神經網絡確實有防止噪聲的的污染的有點。使得他在這方面具有了很大的影響以及關注。這類網絡可以簡單并且有效率的在硬件中實現，且在VLSI中可以有效控制芯片面積和存儲容量。

3 神經網絡的模型

這樣的模型向神經網絡的如圖所示，用到的是三個方面，為輸入層，隱層，輸出層，從頭到尾的鏈接是按照隨機抽取的，范圍是0到1，把所有的神經元的值都設為0。出去和進來的神經元都是從線性恒等函數f（x）=x作為激勵函數，而隱層神經元則以一組慢慢加高的正交多項式作為激勵函數。

4 權值與結構確定法

定理1中間到最后的輸出層的向量為ω、輸入受激勵矩陣Ф和所需的的目標向量γ可分開定義為：

為了實現快速、自動地確定出使網絡具有最佳逼近性能的隱層神經元數，基于定理1，本文提出了一種新的有效方法，稱為權值與結構確定法。權值與結構確定法的算法具體描述如下，其中s表示當前篩選次數，E和n分別表示網絡的逼近誤差和隱層神經元數，Emin和nmin分別表示當前篩選次數下網絡所能達到的最小逼近誤差和相對應的隱層神經元數，而Eopt和nopt分別表示經s次篩選后網絡達到的最小逼近誤差和相對應的隱層神經元數：

1）先收取學習樣本集{（Xi，γi）}；設定s為1；設定Eopt為夠大的數值（如10）；

2）隨機選取輸入層到隱層的連接權值（范圍從0到1）；設定E與Emin相等；設定n、nmin為1；

3）若滿足E≤Emin或nmin≥n-3，則進入4），否則跳入7）；

4）建立輸入受激勵矩陣Ф，由所需的權值直接確定法（2）一步算出隱層到輸出層的最優權值，然后計算E；

5）若滿足E≤Emin，則Emin←E，nmin←n，進入6），否則不需上述賦值，直接進入6）；

6）n←n+1（添加到1個隱神經元），跳至3）；

7）若滿足Emin≤Eopt，則Eopt←Emin，nopt←nmin，并進入8），否則并不需要上述賦值，然后進入8）；

8）s←s+1，進入9）；

9）若滿足s=4（篩選4次），則進入10），否則跳至2）；

10）輸出運算時間、Eopt和nopt。

【參考文獻】

[1]熊浩，晏海華，黃永剛，等.一種基于BP神經網絡的代碼相似性檢測方法[J].計算機科學，2010，37（3）：159-164.

[2]Zhang Yu-nong， Wang Jun. Recurrent neural networks for nonlinear output regulation[J]. Automatica， 2001， 37（8）： 1161-1173.

[3]Rumelhart D， McClelland E. Parallel distributed processing： explorations in the microstructure of cognition[M]. Cambridge： The MIT Press， 1986.

[4]Li， Y.， Liu， K.J.R.： Static and Dynamic Convergence Behavior of Adaptive BlindEqualizers[Z]. IEEE Transactions on Signal Processing 44： 2736-2745（1996）.

[5]張雨濃，楊逸文，李巍.神經網絡權值直接確定法[M].廣州：中山大學出版社，2010.

[6]馮康.數值計算方法[M].北京：國防工業出版社，1978.

[責任編輯：楊玉潔]