基于廣義回歸神經網絡（GRNN）的函數逼近

徐富強 鄭婷婷方葆青

（1 巢湖學院數學系，安徽 巢湖 238000）

（2 安徽大學數學科學學院，安徽 合肥 230039）

（3 安慶職業技術學院，安徽 安慶 246003）

基于廣義回歸神經網絡（GRNN）的函數逼近

徐富強1，2鄭婷婷2方葆青3

（1 巢湖學院數學系，安徽 巢湖 238000）

（2 安徽大學數學科學學院，安徽 合肥 230039）

（3 安慶職業技術學院，安徽 安慶 246003）

本文利用徑向基網絡的一種變化形式——廣義回歸神經網絡（GRNN）提出了基于廣義回歸神經網絡的函數逼近方法，利用matlab中的神經網絡工具箱設計了GRNN模型，用于對非線性函數的逼近。通過網絡的訓練、測試達到了預期的效果，并與BP網絡、RBF網絡對比，說明GRNN網絡的優勢。

神經網絡；徑向基神經網絡；BP網絡；GRNN網絡；spread；matlab

1 引言

神經網絡的數學理論本質上是非線性的數學理論,因此,現代非線性科學方面的進展必將推動神經網絡的研究。同時,神經網絡理論也會對非線性科學提出新課題。目前,利用神經網絡以及與其它方法相結合對非線性函數進行逼近的文章也不少,理論及方法,各有千秋。有利用BP神經網絡工具箱設計BP神經網絡,用于對非線性函數的逼近；[2-4]有用徑向基函數神經網絡進行函數逼近的實現；[7]有基于傅里葉變換的神經網絡函數逼近方法；[8]有最小二乘算法與神經網絡結合應用于函數逼近的研究[9]等等。鑒于函數逼近及神經網絡的特點,本文提出廣義回歸神經網絡（GRNN）用于對非線性函數的逼近。

2 徑向基神經網絡

徑向基函數RBF神經網絡[6]（下簡稱RBF網絡）是一個只有一個隱藏層的三層前饋神經網絡結構，它與前向網絡相比最大的不同在于，隱藏層得轉換函數是局部響應的高斯函數，而以前的前向網絡、轉換函數都是全局響應的函數。由于這樣的不同，如果要實現同一個功能，RBF網絡的神經元個數就可能要比前向BP網絡的神經元個數要多。但是，RBF網絡所需要的訓練時間卻比前向BP網絡的要少。另外，徑向基神經網絡由于它的學習能力和非線性特性,使其也能夠對任意非線性函數進行很好的局部逼近。

RBF網絡的神經模型結構如圖1所示。由圖可見，RBF網絡傳遞函數radbas是以權值向量和閾值向量之間的距離‖dist‖作為自變量的，其中，‖dist‖是通過輸入向量和加權矩陣的行向量的乘積得到的。[5]

圖1 徑向基神經元模型結構

徑向基網絡傳遞函數的原型函數為：radbas（n）=e-n2，其中radbas為徑向基函數，一般為高斯函數。

徑向基神經網絡同樣是一種前饋反向傳播網絡，它有兩個網絡層：隱層為徑向基層；輸出為一線性層，如圖2所示。

圖2 徑向基神經網絡模型

3 廣義回歸神經網絡（GRNN）

廣義回歸神經網絡（GRNN）是由輸入層、隱含層和輸出層構成的3層前向網絡，它具有一個徑向基網絡層和一個特殊的線性網絡層。其結構如圖3所示。

圖3 GRNN模型結構

網絡的第1層為信號輸入層，輸入向量傳遞到隱含層，隱含層有Q個神經元，節點函數為高斯函數，輸人權值矩陣為LW1，1，閾值向量為b1；輸出層為一個特定的線性層，同樣含有Q個神經元，權值函數為歸一化點積權函數，節點函數為純線性函數，相應的權值矩陣為LW2，1。GRNN網絡的第3層稱為特定的線性輸出層，之所以稱為特定的線性層是因為隱含層輸出不是直接作為線性神經元的輸入，而是先將隱含層的輸出與本層的權值矩陣LW2，1作歸一化點積運算后再作為權輸入再送人傳遞函數；本層傳遞函數為線性函數。因此，網絡的輸出可用如下表達式表示：

在GRNN的訓練中，徑向基神經元的數目、線性神經元的數目與輸入訓練樣本中輸入向量個數相同，網絡訓練的目的就在于生成合適的權值矩陣LW1，1和LW2，1。以及閾值向量b1。

GRNN的訓練屬于有監督式訓練，分為2步：

第1步為無教師式學習，確定訓練輸入層與隱含層間的權值LW1，1，生成的閾值b由網絡設計參數即擴展常數spread決定，b=0.8326／spread；

第2步為有教師學習，根據提供的目標向量集來訓練生成隱含層與輸出層問的權值矩陣LW1，1。[1]

4 GRNN的函數逼近及matlab實現

MATLAB是一種面向科學與工程計算的高級語言，允許用數學形式的語言來編寫程序，它提供的神經網絡工具箱幾乎涵蓋了所有的神經網絡的基本常用模型，[2]其中也涵蓋了GRNN的網絡函數newgrnn（ ）。

下面我們用MATLAB中的GRNN網絡函數實現對非線性函數y=e-x+sin3x+cos2x（3≤x≤5）的逼近。

先繪制該非線性函數的曲線，如圖4所示。

圖4 y=e-x+sin3x+cos2x（3≤x≤5）函數曲線

為檢驗GRNN網絡的擬合曲線應用，選取21個樣本點，如下

X值 3 3.1 3.2 3.3 3.4 3.5函數y值 1.4221 1.1660 0.8596 0.5296 0.2029 -0.0956 3.6 3.7 3.8 3.9 4 4.1 4.2-0.3453 -0.5313 -0.6457 -0.6878 -0.6638 -0.5858 -0.4707 4.3 4.4 4.5 4.6 4.7 4.8 4.9 5-0.3377 -0.2067 -0.0962 -0.0211 -0.0087 -0.0108 -0.0772 -0.1820

選取這21樣本得到了網絡的輸入變量t和目標變量p

輸入與輸出單元均為1，擴展常數spread值分別選取1、0.5、0.3、0.1、0.01，以檢驗不同的spread值對網絡逼近性能的影響。

此時網絡的輸出與逼近效果如圖5所示。由圖可見，spread值越小網絡對函數的逼近效果越好，spread值越大逼近效果越差。

圖5 網絡逼近效果

spread值取不同值時網絡對函數的逼近誤差曲線如圖6，由圖可見，當選取spread值越小時，逼近誤差越小，此例中選取spread=0.01時說明網絡對函數的逼近效果是非常好的。

圖6 網絡的逼近誤差曲線

很多學者在討論函數逼近時也常用BP網絡。BP網絡用于函數逼近時，權值的調節采用的是負梯度下降法，這種調節權值的方法有它的局限性，易存在收斂速度慢和局部極小等缺點。[5]

下面用BP網絡對本例函數逼近，在此，該網絡的輸入層和輸出層的神經元個數均為1，隱含層神經元取8，設計一個2500次訓練的BP網絡，傳遞函數為tansig，輸出層神經元的傳遞函數為purelin,訓練函數采用traingdx，而且網絡經過212次訓練后達到了目標誤差。訓練完成所用時間為2.453s，訓練結果如圖7。曲線擬合結果見圖8。

圖8 BP網絡逼近效果

若采用RBF網絡對該函數逼近。為了方便比較，在此RBF網絡和GRNN網絡的spread值都取0.1。RBF網絡訓練完成所用時間為0.2190s，GRNN網絡訓練完成所用時間為0.0320s，逼近效果比較如圖9。

圖9 RBF和GRNN網絡的逼近效果比較

5 總結

本文使用GRNN網絡進行對非線性函數的逼近，并討論了擴展常數spread對逼近效果的影響。理論上講spread值越小，對函數的逼近就越精確，spread越大，逼近誤差會比較大。[6]這也與實際逼近相吻合。并且通過對BP網絡與RBF網絡的比較，GRNN網絡作為RBF網絡的一種變化形式，在逼近能力、學習速度上明顯優于BP網絡與RBF網絡。

文中僅以一例說明GRNN在非線性函數逼近方面應用，對于僅提供若干樣本的非線性函數，其實只需適當修改上述模型就可以應用于函數的逼近，適當選取spread值可獲得較小誤差逼近。這將有廣泛的應用。

[1]常永貴，林 穎等.基于GRNN神經網絡的工件智能矯正算法[J].起重運輸機械，2008，（2）.

[2]劉君堯，邱 嵐.基于BP神經網絡的函數逼近[J].福建電腦，2009，（8）.

[3]曹旭帆，葉 舟等.基于BP神經網絡的函數逼近實驗及MATLAB實現[J].實驗室研究與探索，2008，（5）

[4]馮 蓉，楊建華.基于BP神經網絡的函數逼近的MATLAB實現[J].榆林學院學報，2007，（2）.

[5]周開利，康耀紅著.神經網絡模型及其matlab仿真程序設計[M].清華大學出版社，2005.

[6]葛哲學，孫志強著.神經網絡理論與matlabr 2007實現[M].北京：電子工業出版社，2007.

[7]劉君堯，邱 嵐.基于徑向基函數神經網絡的函數逼近[J].大眾科技，2009，（9）.

[8]謝 超，高大啟.一種基于傅里葉變換的神經網絡函數逼近方法[J].計算機工程與科學，2005，27（2）.

[9]朱 藝，孫麗英等.最小二乘算法在神經網絡函數逼近方面的研究[J].山西電子技術，2007，（5）.

FUNCTION APPROXIMATION BASED ON GENERAL REGRESSION NEURAL NETWORK（GRNN）

XU Fu-qiang1,2ZHENG Ting-ting2FANG Bao-qing3
（1 Department of Mathematics ，Chaohu College，Chaohu Anhui 238000）
（2 School of Mathematical Sciemes，Anhui University，Hefei Anhui 230039）
（3 Anqing Vocational and Technical College，Anqing Anhui 246003）

In this paper,author proposed function approximation methods based on generalized regression neural network,avariation of RBF network.Using the nerve network kit of matlab designed grnn model to approach of nonlinear function.Through the network training and testing achieved the desired results.Shows the advantages of GRNN network With BP network and RBF network compared.

neural network；RBFNN；BP network；GRNN network；spread；matlab

O157.5

A

1672－2868（2010）06－0011－06

2010-09-09

徐富強（1984-），男，安徽巢湖人。巢湖學院數學系教師，安徽大學數學科學學院在讀碩士。

責任編輯：陳 侃