基寬靈敏度分析的徑向基神經網絡代理模型

張艷霞，陳丹琪，韓瑩，劉道華

(1.防災科技學院 災害信息工程系,北京 101601； 2. 信陽師范學院 計算機與信息技術學院，河南 信陽 464000)

1 徑向基神經網絡結構

標準的徑向基神經網絡模型有3層結構組成，分別為輸入層、隱層和輸出層，輸入層神經元的個數同輸入樣本點維數相同，即輸入層對應著N維輸入矢量x=[x1x2…xN]，隱層由K個神經元組成，其與輸入層神經元全相連，其是通過隱層的激活函數將線性輸入空間映射到非線性隱層空間，每一個隱層神經元的激活函數有高斯型函數、多二次型函數、逆多二次型函數、薄板樣條函數組成，常取高斯型基函數[9-12]。

(1)

(2)

式中:h=[h1h2…hK]為隱層的輸出矢量，wij為隱層的第j個神經元與輸出層的第i個神經元的連接權。

2 變基寬靈敏度分析的RBF代理模型

2.1 變基寬的靈敏度分析

(3)

(4)

式中：N是輸入樣本x的維數，K是隱層神經元基寬數，也是隱層神經元個數。

基于文獻[14]提出的計算靈敏度方法，對于第i個神經元在擾動Δx下產生的偏差Si被定義為

(5)

故采用這種擾動遞歸計算方法，在第K次遞歸過程中，假設徑向基隱層神經元的第K-1個基寬已經被確定，即σi將被確定，因此對于第j個輸出神經元的靈敏度被定義為E[(Δyj)2]，即

(6)

式(6)經展開得

(7)

2.2 基寬靈敏度分析的RBF模型關鍵參數的獲取

由于靈敏度分析能確定徑向基關鍵參數的微小變化對整個徑向基構成的影響，但這種分析不能確定RBF模型的具體參數值，故采用靈敏度分析過程中的矩陣信息并應用正交分解方法確定RBF的各具體參數。假設Y=[y1y2…yL]T，L為訓練樣本數，yi(i=1,2,…,L)表示第i個輸出神經元，依據式(2)有

Y=HW=(QA)W

(8)

式中：Y、H、W分別為L×M、L×L、L×M維矩陣，徑向基各個隱層神經元基寬的確定可通過矩陣H的關鍵列分解得到，而H能被分解為QA，其中矩陣Q為L×L維陣并具有正交列[q1q2…qL]，A是一個L×L維上三角陣，具體的H、A陣表示為

在H陣分解過程中，只有一個列能被正交化，且在第K次分解時，一個正交列能夠被先前第K-1次正交列得到，具體的相關分解式為

(9)

通過式(9)計算矩陣H的各次迭代的正交列，并能通過RBF靈敏度分析對各正交列進行排序。

假設S(K)(σi)表示為在第K次迭代過程中前K-1個RBF寬度與該σi相關的qi值，且1≤i≤L。并將式(3)以及式(7)中的相關連接權用式(10)代替。

(10)

然后計算徑向基神經網絡K個隱層各個徑向基基寬的靈敏度值，并設Q(K)為第K次迭代的正交矩陣的值，而Q(K)被排序為

‖S(K)(c1)‖≥‖S(K)(c2)‖≥…‖S(K)(cL)‖

(11)

對采用RBF靈敏度分析獲得各個基寬的排序值，最終獲得RBF的關鍵基寬，從而獲得RBF整個結構的參數值。

2.3 基寬靈敏度分析的RBF代理模型構建算法

通過靈敏度分析及正交變換陣即可獲得徑向基基寬，即具體代理模型的結構參數，具體算法描述為：

1)通過L個訓練樣本數據點信息構建3層RBF網絡初始結構，并對該網絡結構的所有參數進行初始化，包括構建矩陣H、K個隱層節點、每個隱層徑向基函數中心、基寬以及隱層與輸出層的所有連接權wij的初始化。

2)依據靈敏度分析式(7)計算H中的每一列值，并將該列最大靈敏度值賦給Q(1)，然后計算該訓練樣本的輸出值與樣本的期望值的差值E(1)，此時設置K=2。

3)依據式(9)計算正交陣H中的剩余Q(K-1)列。

5)判斷E(K)-E(K-1)≤δ,δ為事先設定的常數值，如果該式成立，則轉7)；否則轉6)。

6)計數器K=K+1，并轉3)。

7) 輸出矩陣Q(K)中的第K列值，即為該徑向基函數神經網絡的所有隱層神經元的高斯基基寬。

3 實例測試

(12)

式中：fe(x(i))、f(x(i))分別為模型的真實值、代理模型獲得的輸出值。

F1:f(x,y)=

100≤x,y≤100

F2:f(x,y)=

-3≤x≤3,-2≤y≤2

在實驗過程中，采用Intel(R) Core(TM) i3-2120, 3.30GHz CPU，并在MATLAB7.0編程環境下實驗，且參數δ=0.45。表1、2為試驗對比結果。

表1 訓練時間對比

表2 標準差對比

由表1、表2中可知，在相同的訓練樣本點數時，采用本文方法所需要的訓練時間都比采用固定基寬方法需要的時間長，這主要是由于采用該方法時，各個隱層徑向基基寬在每一次訓練過程中均需要進行靈敏度分析，且需要正交矩陣相關列的計算以及連接權值的調整，但從獲得的代理模型精度上來看，不管采用樣本數多少，本文所提方法獲得模型的標準差均遠小于采用固定基寬方法，前者精度比后者精度高一個數量級。從樣本點數多少來對比模型的精度，樣本點數足夠大并不能提高模型精度，也就是訓練樣本點取合適足夠數即可，無需采集大樣本數據進行徑向基網絡的訓練，該結果也可從2種模型的對比圖(如圖1～6所示)反映出，其中圖1、2和3分別為函數F1在樣本點R為80、200、500情況下獲得的模型圖，圖4、5和6分別為函數F2在樣本點R為80、200、500情況下獲得的模型圖。

圖1 測試函數F1在數據樣本點為80時獲得的模型Fig.1 The obtained model for the testing function F1(R=80)

圖2 測試函數F1在數據樣本點為200時獲得的模型Fig.2 The obtained model for the testing function F1(R=200)

圖3 測試函數F1在數據樣本點為500時獲得的模型 圖4 測試函數F2在數據樣本點為80時獲得的模型Fig.3 The obtained model for the testing function F1(R=500) Fig.4 The obtained model for the testing function F2(R=80)

圖5 測試函數F2在數據樣本點為200時獲得的模型 圖6 測試函數F2在數據樣本點為500時獲得的模型Fig.5 The obtained model for the testing function F2(R=200) Fig.6 The obtained model for the testing function F2(R=500)

4 結束語

合適的徑向基基寬能提高代理模型的近似精度，本文通過對徑向基基寬的靈敏度分析，并對正交矩陣的最大列求解，從而獲得隱層各神經元的高斯徑向基基寬，最終獲得徑向基神經網絡代理模型結構。采用具體的兩測試函數進行驗證，證實了這種基寬靈敏度分析的徑向基代理模型比采用傳統的固定基寬的代理模型具有更高的模型近似精度。同時在實驗過程中，也獲得采用該方法在構建穩定的代理模型時并不需要太多的訓練樣本點。為提高代理模型的近似精度，該文只是采用對基寬的靈敏度分析，在以后的工作中有待進一步驗證，在基寬靈敏度分析的基礎上，同時進行中心靈敏度分析，這樣也許能更進一步提高代理模型的精度。

參考文獻:

[1]MANOLIS W, NICOLAS T, STEFANOS K. Intelligent initialization of resource allocating RBF networks[J]. Neural Networks, 2005(18): 117-122.

[2]WEI Z, KATIE S, NAN S. Genomic signatures characterize leukocyte infiltration in myositis muscles[J]. BMC Medical Genomics, 2012(5): 1-53.

[3]FRANCESCO P, MASSIMILIANO R, SIMONE R. Numerical and experimental characterization of a novel modular passive micromixer[J]. Biomedical Microdevices, 2012, 14(5): 849-862.

[4]張健，李為吉.飛機多學科設計優化中的近似方法分析[J]. 航空計算技術, 2005, 35(3): 5-8.

ZHANG Jian, LI Weiji. Approximation methods analysis in multidisciplinary design optimization[J]. Aeronautical Computer Technique, 2005, 35(3): 5-8.

[5]趙磊，賈振紅，覃錫忠，等. 基于k均值和量子遺傳算法的RBF網絡優化[J]. 計算機工程, 2011, 37(10): 152-153

ZHAO Lei, JIA Zhenhong, QIN Xizhong, et al. RBF network optimization based on k-means and quantum genetic algorithm[J]. Computer Engineering, 2011, 37(10): 152-153.

[6]李樂慶，康寶生. 基于RBF的散亂點曲面重構[J].西北大學學報, 2011, 41(2): 221-225.

LI Leqing, KANG Baosheng. RBF-based surface reconstruction from scattered data[J]. Journal of Northwest University, 2011, 41(2): 221-225.

[7]MARINARO M, SCARPETTA S. On-line learning in RBF neural networks:a stochastic approach[J]. Neural Networks, 2000(13): 719-729.

[8]張占南. 基于RBF神經網絡的γ能譜分析[D]. 大連： 遼寧師范大學， 2011: 43-58.

ZHANG Zhannan. The analysis ofγspectrum by RBF network[D]. Dalian：Liaoning Normal University, 2011: 43-58.

[9]DAVID C, CHEN X W. Radial basis function neural networks for nonlinear fisher discrimination and neyman-pearson classification[J]. Neural Networks, 2003(16): 529-535.

[10]NAM M D, THANH T C. Numerical solution of differential equations using multiquadric radial basis function networks[J]. Neural Networks, 2001(14): 185-199.

[11]劉道華,張禮濤.基于正交最小二乘法的徑向基神經網絡模型[J].信陽師范學院學報, 2013, 26(3): 428-431.

LIU Daohua,ZHANG Litao. Radial basis function neural network model based on orthogonal least squares[J]. Journal of Xinyang Normal University, 2013, 26(3): 428-431.

[12]KON M A, PLASKOTA L. Information complexity of neural networks[J]. Neural Networks, 2000(13): 365-375.

[13]SHI D, YEUNG D S, GAO J. Sensitivity analysis applied to the construction of radial basis function networks[J]. Neural Networks, 2005(18): 951-957.

[14]ZENG X, YEUNG D S. A quantified sensitivity measure for multilayer perceptron to input perturbation[J]. Neural Computation, 2003(15):183-212.