基于免疫算法的RBF網(wǎng)絡(luò)優(yōu)化
2014-03-17 02:45:11夏躍偉
中國(guó)科技縱橫 2014年1期
夏躍偉
【摘 要】 針對(duì)RBF的網(wǎng)絡(luò)算法有多種，具有固定中心的RBF網(wǎng)絡(luò)訓(xùn)練算法、梯度下降的RBF網(wǎng)絡(luò)訓(xùn)練算法、最小二乘的RBF網(wǎng)絡(luò)訓(xùn)練算法，無(wú)論哪種算法，對(duì)于求RBF網(wǎng)絡(luò)隱節(jié)點(diǎn)的中心和標(biāo)準(zhǔn)參數(shù)都是比較困難的，如何使網(wǎng)絡(luò)學(xué)習(xí)達(dá)到要求的精度，本文提出了基于免疫算法的RBF網(wǎng)絡(luò)優(yōu)化的改進(jìn)算法，使隱節(jié)點(diǎn)的中心求解較為容易，有利于RBF網(wǎng)絡(luò)有效的推廣。
【關(guān)鍵詞】 RBF 網(wǎng)絡(luò)優(yōu)化 免疫 基函數(shù)
1 RBF網(wǎng)絡(luò)算法分析
設(shè)有一組數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練的目標(biāo)是使樣本的輸出誤差
（式1）
（式2）
（式3）
最小或者達(dá)到所需精度要求，式1中為目標(biāo)輸出，為實(shí)際輸出。RBF網(wǎng)絡(luò)的學(xué)習(xí)算法一般包括兩個(gè)不同的階段：隱層徑向基函數(shù)的中心的確定和徑向基函數(shù)權(quán)值學(xué)習(xí)調(diào)整。RBF算法有多種，下面列出具有固定中心的RBF網(wǎng)絡(luò)訓(xùn)練算法來(lái)進(jìn)行說(shuō)明：
具有固定中心的RBF網(wǎng)絡(luò)訓(xùn)練算法步驟分五步：①?gòu)妮斎胂蛄考羞x擇足夠數(shù)量的RBF中心，確保輸入向量空間的適當(dāng)取樣。②按式1計(jì)算RBF函數(shù)的擴(kuò)展參數(shù)。③初始化網(wǎng)絡(luò)輸出層權(quán)值為一些小的隨機(jī)值。④按式2計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)的輸出。⑤按式3求解網(wǎng)絡(luò)的權(quán)值。
2 RBF網(wǎng)絡(luò)應(yīng)用局限性
RBF網(wǎng)絡(luò)在非線性映射上采用了作用函數(shù)是局部的徑向基函數(shù)；具有唯一最佳逼近的特性，且無(wú)局部極小，但求RBF網(wǎng)絡(luò)隱節(jié)點(diǎn)的中心和標(biāo)準(zhǔn)參數(shù)是個(gè)困難的問(wèn)題；徑向?qū)ΨQ函數(shù)有多種，對(duì)于一組樣本，如何選擇合適的徑向基函數(shù)，如何確定隱節(jié)點(diǎn)數(shù)，以使網(wǎng)絡(luò)學(xué)習(xí)達(dá)到要求的精度，目前還沒(méi)有徹底解決。
RBF網(wǎng)絡(luò)在實(shí)際應(yīng)用中，雖具有唯一最佳逼近的特性以及無(wú)局部極小的優(yōu)點(diǎn)，但隱節(jié)點(diǎn)的中心難求，所以該網(wǎng)絡(luò)難以廣泛應(yīng)用，針對(duì)RBF網(wǎng)絡(luò)局限性我們提出一些改進(jìn)的學(xué)習(xí)算法。
3 基于免疫算法的RBF網(wǎng)絡(luò)優(yōu)化
免疫系統(tǒng)是指具有免疫功能的組織機(jī)構(gòu)。所謂免疫功能是機(jī)體對(duì)自身或者外來(lái)的抗原性物質(zhì)（細(xì)菌、病毒）進(jìn)行識(shí)別，通過(guò)產(chǎn)生免疫應(yīng)答（如產(chǎn)生抗體）將其清除，以維持機(jī)體內(nèi)環(huán)境相對(duì)穩(wěn)定的一種生理反應(yīng)，免疫系統(tǒng)具有記憶、學(xué)習(xí)和自組織調(diào)節(jié)功能，利用這些特性可以進(jìn)行數(shù)據(jù)聚類分析，將其應(yīng)用于RBF神經(jīng)網(wǎng)絡(luò)隱層數(shù)據(jù)中心的選擇，不僅計(jì)算效率高而且無(wú)需預(yù)先制定RBF隱層數(shù)據(jù)中心的數(shù)量。在免疫系統(tǒng)中，抗原—抗體相互作用的強(qiáng)度用它們的親和力來(lái)表示，設(shè)第個(gè)輸入數(shù)據(jù)與第個(gè)數(shù)據(jù)中心之間的親和力為即：=，，式中，為和之間的歐式距離，當(dāng)=時(shí)，它們之間的親和力為最大，而抗體與抗體之間的相互作用由它們的相似度來(lái)描述。確定隱層數(shù)據(jù)中心的免疫算法的具體步驟如下。
①對(duì)每一個(gè)輸入數(shù)據(jù)以一個(gè)確定的數(shù)量進(jìn)行隨機(jī)初始化C數(shù)據(jù)集。
②計(jì)算C中所有RBF數(shù)據(jù)中心與的親和力，選擇親和力最大的數(shù)據(jù)中心并復(fù)制個(gè)，產(chǎn)生一個(gè)RBF數(shù)據(jù)中心的復(fù)制集再應(yīng)用下式對(duì)個(gè)相同的數(shù)據(jù)中心進(jìn)行變異處理，形成變異集，為變異率。這一過(guò)程實(shí)際上是在有最大親和力的數(shù)據(jù)中心附近進(jìn)行搜尋以得到更有親和力的數(shù)據(jù)中心，即：
③重新計(jì)算中個(gè)經(jīng)過(guò)變異的數(shù)據(jù)中心與輸入數(shù)據(jù)的親和力，生成數(shù)據(jù)中心記憶集，去除中那些親和力低于閥值 的中心，產(chǎn)生一個(gè)經(jīng)過(guò)壓縮的數(shù)據(jù)中心記憶集。
④計(jì)算中各記憶數(shù)據(jù)中心之間的相似度，并除去那些相似度大于閥值的數(shù)據(jù)中心，這一過(guò)程體現(xiàn)了免疫系統(tǒng)中的克隆抑制，若，轉(zhuǎn)向步驟②，若，將全部輸入數(shù)據(jù)產(chǎn)生的數(shù)據(jù)中心記憶集合并為，轉(zhuǎn)向步驟⑤。
⑤計(jì)算中各個(gè)數(shù)據(jù)中心之間的相似度除去那些相似度大于閥值的數(shù)據(jù)中心，這一處理過(guò)程體現(xiàn)了免疫系統(tǒng)中的免疫抑制。
4 結(jié)語(yǔ)
通過(guò)對(duì)RBF網(wǎng)絡(luò)進(jìn)行免疫算法的優(yōu)化，增強(qiáng)了抗原-抗體，抗體-抗體的親和力，經(jīng)過(guò)免疫算法的改進(jìn)優(yōu)化，使選擇合適的徑向基函數(shù)，確定隱節(jié)點(diǎn)數(shù)變的較為容易，使網(wǎng)絡(luò)學(xué)習(xí)基本達(dá)到要求的精度，對(duì)于RBF網(wǎng)絡(luò)廣泛的應(yīng)用，奠定了一定的理論基礎(chǔ)。
參考文獻(xiàn)
[1]Abarbanel H D，Talathi S S，Gibb L，et al.Synaptic plasticity with discrete state synapses[J].Phs Rev E，2005，72：037914.
[2]Eurich C W，Wilke S D.Multi-dimensional encoding strategy of spiking neurons[J].neural Comput.，2000，12：1519-1529.
[3]張輝，柴毅.《一種改進(jìn)的RBF神經(jīng)網(wǎng)絡(luò)參數(shù)優(yōu)化方法》.計(jì)算機(jī)工程與應(yīng)用，2011，10.endprint
【摘 要】 針對(duì)RBF的網(wǎng)絡(luò)算法有多種，具有固定中心的RBF網(wǎng)絡(luò)訓(xùn)練算法、梯度下降的RBF網(wǎng)絡(luò)訓(xùn)練算法、最小二乘的RBF網(wǎng)絡(luò)訓(xùn)練算法，無(wú)論哪種算法，對(duì)于求RBF網(wǎng)絡(luò)隱節(jié)點(diǎn)的中心和標(biāo)準(zhǔn)參數(shù)都是比較困難的，如何使網(wǎng)絡(luò)學(xué)習(xí)達(dá)到要求的精度，本文提出了基于免疫算法的RBF網(wǎng)絡(luò)優(yōu)化的改進(jìn)算法，使隱節(jié)點(diǎn)的中心求解較為容易，有利于RBF網(wǎng)絡(luò)有效的推廣。
【關(guān)鍵詞】 RBF 網(wǎng)絡(luò)優(yōu)化 免疫 基函數(shù)
1 RBF網(wǎng)絡(luò)算法分析
設(shè)有一組數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練的目標(biāo)是使樣本的輸出誤差
（式1）
（式2）
（式3）
最小或者達(dá)到所需精度要求，式1中為目標(biāo)輸出，為實(shí)際輸出。RBF網(wǎng)絡(luò)的學(xué)習(xí)算法一般包括兩個(gè)不同的階段：隱層徑向基函數(shù)的中心的確定和徑向基函數(shù)權(quán)值學(xué)習(xí)調(diào)整。RBF算法有多種，下面列出具有固定中心的RBF網(wǎng)絡(luò)訓(xùn)練算法來(lái)進(jìn)行說(shuō)明：
具有固定中心的RBF網(wǎng)絡(luò)訓(xùn)練算法步驟分五步：①?gòu)妮斎胂蛄考羞x擇足夠數(shù)量的RBF中心，確保輸入向量空間的適當(dāng)取樣。②按式1計(jì)算RBF函數(shù)的擴(kuò)展參數(shù)。③初始化網(wǎng)絡(luò)輸出層權(quán)值為一些小的隨機(jī)值。④按式2計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)的輸出。⑤按式3求解網(wǎng)絡(luò)的權(quán)值。
2 RBF網(wǎng)絡(luò)應(yīng)用局限性
RBF網(wǎng)絡(luò)在非線性映射上采用了作用函數(shù)是局部的徑向基函數(shù)；具有唯一最佳逼近的特性，且無(wú)局部極小，但求RBF網(wǎng)絡(luò)隱節(jié)點(diǎn)的中心和標(biāo)準(zhǔn)參數(shù)是個(gè)困難的問(wèn)題；徑向?qū)ΨQ函數(shù)有多種，對(duì)于一組樣本，如何選擇合適的徑向基函數(shù)，如何確定隱節(jié)點(diǎn)數(shù)，以使網(wǎng)絡(luò)學(xué)習(xí)達(dá)到要求的精度，目前還沒(méi)有徹底解決。
RBF網(wǎng)絡(luò)在實(shí)際應(yīng)用中，雖具有唯一最佳逼近的特性以及無(wú)局部極小的優(yōu)點(diǎn)，但隱節(jié)點(diǎn)的中心難求，所以該網(wǎng)絡(luò)難以廣泛應(yīng)用，針對(duì)RBF網(wǎng)絡(luò)局限性我們提出一些改進(jìn)的學(xué)習(xí)算法。
3 基于免疫算法的RBF網(wǎng)絡(luò)優(yōu)化
免疫系統(tǒng)是指具有免疫功能的組織機(jī)構(gòu)。所謂免疫功能是機(jī)體對(duì)自身或者外來(lái)的抗原性物質(zhì)（細(xì)菌、病毒）進(jìn)行識(shí)別，通過(guò)產(chǎn)生免疫應(yīng)答（如產(chǎn)生抗體）將其清除，以維持機(jī)體內(nèi)環(huán)境相對(duì)穩(wěn)定的一種生理反應(yīng)，免疫系統(tǒng)具有記憶、學(xué)習(xí)和自組織調(diào)節(jié)功能，利用這些特性可以進(jìn)行數(shù)據(jù)聚類分析，將其應(yīng)用于RBF神經(jīng)網(wǎng)絡(luò)隱層數(shù)據(jù)中心的選擇，不僅計(jì)算效率高而且無(wú)需預(yù)先制定RBF隱層數(shù)據(jù)中心的數(shù)量。在免疫系統(tǒng)中，抗原—抗體相互作用的強(qiáng)度用它們的親和力來(lái)表示，設(shè)第個(gè)輸入數(shù)據(jù)與第個(gè)數(shù)據(jù)中心之間的親和力為即：=，，式中，為和之間的歐式距離，當(dāng)=時(shí)，它們之間的親和力為最大，而抗體與抗體之間的相互作用由它們的相似度來(lái)描述。確定隱層數(shù)據(jù)中心的免疫算法的具體步驟如下。
①對(duì)每一個(gè)輸入數(shù)據(jù)以一個(gè)確定的數(shù)量進(jìn)行隨機(jī)初始化C數(shù)據(jù)集。
②計(jì)算C中所有RBF數(shù)據(jù)中心與的親和力，選擇親和力最大的數(shù)據(jù)中心并復(fù)制個(gè)，產(chǎn)生一個(gè)RBF數(shù)據(jù)中心的復(fù)制集再應(yīng)用下式對(duì)個(gè)相同的數(shù)據(jù)中心進(jìn)行變異處理，形成變異集，為變異率。這一過(guò)程實(shí)際上是在有最大親和力的數(shù)據(jù)中心附近進(jìn)行搜尋以得到更有親和力的數(shù)據(jù)中心，即：
③重新計(jì)算中個(gè)經(jīng)過(guò)變異的數(shù)據(jù)中心與輸入數(shù)據(jù)的親和力，生成數(shù)據(jù)中心記憶集，去除中那些親和力低于閥值 的中心，產(chǎn)生一個(gè)經(jīng)過(guò)壓縮的數(shù)據(jù)中心記憶集。
④計(jì)算中各記憶數(shù)據(jù)中心之間的相似度，并除去那些相似度大于閥值的數(shù)據(jù)中心，這一過(guò)程體現(xiàn)了免疫系統(tǒng)中的克隆抑制，若，轉(zhuǎn)向步驟②，若，將全部輸入數(shù)據(jù)產(chǎn)生的數(shù)據(jù)中心記憶集合并為，轉(zhuǎn)向步驟⑤。
⑤計(jì)算中各個(gè)數(shù)據(jù)中心之間的相似度除去那些相似度大于閥值的數(shù)據(jù)中心，這一處理過(guò)程體現(xiàn)了免疫系統(tǒng)中的免疫抑制。
4 結(jié)語(yǔ)
通過(guò)對(duì)RBF網(wǎng)絡(luò)進(jìn)行免疫算法的優(yōu)化，增強(qiáng)了抗原-抗體，抗體-抗體的親和力，經(jīng)過(guò)免疫算法的改進(jìn)優(yōu)化，使選擇合適的徑向基函數(shù)，確定隱節(jié)點(diǎn)數(shù)變的較為容易，使網(wǎng)絡(luò)學(xué)習(xí)基本達(dá)到要求的精度，對(duì)于RBF網(wǎng)絡(luò)廣泛的應(yīng)用，奠定了一定的理論基礎(chǔ)。
參考文獻(xiàn)
[1]Abarbanel H D，Talathi S S，Gibb L，et al.Synaptic plasticity with discrete state synapses[J].Phs Rev E，2005，72：037914.
[2]Eurich C W，Wilke S D.Multi-dimensional encoding strategy of spiking neurons[J].neural Comput.，2000，12：1519-1529.
[3]張輝，柴毅.《一種改進(jìn)的RBF神經(jīng)網(wǎng)絡(luò)參數(shù)優(yōu)化方法》.計(jì)算機(jī)工程與應(yīng)用，2011，10.endprint
【摘 要】 針對(duì)RBF的網(wǎng)絡(luò)算法有多種，具有固定中心的RBF網(wǎng)絡(luò)訓(xùn)練算法、梯度下降的RBF網(wǎng)絡(luò)訓(xùn)練算法、最小二乘的RBF網(wǎng)絡(luò)訓(xùn)練算法，無(wú)論哪種算法，對(duì)于求RBF網(wǎng)絡(luò)隱節(jié)點(diǎn)的中心和標(biāo)準(zhǔn)參數(shù)都是比較困難的，如何使網(wǎng)絡(luò)學(xué)習(xí)達(dá)到要求的精度，本文提出了基于免疫算法的RBF網(wǎng)絡(luò)優(yōu)化的改進(jìn)算法，使隱節(jié)點(diǎn)的中心求解較為容易，有利于RBF網(wǎng)絡(luò)有效的推廣。
【關(guān)鍵詞】 RBF 網(wǎng)絡(luò)優(yōu)化 免疫 基函數(shù)
1 RBF網(wǎng)絡(luò)算法分析
設(shè)有一組數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練的目標(biāo)是使樣本的輸出誤差
（式1）
（式2）
（式3）
最小或者達(dá)到所需精度要求，式1中為目標(biāo)輸出，為實(shí)際輸出。RBF網(wǎng)絡(luò)的學(xué)習(xí)算法一般包括兩個(gè)不同的階段：隱層徑向基函數(shù)的中心的確定和徑向基函數(shù)權(quán)值學(xué)習(xí)調(diào)整。RBF算法有多種，下面列出具有固定中心的RBF網(wǎng)絡(luò)訓(xùn)練算法來(lái)進(jìn)行說(shuō)明：
具有固定中心的RBF網(wǎng)絡(luò)訓(xùn)練算法步驟分五步：①?gòu)妮斎胂蛄考羞x擇足夠數(shù)量的RBF中心，確保輸入向量空間的適當(dāng)取樣。②按式1計(jì)算RBF函數(shù)的擴(kuò)展參數(shù)。③初始化網(wǎng)絡(luò)輸出層權(quán)值為一些小的隨機(jī)值。④按式2計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)的輸出。⑤按式3求解網(wǎng)絡(luò)的權(quán)值。
2 RBF網(wǎng)絡(luò)應(yīng)用局限性
RBF網(wǎng)絡(luò)在非線性映射上采用了作用函數(shù)是局部的徑向基函數(shù)；具有唯一最佳逼近的特性，且無(wú)局部極小，但求RBF網(wǎng)絡(luò)隱節(jié)點(diǎn)的中心和標(biāo)準(zhǔn)參數(shù)是個(gè)困難的問(wèn)題；徑向?qū)ΨQ函數(shù)有多種，對(duì)于一組樣本，如何選擇合適的徑向基函數(shù)，如何確定隱節(jié)點(diǎn)數(shù)，以使網(wǎng)絡(luò)學(xué)習(xí)達(dá)到要求的精度，目前還沒(méi)有徹底解決。
RBF網(wǎng)絡(luò)在實(shí)際應(yīng)用中，雖具有唯一最佳逼近的特性以及無(wú)局部極小的優(yōu)點(diǎn)，但隱節(jié)點(diǎn)的中心難求，所以該網(wǎng)絡(luò)難以廣泛應(yīng)用，針對(duì)RBF網(wǎng)絡(luò)局限性我們提出一些改進(jìn)的學(xué)習(xí)算法。
3 基于免疫算法的RBF網(wǎng)絡(luò)優(yōu)化
免疫系統(tǒng)是指具有免疫功能的組織機(jī)構(gòu)。所謂免疫功能是機(jī)體對(duì)自身或者外來(lái)的抗原性物質(zhì)（細(xì)菌、病毒）進(jìn)行識(shí)別，通過(guò)產(chǎn)生免疫應(yīng)答（如產(chǎn)生抗體）將其清除，以維持機(jī)體內(nèi)環(huán)境相對(duì)穩(wěn)定的一種生理反應(yīng)，免疫系統(tǒng)具有記憶、學(xué)習(xí)和自組織調(diào)節(jié)功能，利用這些特性可以進(jìn)行數(shù)據(jù)聚類分析，將其應(yīng)用于RBF神經(jīng)網(wǎng)絡(luò)隱層數(shù)據(jù)中心的選擇，不僅計(jì)算效率高而且無(wú)需預(yù)先制定RBF隱層數(shù)據(jù)中心的數(shù)量。在免疫系統(tǒng)中，抗原—抗體相互作用的強(qiáng)度用它們的親和力來(lái)表示，設(shè)第個(gè)輸入數(shù)據(jù)與第個(gè)數(shù)據(jù)中心之間的親和力為即：=，，式中，為和之間的歐式距離，當(dāng)=時(shí)，它們之間的親和力為最大，而抗體與抗體之間的相互作用由它們的相似度來(lái)描述。確定隱層數(shù)據(jù)中心的免疫算法的具體步驟如下。
①對(duì)每一個(gè)輸入數(shù)據(jù)以一個(gè)確定的數(shù)量進(jìn)行隨機(jī)初始化C數(shù)據(jù)集。
②計(jì)算C中所有RBF數(shù)據(jù)中心與的親和力，選擇親和力最大的數(shù)據(jù)中心并復(fù)制個(gè)，產(chǎn)生一個(gè)RBF數(shù)據(jù)中心的復(fù)制集再應(yīng)用下式對(duì)個(gè)相同的數(shù)據(jù)中心進(jìn)行變異處理，形成變異集，為變異率。這一過(guò)程實(shí)際上是在有最大親和力的數(shù)據(jù)中心附近進(jìn)行搜尋以得到更有親和力的數(shù)據(jù)中心，即：
③重新計(jì)算中個(gè)經(jīng)過(guò)變異的數(shù)據(jù)中心與輸入數(shù)據(jù)的親和力，生成數(shù)據(jù)中心記憶集，去除中那些親和力低于閥值 的中心，產(chǎn)生一個(gè)經(jīng)過(guò)壓縮的數(shù)據(jù)中心記憶集。
④計(jì)算中各記憶數(shù)據(jù)中心之間的相似度，并除去那些相似度大于閥值的數(shù)據(jù)中心，這一過(guò)程體現(xiàn)了免疫系統(tǒng)中的克隆抑制，若，轉(zhuǎn)向步驟②，若，將全部輸入數(shù)據(jù)產(chǎn)生的數(shù)據(jù)中心記憶集合并為，轉(zhuǎn)向步驟⑤。
⑤計(jì)算中各個(gè)數(shù)據(jù)中心之間的相似度除去那些相似度大于閥值的數(shù)據(jù)中心，這一處理過(guò)程體現(xiàn)了免疫系統(tǒng)中的免疫抑制。
4 結(jié)語(yǔ)
通過(guò)對(duì)RBF網(wǎng)絡(luò)進(jìn)行免疫算法的優(yōu)化，增強(qiáng)了抗原-抗體，抗體-抗體的親和力，經(jīng)過(guò)免疫算法的改進(jìn)優(yōu)化，使選擇合適的徑向基函數(shù)，確定隱節(jié)點(diǎn)數(shù)變的較為容易，使網(wǎng)絡(luò)學(xué)習(xí)基本達(dá)到要求的精度，對(duì)于RBF網(wǎng)絡(luò)廣泛的應(yīng)用，奠定了一定的理論基礎(chǔ)。
參考文獻(xiàn)
[1]Abarbanel H D，Talathi S S，Gibb L，et al.Synaptic plasticity with discrete state synapses[J].Phs Rev E，2005，72：037914.
[2]Eurich C W，Wilke S D.Multi-dimensional encoding strategy of spiking neurons[J].neural Comput.，2000，12：1519-1529.
[3]張輝，柴毅.《一種改進(jìn)的RBF神經(jīng)網(wǎng)絡(luò)參數(shù)優(yōu)化方法》.計(jì)算機(jī)工程與應(yīng)用，2011，10.endprint
