帶有高斯擾動的混沌神經網絡及應用

許楠, 劉桂陽 ,徐耀群

(1.黑龍江八一農墾大學 信息技術學院，黑龍江 大慶 163319； 2.哈爾濱商業大學 系統工程研究所，黑龍江 哈爾濱 150028)

制造混沌神經計算機一直是人們追求的目標，然而由于元器件的不穩定性，在一定情況下勢必會出現微小擾動從而對網絡模型產生影響，擾動的引入使得混沌神經網絡具有更加復雜的動力學特性，同時對網絡的應用產生一定影響，影響嚴重時會導致網絡失穩，因此研究神經網絡的抗擾動能力是有必要的。高斯函數是徑向基函數[1]的一種，同其他徑向基函數一樣存在寬度參數，本文在Chen’s混沌神經網絡基礎上引入高斯函數擾動，對網絡內部狀態進行改進，分析了混沌神經元模型的動力學特性，以及寬度參數對擾動強弱的影響，在此基礎上研究混沌神經網絡的抗擾動能力，并在引入高斯函數擾動情況下，利用該網絡解決旅行商最短路徑(traveling salesman problem，TSP)問題，仿真結果表明，網絡具有較高的抗擾動能力。

1 帶高斯擾動的暫態混沌神經元模型

在Chen’s混沌神經網絡模型基礎上[2]，加入由高斯函數構成的擾動項，現將新模型的單個神經元模型描述如下：

x(t)=1/(1+exp(-y(t)/ε0))

(1)

y(t+1)=ky(t)-z(t)(x(t)-I0)+f(y(t))

(2)

z(t+1)=(1-β)z(t)

(3)

f(u)=exp(-u2/δ2)

(4)

式中：ε0是輸出函數x(t)的陡度參數；神經元的激勵函數x(t)選取Sigmoid函數；k為神經隔膜的阻尼因子，0≤k≤1；y(t)為神經元的內部狀態，其t+1時刻狀態受到t時刻狀態影響；z(t)是自反饋連接項；f(u)為高斯函數，它用來作為內部函數擾動項；δ是徑向基函數的擴展常數或稱寬度；β是退火參數，其值對z(t)有著決定性影響；I0為一正參數。

當參數選取ε0=0.1，y(1)=0.5，z(1)=0.5，k=0.9，I0=0.45，δ=0.05固定不變時，分別選取β=0.003與β=0.002 5時神經元的倒分岔圖和最大Lyapunov指數時間演化圖如圖1、2所示。

(a)神經元倒分叉圖

(b)最大Lyapunov指數時間圖1 β=0.003時神經元倒分叉圖與最大Lyapunov指數時間演化圖Fig.1 State bifurcation and the time evolution of the maximal Lyapunov exponent of the neuron when β=0.003

(a)神經元倒分叉圖

(b)最大Lyapunov指數時間圖2 β=0.002 5時神經元倒分叉圖與最大Lyapunov指數時間演化圖Fig.2 State bifurcation and the time evolution of the maximal Lyapunov exponent of the neuron when β=0.002 5

由圖1、2可知，加入了高斯擾動的混沌神經元具有暫態混沌動力學行為，網絡的搜索及收斂快慢依賴于模擬退火參數β的值，β為0.003時收斂點在t為800處，β為0.002 5時收斂點在t為950處。由式(3)不難分析出：β越小，模擬退火溫度[3]z(t)下一時刻較上一時刻變化越不明顯，溫度降低較慢，這就使得混沌搜索能夠充分發揮作用，相對搜索時間較長，從而可以逃離局部極小點限制，找到全局最小點；β較大時，模擬退火溫度z(t)下一時刻較上一時刻變化明顯，溫度較低、較快，這使得收斂速度得以加快，但若β過大，進入平衡點太過迅速，易使搜索陷入局部極小點，而不能求得全局最優解，因此應適當選取β值。

模擬退火參數β值對神經元模型的影響可以通過數學推理得出：β取值范圍在0<β<1,通過式(3)不難看出z(t)是一個遞減過程，遞減速度由(1-β)控制，而(1-β)隨著β值的增大而減小，也就是說，β值越大，z(t)遞減得越快，β值越小，z(t)遞減得越慢，相對的模擬退火溫度冷卻較緩慢。

下面考查高斯函數的寬度參數δ對該神經元動力學特性的影響。當參數選取ε0=0.1，y(1)=0.5，z(1)=0.5，k=0.9，I0=0.45，β=0.003固定不變時，選取δ=0.07時神經元的倒分岔圖和最大Lyapunov指數時間演化圖如圖3所示。

當β=0.003時，δ=0.05的倒分岔圖和最大Lyapunov指數時間演化圖與圖3比較不難看出：δ=0.07混沌搜索進入穩定狀態的位置是t為700左右，很明顯比δ=0.05時穩定位置t為800左右搜索過程縮短，收斂點提前。說明δ越小加入到內部狀態y(t)中的擾動就越大，從而影響了網絡混沌搜索的隨機性及軌道遍歷性[4]，隨機性可以保證大范圍搜索能力，軌道遍歷性使系統按自身的演化行為不重復地遍歷所有可能狀態，它具有使網絡避免陷入局部極小的能力求解能力，因此δ取值應控制高斯函數所產生的擾動在一定范圍內，才能使網絡能夠快速、有效的求解全局最小點。

(a)神經元倒分叉圖

(b)最大Lyapunov指數時間圖3 δ=0.07時神經元倒分叉圖與最大Lyapunov指數時間演化圖Fig.3 State bifurcation figure and the time evolution figure of the maximal Lyapunov exponent of the neuron when δ=0.07

由式(4)可以通過仿真試驗做出如圖4所示的高斯曲線。

圖4 δ=1與δ=2時的高斯曲線Fig.4 Gaussian function when δ=1 and δ=2

由該圖可以看出：寬度越小，高斯曲線數值在0值兩端變化越迅速，曲線較“陡峭”且趨向于垂直橫軸；寬度越大，高斯曲線數值在0值兩端變化緩慢，曲線較“平穩”，趨向于弧線。這說明對于徑向基函數而言，寬度參數決定該函數的選擇性，寬度越小，函數的選擇性[5]越大，產生的擾動比較強烈；寬度越大，函數的選擇性降低，所產生的擾動相對而言不是很大，對網絡的求解能力影響減弱。

2 帶高斯擾動的混沌神經網絡模型

根據上述帶有高斯擾動的混沌神經元模型，構造如下帶有高斯函數擾動的暫態混沌神經網絡模型：

x(t)=1/(1+exp(-y(t)/ε0))

(5)

yi(t+1)=kyi(t)+f(y(t))+

(6)

zi(t+1)=(1-β)zi(t)

(7)

f(u)=exp(-u2/δ2)

(8)

網絡模型中i=1,2,…,n；xi(t)是由Sigmoid函數構成的激勵函數；yi(t)為內部狀態；k為神經隔膜的阻尼因子，0≤k≤1，表示網絡記憶保留或遺忘內部狀態的能力，其值越接近1越表明下一時刻內部狀態變化不大，保留能力較強，其值越接近0表明下一時刻內部狀態有很大變動，遺忘能力較強；zi(t)自反饋連接項，其值是不斷減小的，當減小到趨近0值時，網絡將結束混沌搜索狀態，進入穩定平衡狀態；β是模擬退火參數；wij為從神經元j到神經元i的連接權值，且wij=wji，wii=0；Ii為神經元i的輸入偏差；γ為輸入的正的尺度參數，代表著能量函數對動態特性的影響，γ過大則能量函數影響太強，有可能無法得到暫態混沌現象，γ過小則能量函數影響太弱，有可能無法收斂到最優解；I0為一正參數；f(u)為高斯函數，其中δ為寬度參數。

圖5 δ=0.03時內部狀態y(t)隨迭代次數的變化曲線Fig.5 The curve for the change of y(t) when δ=0.03

圖6 δ=0.05時內部狀態y(t)隨迭代次數的變化曲線Fig.6 The curve for the change of y(t) when δ=0.05

隨著時間t的推移，y(t)變化幅度越來越小，δ為0.03時，y(t)穩定在0.06附近，而δ為0.05時，y(t)穩定在0.1附近，不妨通過式(8)對此進行數學推導，δ越小，u2/δ2越大，exp(u2/δ2)越大，但是exp(-u2/δ2)卻反而越小，因此，δ越小，擾動項f(u)對內部狀態改變會增強，而隨著時間的推移，內部狀態會穩定在較低值，由此，更能理解上述結果。

3 解決旅行商最短路徑問題(TSP)

旅行商最短路徑問題(TSP)[7]可描述為：給定n個城市以及每2個城市之間的距離，若要使旅行商經過每個城市且各城市僅經過一次，求最短路線。

所求最短路徑并滿足TSP問題約束條件的一個能量函數如式(9)描述。

(9)

式中：Vxi為神經元輸出，代表第x個城市在第i次序上被訪問，dxy為城市x、y之間的距離。由于行列式的對稱性，系數A=B，一個全局最小的E值代表一條最短的有效路徑。本文采用以下經典歸一化后的10個城市坐標：(0.4, 0.443 9); (0.243 9, 0.146 3); (0.170 7, 0.229 3); (0.229 3, 0.71 6); (0.517 1,0.941 4); (0.873 2, 0.653 6); (0.687 8, 0.521 9); (0.848 8, 0.360 9); (0.668 3, 0.253 6); (0.619 5, 0.263 4)。該10城市最短路徑為2.677 6，路徑如圖7。

圖7 10個城市TSP問題的最優解Fig.7 The optimal distance of 10 city TSP

當取ε0=0.2，z(1)=0.5，k=0.88，I0=0.9，β=0.3，A=2，D=5，γ=0.6固定不變時，分別選取不同的寬度參數δ值，研究其對TSP求解的影響，表1是該情況下200次隨機分配初始值的仿真數據結果。

表1 在不同δ值條件下200次隨機分配初始值的試驗數據

由表1可以看出： 當寬度參數δ的值在[0.676,0.710]時網絡的合法路徑比例均為100%，最優路徑比例均在85%以上，說明δ若在此區間取值，擾動不是很強烈，不會對網絡的尋優能力造成很大影響；但隨著δ取值的不斷減小，網絡的合法路徑以及最優路徑比例均有所下降，說明隨著δ的減小，高斯函數產生的擾動越來越強烈，使網絡不能很好地利用混沌的全局遍歷特性，致使求解能力下降，尤其當δ取值小于0.664時，合法路徑與最優路徑比例下降迅速，因此，網絡的抗擾動能力隨著寬度值的減小而變弱。

除了徑向基函數的寬度參數外，神經隔膜阻尼因子[8]k對網絡的尋優能力也有很大影響，當取ε0=0.2，z(1)=0.5，δ=0.7，I0=0.9，β=0.3，A=2，D=5，γ=0.6固定不變時，分別選取不同的k值，研究其對TSP求解的影響，表2是該情況下200次隨機分配初始值的仿真數據結果。可以看出，在δ及其他參數固定情況下，高斯函數形成的擾動作用于網絡，此時的網絡具有一定的抗干擾能力，但也較敏感依賴于神經隔膜阻尼因子的取值，當k值在[0.876,0.882]范圍內時，網絡的合法路徑比例為100%，最優路徑比例均在80%以上，但隨著k值的減小，合法路徑及最優路徑比例均明顯下降，說明該網絡在內部狀態記憶能力較強時，可以逃離極小點限制，而在內部狀態遺忘能力較強時，網絡求解組合優化問題的能力大大降低，網絡不易求得全局最優解。

表2 在不同k值情況下200次隨機分配初始值的試驗數據

由表2上述仿真實驗結果，受到網絡模型各個參數的制約，某一參數改變會影響全局結果，這也是混沌神經網絡的特性之一，即敏感依賴于網絡參數初值，因此上述結果是在其他參數值固定不變的情況下得出的優化性能情況，并不具備普遍性，特在此說明。

4 結束語

本文將高斯擾動加入混沌神經網絡的內部狀態中，通過神經元倒分岔圖以及Lyapunov指數演化圖，分析了其混沌動力學行為，說明了高斯函數的寬度參數對混沌行為的影響。在帶有高斯擾動的神經元模型基礎上構建混沌神經網絡模型，通過簡化能量函數，模擬分析了內部狀態隨著迭代次數的變化情況，說明了寬度參數值越小，對網絡的擾動就會越強烈。將該網絡模型應用于求解TSP問題，通過仿真試驗可知，網絡具有較強的抗擾動能力，選取適當參數值，且擾動不是很強烈的情況下，仍然能以85%以上的最優路徑比例求得全局最優解。

參考文獻:

[1]黃永聰，張旭，吳義純，等. 改進的徑向基函數網絡的研究及應用[J]. 計算機技術與發展， 2010， 20(5): 164-167.

HUANG Yongcong, ZHANG Xu, WU Yichun, et al. Research and application of improved genetic algorithm- based RBFANN[J]. Computer Technology and Development，2010， 20(5): 164-167.

[2]CHEN L, AIHARA K. Chaotic simulated annealing by a neural network model with transient chaos[J]. Neural Networks, 1995, 8(6): 915-930.

[3]張慧，劉湘南，黃剛. 基于模擬退火遺傳算法的GMDH網絡模型[J]. 華中師范大學學報：自然科學版， 2013， 47(2): 24-28.

ZHANG Hui，LIU Xiangnan，HUANG Gang. The GMDH network model based on simulated annealing and genetic algorithm[J]. Journal of Huazhong Normal University: Natural Sciences Edition, 2013, 47(2): 24-28.

[4]HOPFIELD J. Neural networks and physical systems with emergent collective computational abilities[C]//Proceedings of the National Academy of Sciences. [S.l.], 1982, 79: 2554-2558.

[5]許楠，劉麗杰. 徑向基函數混沌神經元系統及其應用[J].計算機工程與應用，2014, 50(4): 73-76.

XU Nan， LIU Lijie. RBF chaotic neuron system and its application[J]. Compter Engineering and Application, 2014， 50(4)： 73-76.

[6]徐耀群，何少平，張莉. 帶擾動的混沌神經網絡研究[J]. 計算機工程與應用， 2008, 44(36)： 66-69.

XU Yaoqun， HE Shaoping， ZHANG Li. Research on chaotic neural network with disturbance[J]. Compter Engineering and Application， 2008， 44(36)： 66-69.

[7]代桂平，王勇，侯亞榮. 基于遺傳算法的TSP問題求解算法及其系統[J]. 微計算機信息， 2010， 26(4): 15-17.

DAI Guiping， WANG Yong， HOU Yarong. A TSP solving algorithm and system based on genetic algorithm[J]. Microcomputer Information， 2010， 26(4): 15-17.

[8]徐耀群，楊雪玲. 一類具有反三角函數自反饋的混沌神經網絡及其應用[J]. 哈爾濱商業大學學報：自然科學版， 2010(3)： 72-76.

XU Yaoqun，YANG Xueling. A class of chaotic neural networks with anti-trigonometric function self-feedback and its application[J]. Journal of Harbin University of Commerce: Natural Sciences Edition，2010，6(3)： 72-76.