時滯Hopfield神經網絡全局漸近穩定的弱條件

宿 娟

(成都師范學院 數學學院, 四川 成都 610044)

Hopfield神經網絡由美國加州物理學家Hopfield[1]于1984年提出,由于在優化問題[2-5]、模式識別[6]和協同記憶[7]等方面的廣泛應用,該網絡自提出以來就受到科學家們的持續關注.關于該網絡及其各種推廣的研究不斷涌現[8-11].然而在網絡的實際應用中,時滯的出現不可避免.對含時滯的Hopfield神經網絡的動力學行為的研究也在文獻[12]之后不斷出現,取得了突破性的進展[13-18],其中文獻[13]研究如下時滯Hopfield神經網絡

i=1,2,…,n,

(1)

xi(t)表示第i個神經元在t時刻的狀態變量,di>0表示網絡在不連通且無外部附加電壓差的情況下第i個神經元恢復孤立靜息狀態的速率,aij∈R表示第j個神經元對第i個神經元的影響強度,gj∈C(R)表示神經元的輸出函數,也稱為激活函數,時滯τij>0,Ii∈R表示外部輸入.系統(1)滿足初值條件

xi(t)=φi(t),t∈[-τ,0],

(2)

其中，τ:=max{τij:i,j=1,2,…,n},φi∈C([-τ,0],R).針對經典的激活函數gj(s)=tanh(μjs),其中μj(j=1,2,…,n)為非零常數,文獻[13]得出若滿足

(3)

則系統(1)存在唯一平衡點并且是全局漸近穩定的.進一步文獻[14]削弱文獻[13]中對激活函數gj具體形式的限制,僅假定其滿足有界和Lipschitz條件,得到系統(1)存在唯一的平衡點并且是全局漸近穩定的充分條件:

(4)

其中Lj>0是激活函數gj的Lipschitz常數.顯然tanh(μjs)滿足文獻[14]中激活函數的要求,并且Lipschitz常數為|μj|.同時比較(3)和(4)式,容易得出文獻[14]推廣了文獻[13]的工作.文獻[15]則再次削弱了對gj的要求,假設只滿足Lipschtz條件,得到系統(1)存在唯一平衡點并且全局漸近穩定的一個充分條件:DL-1-|A|為M-矩陣,其中D:=diag{d1,d2,…,dn},L:=diag{L1,L2,…,Ln}和|A|:=(|aij|)n×n.為了明確條件(4)式和DL-1-|A|為M-矩陣的關系,回顧文獻[15]中引理1關于M-矩陣的等價定義.得到結論如下:DL-1-|A|為M-矩陣當且僅當存在向量γ=(γ1,γ2,…,γn)>0,使得γ(DL-1-|A|)>0,這里“>0”表示向量的每個分量均大于0.特別當γi=1,i=1,2,…,n時

γ(DL-1-|A|)=

顯然γ(DL-1-|A|)>0當且僅當不等式(4)成立.由此說明(4)式是DL-1-|A|為M-矩陣的一個充分條件,從而文獻[15]推廣了文獻[14]的結論.

回顧上述全局漸近穩定條件[13-15],其中均要求嚴格不等.究其原因,在于Lyapunov函數的應用.準確的說,為了得到平衡點的全局漸近穩定,需要對所構造的Lyapunov函數沿系統(1)的解的導數嚴格小于零,以此保證平衡點的全局漸近穩定性.因此,條件(3)和(4)式以及M-矩陣等價條件中的嚴格不等就是為了Lyapunov函數沿系統解的導數嚴格小于0.至此一個很自然的問題產生:能否將條件的“<0”弱化為“≤0”?事實上對這樣的弱化問題,當系統(1)不含時滯,即τij=0時,文獻[19-20]分別針對不同激活函數進行了研究.文獻[19]研究系統(1)中τ=0,gj(s)=tanh(μs),其中μ>0時全局吸引的弱條件,這里弱條件體現在將文獻[21]工作中全局吸引的條件中的“<0”弱化至“≤0”.文獻[20]則研究了系統(1)中τ=0,矩陣A:=(aij)n×n對稱,gj滿足0

受文獻[14-15,19-20]的啟發,本文研究時滯系統(1)全局漸近穩定的弱條件.首先仍然需要構造Lyapunov函數,并計算該函數沿系統(1)解的導數,通過導數非正證明了系統(1)平衡點的穩定性.然后綜合利用反證法等基本分析方法證明該平衡點是全局吸引的.這里得到的吸引性條件體現了將已有結論中的嚴格小于弱化為不大于.由此給出系統(1)全局漸近穩定的一個弱條件.

1 預備知識

本文假設激活函數gj(j=1,2,…,n)滿足Lipschitz條件,即存在常數Lj>0滿足

(H1) |gj(s1)-gj(s2)|≤Lj|s1-s2|,?s1,s2∈R.

Lipschitz條件(H1)并不能確保系統(1)的平衡點的存在性.以下列一維系統為例

(5)

i=1,2,…,n,

(6)

其中

y(t):=x(t)-x*,

j=1,2,…,n.

(7)

并且由(H1)還得到

?s∈R,j=1,2,…,n.

(8)

除了假設(H1),還假設gj滿足

證明定義

j=1,2,…,n.

(10)

顯然

根據(H1),容易得到

|D+gj(s)|≤Lj,j=1,2,…,n.

(12)

從(9)式計算D+Fj,并根據(12)式得到

D+Fj(s)=-D+gj(s)+Lj≥0,

?s∈R,j=1,2,…,n,

(13)

其中D+表示右下Dini導數.根據文獻[22]附錄I中的定理2.1,從不等式(13)得出Fj在R上單調不減.進一步由(H2)和(9),計算得到

j=1,2,…,n,

(14)

(15)

將(9)式中Fj的定義代入(15)式,得到

j=1,2,…,n.

(16)

同理,對Hj(j=1,2,…,n)也成立

(17)

將(10)中Hj的定義代入(17)式,得到

j=1,2,…,n.

(18)

綜合(16)和(18)式,下列不等式成立

引理得證.

2 主要結論及證明

在上述準備工作的基礎上,下面將給出系統(1)全局漸近穩定的條件和具體證明.

定理2.1設系統(1)存在平衡點,gj(j=1,2,…,n)滿足(H1)和(H2).若存在常數γi>0使得

則系統(1)的平衡點唯一并且是全局漸近穩定的.

證明證明分成3步完成.

第一步,構造Lyapunov函數,證明系統(6)的零解的穩定性.定義

(19)

計算V(t)沿系統(6)的解的右上Dini導數,得到

利用(8)式進一步化簡(20)式,得到

根據α≤0,從(21)式得出

D+V(t)≤0,

(22)

說明系統(6)的零解是穩定的.

第二步,假設系統(6)的零解不吸引,從而對某個j∈{1,2,…,n},估計|yj(t)|在t屬于某個區間列時的上界和正的下界.

首先估計|yj(t)|,j=1,2,…,n的上界.顯然(22)式說明函數V(t)單調遞減,同時由于V(t)≥0,得出

(23)

結合V(t)的定義(19)式以及(23)式,將采用反證法得出如下結論:存在某個時間t′以及常數M>0,滿足

|yj(t)|≤M, ?t>t′,j=1,2,…,n. (24)

(25)

將(25)式結論用于V(t)的定義式(19)中,得到

V(ξk)≥γj0|yj0(ξk)|→+∞,k→+∞,

t>t0,i,j=1,2,…,n}<+∞.

(26)

將(24)和(26)式應用于(6)式,得到下列估計式

?t>t0,i=1,2,…,n,

(27)

再次根據假設系統(6)的平凡解不吸引,必然存在y(t)的某個分量,不妨記為yj*(t)滿足

yj*(t)→/0,t→∞.

(28)

|yj*(tk)|≥ε0.

(29)

此外還假定序列{tk}滿足

利用(29)式可得下面的估計

k=1,2,….

(31)

(32)

其中ξ∈(tk,t)或(t,tk),從而(31)式仍然成立.

綜合(24)和(31)式,存在某個j*∈{1,2,…,n}滿足

第三步,利用(33)式,將證明當t屬于某個區間列時,D+V(t)存在一個上界為負,由此與V(t)≥0矛盾.再從(20)式得到

(34)

下面分2種情況從(34)式推導與V(t)非負的矛盾:

(C1) 存在某個i0∈{1,2,…,n}滿足ai0j*≠0;

(C2) 對所有的i∈{1,2,…,n},滿足aij*=0,

其中下標j*由(28)式給出.在對(C1)進行討論之前,首先利用α≤0對(34)式化簡得到

Lj|yj(t-τij)|}≤

Lj|yj(t-τij)|}.

(35)

Lj*|yj*(t-τj*)|}.

(36)

于是在(C1)情況下對(36)式右端放大得到

D+V(t)≤-γi0|ai0j*|{Lj*|yj*(t-τi0j*)|-

(37)

D+V(t)≤-γi0|ai0j*||yj*(t-τi0j*)|

(38)

結合引理1.1和緊性,容易得出

(39)

D+V(t)≤-Ω,

(40)

D+V(t)≤0.

(41)

k→∞,

(42)

(43)

于是在(C2)條件下,利用定理2.1條件中α≤0,從(43)式得出

-γj*dj*|yj*(t)|.

(44)

于是將(33)式應用到(44)式中,進一步得到

D+V(t)≤-ε0γj*dj*/2<0,

D+V(t)≤0.

(46)

k→∞,

(47)

這和V(t)非負矛盾.綜合(C1)和(C2)的結論,都得出矛盾,由此說明第二步中的假設(28)式不成立,從而系統(6)的零解吸引.考慮到第一步的結論:系統(6)的零解是穩定的,得到該系統零解是全局漸近穩定的.于是原系統(1)的平衡點是全局漸近穩定的,因此平衡點唯一.定理得證.

注1定理2.1中條件(H1)和α≤0并不能保證系統平衡點的存在.例如一維系統(5)滿足(H1),并且對任意γ>0都有α=0.但是當I>0是并不存在平衡點.因此該定理中假設系統(1)存在平衡點是必要的.

注2利用文獻[15]中引理1得到下列事實:DL-1-|A|∈M-矩陣,當且僅當存在γj>0,j=1,…,n,滿足

即α<0.顯然定理2.1中全局漸近穩定的條件α≤0較文獻[15]給出的DL-1-|A|∈M-矩陣這一個條件弱.

[1] HOPFIELD J. Neurons with graded response have collective computational properties like those of two-stage neurons[J]. Proc Natl Acad Sci USA,1984,81:3088-3092.

[2] TANK D, HOPFIELD J. Simple “neural” optimization networks:an A/D converter, signal decision circuit, and a linear programming circuit[J]. IEEE Trans Circuits Syst,1986,33(5):533-541.

[3] HOPFIELD J, TANK D. Neural computation of decision optimization problems[J]. Biol Cybernet,1985,52:141-154.

[4] TALAVAN P, YANEZ J. Parameter setting of the Hopfield networks applied to TSP[J]. Neural Networks,2002,15(3):363-373.

[5] FORTI M, TESI A. New conditions for global stability of neural networks with application to linear and quadratic programming problems[J]. IEEE Trans Circuits Syst I,1995,42(7):354-365.

[6] LEE D. Pattern sequence recognition using a time-varying Hopfield networks[J]. IEEE Trans Neural Netw,2002,13(2):330-342.

[7] FARREL J, MICHEL A. A synthesis procedure for Hopfield’s continuous-time associative memory[J]. IEEE Trans Circuits Syst,1990,37(7):877-884.

[8] CHENG C, LIN K, SHIH C. Multistability in recurrent neural networks[J]. SIAM J Appl Math,2006,66(4):1301-1320.

[9] HAYKIN S. Neural Networks:A Comprehensive Foundation[M]. New Jersey:Prentice-Hall,1998.

[10] MICHEL A, FARRELL J, POROOD W. Qualitative analysis of neural networks[J]. IEEE Trans Circuits and Systems,1989,36(2):229-243.

[11] WU J. Introduction to Neural Dynamics and Signal Transmission Delay[M]. Berlin:Walter de Gruyter,2001.

[12] MARCUS C, WESTERVELT R. Stability of analog neural networks with delay[J]. Phys Rev,1989,A39:347-359.

[13] GOPALSAMY K, HE X. Stability in asymmetric Hopfield nets with transmission delays[J]. Physica D,1994,76:344-358.

[14] DRIESSCHE P, ZOU X. Global attractivity in delayed Hopfield neural network models[J]. SIAM J Appl Math,1998,58(6):1878-1890.

[15] ZHANG J, JIN X. Global stability analysis in delayed Hopfield neural networks models[J]. Neural Networks,2000,13:745-753.

[16] MARCO M, FORTI M, GRANZZINI M, et al. Limit set dichotomy and multistability for a class of cooperative neural networks with delays[J]. IEEE Trans Neural Netw Learn Syst,2012,23(9):1473-1485.

[17] CHENG C, LIN K, SHIH C, et al. Multistability for delayed neural networks via sequential contracting[J]. IEEE Trans Neural Netw Learn Syst,2015,26(12):3109-3122.

[18] EDUARDO L, ALFONSO R. Attractivity, multistability,and bifurcation in delayed Hopfield’s model with non-monotonic feedback[J]. J Diff Eqns,2013,255:4244-4266.

[19] CHEN T. New theorems on global convergece of some dynamical systems[J]. Neural networks,2001,14:251-255.

[20] Zhang W. A weak condition of globally asymptotic stability for neural networks[J]. Applied Mathematics Letters,2006,19:1210-1215.

[21] CHEN T, AMARI S. Stability of asymmetric Hopfield networks[J]. IEEE Trans Neural Networks,2001,12(1):159-163.

[22] ROUCHE N, HABETS P, LALOR M. Stability theory by Lyapunov’s Direct Method[M]. New York:Springer-Verlag,1977.