時滯神經網絡對于新的二次優化的應用

張靜文， 劉德友， 吳文娟

(燕山大學 理學院 河北 秦皇島 066004)

0 引言

常見的二次優化問題

(1)

其中，M∈Rm×n,a∈Rn,Ω是一個凸集.二次優化問題在社會科學及工程中具有廣泛的應用,其中包括回歸分析、圖像和信號處理、參數估計、濾波器設計、機器人控制等等.當M是正定矩陣時,式(1)為嚴格凸二次優化問題;當M是半正定矩陣時,式(1)為退化的凸二次優化問題.在很多情況下,矩陣M是不精確已知的,可能包含在一段區間上,這樣的問題被稱為區間二次優化問題.在許多實際應用中,最優化問題還有一個自然時變亟待解決.目前,主要利用神經網絡技術實現優化方法,在運行時間程度上遠遠超過最受歡迎的數字計算算法.最近,有一些投影神經網絡技術實現了解決此二次優化問題.文獻[1]給出了最初的神經網絡,解決了嚴格凸二次優化問題.為了克服處罰參數,當Ω是一個有界閉集時,文獻[2]提出了投影神經網絡技術,解決了嚴格凸二次規劃和它的二元性,并得出全局指數穩定.文獻[3-4]提出時滯投影神經網絡,解決了二次優化問題,當Ω是一個無界閉集時,分析了該神經網絡全局漸近穩定和指數穩定性.文獻[5]提出了時滯神經網絡對于線性投影方程解的分析及其應用,得出二次優化最優解新的充分條件.文獻[6]又對非線性時滯細胞神經網絡穩定性進行了分析，文獻[7]給出了一種改進的進化神經網絡優化設計方法.在此基礎上,本文進一步把正定矩陣推廣到廣義正定矩陣,利用時滯神經網絡模型和Lyapunov函數的特性,給出判斷這種特殊二次優化最優解的充分條件.

1 模型及預備知識

根據[8-12]的方法，考慮時滯神經網絡模型

(2)

其中,τ≥0表示傳輸延遲,α是大于零的常量,M∈Rn×n給出線性映射方程[13]PΩ(u-α(Au+q))=u,其中α是大于零的常量,A是n維矩陣,q∈Rn,

Ω={u∈Rn|di≤ui≤hi,i∈S},S?L,L={1,2,…,n},

PΩ:Rn→Ω表示從Rn到Ω的映射影,并且有

引理1投影算子PΩ滿足不等式[14](x-PΩ(x))T(PΩ(x)-z))≥0,?z∈Ω,x∈Rn.

引理2?x,y∈Rn,投影算子PΩ滿足不等式

(PΩ(x)-PΩ(y))T(x-y)≥(PΩ(x)-PΩ(y))T(PΩ(x)-PΩ(y)).

引理3A∈Rn×n,對?0≠x∈Rn×1,都有可逆實對稱矩陣S,使得xTSAx>0,則稱A是廣義正定矩陣.

引理4對每一個φ(t)∈CC([-τ,0])在整個時間區間[0,∞),(2)式存在一個唯一的連續解u(t).

定理1時滯神經網絡模型(2)式全局指數穩定和漸近穩定[15],當I-αM是非退化的.

因此，時滯神經網絡模型可以確保線性投影方程有解，并能夠解決一類新的二次優化問題.

2 二次優化問題的應用

考慮二次優化問題

(3)

其中,M∈Rn×n,a∈Rn,M是一個對稱的廣義正陣,

Ω={x∈Rn|d≤x≤h},x=(x1,x2,…xn)T.

根據文獻[8-12]的結論，為了解決此二次優化問題，提出時滯神經網絡模型

其中τ≥0表示傳輸延遲，α是大于零的常量,M∈Rn×n,M是一個對稱的廣義正定矩陣,并且滿足I-αM是非退化的.假設對于二次優化問題的解是一個非空集合,若x*是(3)的最優解,當且僅當x*滿足變分不等式

(x-x*)T(Mx*+a)≥0,x*∈Ω,?x∈Ω.

(4)

此外,x*是(3)的最優解當且僅當對?α≥0,u*是G(x)的一個零點映射,

G(x)=PΩ(x-α(Mx+a))-x.

為了得出(3)的最優解，借助時滯神經網絡模型，

(5)

顯然,(5)的平衡點對應于(4)的最優解.根據文獻[16]的結論,就能借助時滯神經網絡模型(5)來解決最優化問題(3).可構造一個新的Lyapunov函數來證明系統(5)是全局收斂的.

定理2時滯神經網絡(5)全局穩定于二次優化(3)的解,當矩陣M是一個對稱的廣義正定矩陣.

證明假設x*是(5)的平衡點,考慮Lyapunov函數,

其中I是n維的單位向量.根據引理3,一定存在可逆的實對稱矩陣D使得xTDMx>0,并且

其中,<·，·>表示內積.

α

=α+

x*,PX[x(t)-α(Mx(t)+a)]-x(t)>+,

(6)

α

=α-α

α(Mx(t)+a)]-x*>+α,

(7)

α

=<αf′(x)-x(t)+PX[x(t)-α(Mx(t)+a)],PX[x(t)-α(Mx(t)+a)]-x*>+

=α

x*>+

x(t)>+.

(8)

結合(4),(6)～(8)和引理1,得

αDM+I是對稱的正定矩陣,所以存在對稱矩陣A,使得

αDM+I=A2.

A(x(t-τ)-x*))T×(A(x(t)-x*)-A(x(t-τ)-x*))

=-‖x(t)-PX[x(t)-α(Mx(t)+a)]‖2-

=-‖x(t)-PX[x(t)-α(Mx(t)+a)]‖2-

≤0.

(9)

V(xt)是系統(5)的Lyapunov函數.通過引理4,系統(5)的最大區間解為[0,∞).由壓縮不變原理[17],一定存在常數τ,有xt→E∩V-1(τ),t→∞,其中E包含在最大不變集S中,S={xt|dv/dt=0}.通過(9)和定義V(xt),有dv/dt=0,當且僅當dx/dt=0,即E∩{x∈Ω|dx/dt=0},則動力系統(5)全局收斂于平衡點,即為不定二次優化(3)的最優解.

3 仿真實例

通過實例驗證二次優化解的有效性.

例題1考慮二次優化問題

(10)

其最優解為x*=[-1 1-1]T，則給出時滯神經網絡模型(11)式解決二次優化問題,

(11)

x(t)的初始值區間為[-1,0].通過定理2,則有系統(11)是全局收斂于平衡點x*,即(10)的最優解.

4 結束語

借助時滯神經網絡解線性映射方程的模型,證明一種新的二次優化問題,把優化問題更進一步推廣.且通過數值例子,驗證了本文結果的有效性.

[1] Kennedy M P,Chual L O.Neural networks for nonlinear programming[J].Circuits and Systems,1998,35(5): 554-562.

[2] Xia Yousheng,Feng Gang,Wang Jun.A recurrent neural network with exponential convergence for solving convex quadratic program and related linear piece wise equations[J].Neural Networks,2004,15(7):1003-1015 .

[3] Yang Yongqing,Cao Jinde.Solving quadratic programming problems by delayed projection neural network[J].Neural Networks,2006,17(2): 1630-1634.

[4] Yang Yongqing,Cao Jinde.A delayed neural network method for solving convex optimization problems[J].Int J Neural Syst,2006,16(4):295-303.

[5] Cao Jinde.A delayed novel neural network for solving linear projection equations and its analysis[J].Neural Networks,2005,16(4):834-843.

[6] 李潔坤,丁明智,虞繼敏.非線性時滯細胞神經網絡穩定性分析[J].鄭州大學學報：理學版,2010,42(3): 54-58.

[7] 楊華芬,楊有,尚晉.一種改進的進化神經網絡優化設計方法[J].鄭州大學學報：工學版，2010,31(5):116-120.

[8] Cao Jinde,Wang Jun.Exponential stability and periodic oscillatory solution in BAM network with delays[J].Neural Networks,2002,13(2):457-463.

[9] Cao Jinde.A exponential stability of recurrent neural networks with Lipschitz continuous activation functions and time delays[J].Neural Networks,2004,15(2):379-390.

[10] Xia Yousheng,Wang Jun.A general projection neural network for solving monotone variational inequalities and rlated optimization problems[J].Neural Networks,2004,15(2):318-328.

[11] Xia Yousheng.A new neural network for solving linear and quadratic programming problems[J].Neural Networks,1996,7(2):1544-1547.

[12] Xia Yousheng,Wang Jun.A general projection neural network for solving monotone variational inequalities and related optimization problems[J].Neural Networks,2001,12(2):251-260.

[13] Xia Yousheng,Wang Jun.A recurrent neural networks for solving linear projection equations[J].Neural Networks,2000,11(2): 337-350.

[14] Kinder D,Stampcchia G.An introduction to variational inequalities and applications[J].Academic,1980,6(2):121-125.

[15] Hale J K,Verduyn Lunel S M.Theory of Functional Differential Equation[M].New York:Springer-Verlag,1977:84-89.

[16] Liu Qingshan,Cao Jinde ,Xia Yousheng.A delayed neural network for solving linear projection equations and its analysis[J].Neural Networks,2006,17(2):1045-1055.

[17] Lasalle J P.The stability of dynamical systems[C]//CBMS-NSF Regional Conference Series in Applied Mathematics.Philadelphia,1976,3(2):62-66.