基于L-S Lagrange函數的神經網絡方法

彭愛民

(湖北第二師范學院數學與數量經濟學院，湖北 武漢 430205)

0 前言

自Hopfield提出人工神經網絡優化方法以來[1-2]，由于其大規模并行協同處理能力，引起了廣泛關注.Kennedy 和Chua提出了基于罰函數的神經網絡模型[3]，理論分析表明當罰因子趨向于無窮大時，該網絡可以得到線性規劃的最優解，然而在實際問題的求解中，罰因子趨向于無窮大是無法實現的.Zhang等利用Lagrange乘子理論，提出了Lagrange 神經網絡模型[4].該模型不含有罰因子，能夠有效求解凸非線性規劃問題，但引入松弛變量將不等式約束變為等式約束，增加了網絡的復雜性.黃遠燦等提出了改進的Lagrange 神經網絡模型[5]，對不等式約束不需要引入松弛變量，減少了網絡的復雜程度，并且改進了乘子的收斂速度.本文中利用Log-Sigmoid(L-S)型Lagrange函數構造一種新的神經網絡.

Polyak[6]利用函數S(t，k)=(1+exp(-kt))-1逼近x+=max{0，x}，當參數k不大時逼近效果非常好.由于ψ(t，k)=2ln2S(t，k)的優良性質，如任意階導數存在，一、二階導數有界，針對非線性規劃問題 minf(x)

使得

gi(x)≥0

(NLP)

構造出Log-Sigmoid型Lagrange函數(L-S Lagrange)

及其對偶

(DP)

L-S Lagrange函數具有性質：

對任何KKT對(x*，λ*)，有

(A1)L(x*，λ*，k)=f(x*)；

(A2)xL(x*，λ*，k)=xL(x*，λ*)=f(x*λigi(x*)=0；

(A3)2xxL(x*，λ*，k)=2xxL(x*，λ*)+0.5kgi(x*)TΛgi(x*).

其中L(x*，λ*)是Lagrange函數，Λ=diag(λi).

本文中總假設(NLP)問題的解非空.

為了方便敘述，給出一些條件和定義.

(A4) Slater條件成立：即?x∈Rn，使g(x)>0.

定義1若?x*，使g(x*)≥0，且gj(x)(j?i|gi(x)=0線性無關，稱點x*為正則點.

對于L-S Lagrange函數及其對偶，下列結論成立.

定理1[7]如果條件(A4)成立，且原問題有解x*，那么對偶問題有解(x*，λ*)，且f(x*)=dk(λ*)，對任意k>0成立.

L-S Lagrange函數相對于一般Lagrange函數而言，在求解其對偶問題，即求解乘子時具有線性或超線性收斂速度.

1 L-S Lagrange神經網絡

這一節將根據L-S Lagrange函數及其對偶問題的解構造神經網絡.

定理2若x*是正則點，且x*及(x*，λ*)分別是(NLP)和(DP)的解，則

f(x*)=L(x*，λ*，k)，xL(x*，λ*，k)=0，g(x*)≥0，λ*≥0成立.

定理2的證明由KKT條件，x*及(x*，λ*)分別是(NLP)和(DP)的解當且僅當?λ≥0，使得

xL(x*，λ*，k)=0，λT·g(x)=0，g(x*)≥0.

由定理1知結論成立.由此，構造能量函數：

(1)

由文獻[7]知等式右邊的第三、四項也可微.

相應的神經網絡動態方程是

(2)

對于問題(NLP)，經計算有

xL(x，λ，k)=gi(x)，

xxL(x，λ，k)=xxL(x，λ)+2kg(x)TΛ(1+ekg(x))-2g(x)，

所以

xE(x，λ)=xxL(x，λ，k)xL(x，λ，k)+λTg(x)(g(x)T)λ+g(x)(g(x)-g(x))=

(xxL(x，λ)+2kg(x)TΛ(1+ekgi(x))-2g(x))xL(x，λ，k)+

λTg(x)(g(x)T)λ+g(x)(g(x)-g(x))，

λE(x，λ)=λTg(x)·g(x)-g(x)xL-(λ-λ)=

λTg(x)·g(x)+g(x)(gi(x))-(λ-λ).

故(2)的標量形式為：

(3)

定理3若x*和(x*，λ*)分別是原問題和對偶問題的解，則(x*，λ*)是系統(2)的穩定點.

定理3的證明若x*和(x*，λ*)分別是原問題和對偶問題的解，由定理2知f(x*)=L(x*，λ*，k)，xL(x*，λ*，k)=0，g(x*)≥0，λ*≥0成立，此時(1)式右端各項均為零，而E(x，λ)≥0，即(x*，λ*)是E(x，λ)的極值點，由可微函數極值點的必要條件知定理成立.

定理4若問題(NLP)有解，且(2)有唯一的穩定點z*，則z*是漸近穩定的.

定理4的證明因為

由Lyapunov定理知結論成立.

2 算例

如前所言，由于L-S Lagrange函數在求解其對偶問題，即求解乘子時具有線性或超線性收斂速度，所以在實際求解過程中會表現出較強的穩定性.我們利用軟件 matlab 6.5 中內置命令ode45求解， 這里取k=10.

例1minf(x)=x12+0.5x22+x32+0.5x42-x1·x3+x3·x4-x1-3x2+x3-x4，

使得

5-x1-2x2-x3-x4≥0，4-3x1-x2-2x3+x4≥0，x2+4x3-1.5≥0，

xi≥0，i=1，2，3，4.

輸出結果是

x=0.272 5，2.080 4，0.019 6，0.537 9.

使得x1≥1，x2≥0.

在matlab中的相應函數是：

function dx=funmy(t，x)

dx=zeros(4，1);

k=10;

dx(1)=4*k*x(3)^ 2/(1+exp(k*(x(1)-1)))^3+4*x(3)*(x(1)+1)/(1+exp(k*(x(1)-1)))-2*k*x(3)*(x(1)+1)^ 2/(1+exp(k*(x(1)-1)))^ 2-2*(x(1)+1)^3-x(3)^ 2*(x(1)-1)-x(2)*x(3)*x(4)-x(1)+1+abs(x(1)-1);

dx(2)=4*k*x(4)^ 2/(1+exp(k*x(2)))^3-2*k*x(4)/(1+exp(k*x(2)))^ 2-(x(1)-1)*x(3)*x(4)-x(2)*x(4)^ 2-x(2)+abs(x(2));

dx(3)=-x(3)*(x(1)-1)^ 2+x(4)*x(2)*(1-x(1))-(x(1)+1)^ 2+2*x(3)/(1+exp(k*(x(1)-1)))^ 2-x(3)+abs(x(3));

dx(4)=-x(3)*x(2)*(x(1)-1)-x(4)*x(2)^ 2-1+2*x(4)/(1+exp(k*(x(1)-1)))^ 2-x(4)+abs(x(4)).

本文中給出matlab中例2的第一個變量的收斂圖，并比較了與增廣Lagrange函數的收斂情況，如圖1可以看出，L-S Lagrange函數的神經網絡方法的收斂結果更好.

圖1 例2中第一個變量的收斂圖

[1] Hopfield J J.Neural networks and physical systems with emergent collective computational abilities[J].Proceeding of the National Academy of Sciences，1982，79(4):2554-2558.

[2] Hopfield J J. Neurons with graded response have collective computational properties like those of two-state neurons[J].Proceeding of the National Academy of Sciences，1984，81(5):141-152.

[3] Kennedy M P，Chuo L O.Neural networks for nonlinear programming[J].IEEE Transactions on Circuits and Systems，1988，35(5):554-562.

[4] Zhang S， Constantinides A G. Lagrange programming neural networks[J].IEEE Transactions on Circuits and Systems，1992， 39(7):441-452.

[5] 黃遠燦. Lagrange 神經網絡的穩定性分析[J].控制與決策，2005，20(5):545-552.

[6] Polyak R. Log-Sigmoid multipliers method in constrained optimization[J].Annals of Operations Research，2001，101:427-460.

[7] Chen K Z， Leung Y， Leung K S, et al. A neural network for solving nonlinear programming porblems[J].Neural Computing and Applications，2002，11(2):103-111.