時滯重隨機線性二次最優控制問題

許 潔, 陳 巖

(1.吉林化工學院 理學院, 吉林 吉林 132022; 2. 吉林大學 數學學院, 吉林 長春 130012)

0 引言

時滯是自然界中廣泛存在而又不可避免的一種現象,在時滯問題的研究中,過去的歷史對解決當前問題的發展起到至關重要的作用,如果忽略掉時滯的存在，會使問題無法解決或解決的結果與實際具有一定偏差.對一個系統而言,當觀測與調控之間有時間差或者控制有滯后性時，就會出現系統延遲,我們稱之為時滯系統,刻畫含有時滯狀態的方程稱為時滯方程.系統中時滯變量的存在會引起系統相應性能的變化,許多工程理論問題相繼出現,并迫切需要解決,為時滯控制理論的發展注入動力[1-5].最大值原理為求解最優控制問題做出巨大貢獻,如何利用最大值原理的思想，結合時滯系統的特點,更好地刻畫時滯系統的最優控制問題成為研究的關鍵.文獻[6]中討論了一類被稱為超前倒向隨機微分方程的新型倒向隨機微分方程,為解決時滯問題提供新的思路.文獻[7]利用此類方程對倒向隨機系統的時滯問題進行研究,給出了時滯系統的最優控制所滿足的必要條件，并將其應用到消費生產模型,得出最優消費率的顯示表達式.受此研究思路的啟發,我們嘗試對線性時滯二次最優控制問題進行探索,希望對此時系統對應的最優控制的形式進行刻畫.

1 準備工作

時滯重隨機微分方程的一般形式為：

(1)

根據實際問題的不同,f和g取不同的形式.討論時滯重隨機線性系統,設系統對應的狀態方程為:

(2)

其中δ1、δ2和δ3是不同的時滯變量.

目標泛函為

〈R(t)y(t),y(t)〉+〈S(t)u(t),u(t)〉]dt+

〈Qx(T),x(T)〉}.

(3)

定義

U[0,T]:=

最優控制問題可以看成在U[0,T]上最小化目標泛函,即尋找最優控制u*(·)使其滿足

J(u*(·))=

(4)

此時對應的(x*(·),y*(·),u*(·))被稱為最優三元組.

對應地,此時系統的伴隨方程為

(5)

其中δ=max{δ1,δ2,δ3}.

給出假設條件：

(A1) 假設系數矩陣Ai,Bi,Ci,Di,Ei,Fi(i=1,2)是適當維數的矩陣過程；

(A2) 設Q:Ω→Rn×n是非負有界對稱Ft適應矩陣過程；

(A3) 所有系數矩陣均有界,且K(t)、R(t)和Q是對稱非負正定的,S(t)是對稱一致正定的.

討論線性系統,由假設條件(A3)可知,所有關于f、g的偏導數都是有界的,且f和g直接滿足Lipschitz條件,這使得我們的假設變得簡單了很多.

2 主要結論

定理 1在假設條件(A1)～(A3)下,

E

是時滯重隨機線性二次最優控制問題的唯一最優控制,其中(x*(·),y*(·),p(·),q(·))是對應(2)和(5)式的解.

證明方程(2)解的存在性和唯一性可以由文獻[8]中的定理3.1直接推得.方程(5)解的存在性和唯一性可以由文獻[9]的定理3.2保證.首先證明u*(t)是系統對應的最優控制.對任意的v(·)∈U[0,T],設(x*(·),y*(·))、(xv(·),yv(·))分別是對應控制u*(t)和v(t)的軌跡,則

J(v(·))-J(u*(·))=

〈K(t)x*(t),x*(t)〉+

〈R(t)yv(t),yv(t)〉-

〈R(t)y*(t),y*(t)〉+〈S(t)v(t),v(t)〉-

〈S(t)u*(t),u*(t)〉+

〈Qx(T),x(T)〉-〈Qx*(T),x*(T)〉]dt=

xv(t)-x*(t)〉+

〈S(t)(v(t)-u*(t)),v(t)-u*(t)〉+

〈R(t)(yv(t)-y*(t)),yv(t)-y*(t)〉+

〈Q(xv(T)-x*(T)),xv(T)-x*(T)〉+

2〈K(t)x*(t),xv(t)-x*(t)〉+

2〈R(t)y*(t),yv(t)-y*(t)〉+

2〈S(t)u*(t),v(t)-u*(t)〉+

2〈Qx*(T),xv(T)-x*(T)〉]dt.

(6)

由條件(A3)知道K(t)、R(t)和Q是對稱非負定的,S(t)是對稱且一致正定的,因此

J(v(·))-J(u*(·))≥

〈S(t)u*(t),v(t)-u*(t)〉+

〈R(t)y*(t),yv(t)-y*(t)〉+

〈Qx*(T),xv(T)-x*(T)〉]dt.

(7)

應用Ito公式并注意其初始條件和終端條件,可得

〈Qx*(T),xv(T)-x*(T)〉=

〈-p(T),xv(T)-x*(T)〉,

E〈p(T),xv(T)-x*(T)〉=

B1(t)(xv(t-δ1)-x*(t-δ1))+

C1(t)(yv(t)-y*(t))+

D1(t)(yv(t-δ2)-y*(t-δ2))+

E1(t)(v(t)-u*(t))+

F1(t)(v(t-δ3)-u*(t-δ3))〉dt-

E

E

K(t)x*(t),xv(t)-x*(t)〉dt+

B2(t)(xv(t-δ1)-x*(t-δ1))+

C2(t)(yv(t)-y*(t))+

D2(t)(yv(t-δ2)-y*(t-δ2))+

E2(t)(v(t)-u*(t))+

F2(t)(v(t-δ3)-u*(t-δ3))〉dt+

E

yv(t)-y*(t)〉dt.

(8)

x*(t-δ1))〉-〈E

xv(t)-x*(t)〉}dt=

B1(t)(xv(t-δ1)-x*(t-δ1))〉dt-

類似可有

〈E

x*(t)〉}dt=0,

〈E

y*(t)〉}dt=0,

〈E

y*(t)〉}dt=0.

因此，可得

E〈-p(T),xv(T)-x*(T)〉=

〈-R(t)y*(t),yv(t)-y*(t)〉+

〈-p(t),E1(t)(v(t)-u*(t))+

F1(t)(v(t-δ3)-u*(t-δ3))〉+

〈-q(t),E2(t)(v(t)-u*(t))+

F2(t)(v(t-δ3)-u*(t-δ3))〉]dt.

(10)

則

J(v(·))-J(u*(·))≥

〈-p(t),E1(t)(v(t)-u*(t))+

F1(t)(v(t-δ3)-u*(t-δ3))〉+

〈-q(t),E2(t)(v(t)-u*(t))+

F2(t)(v(t-δ3)-u*(t-δ3))〉]dt.

(11)

由u*(t)的定義,可得

E

將其代入不等式(11),可得

J(v(·))-J(u*(·))≥

E

〈-p(t),E1(t)(v(t)-u*(t))+

F1(t)(v(t-δ3)-u*(t-δ3))〉+

〈-q(t),E2(t)(v(t)-u*(t))+

F2(t)(v(t-δ3)-u*(t-δ3))〉}dt=

〈-p(t),F1(t)(v(t-δ3)-

u*(t-δ3))〉+〈-q(t),F2(t)(v(t-δ3)-

u*(t-δ3))〉}dt.

(12)

類似前面的證明可得

u*(t)〉+〈-p(t),F1(t)(v(t-δ3)-

u*(t-δ3))〉}dt=0,

u*(t)〉+〈-q(t),F2(t)(v(t-δ3)-

u*(t-δ3))〉}dt=0，

因此，有

J(v(·))-J(u*(·))≥0.

對任意v(·)∈U[0,T]成立,則可證得u*(t)是最優控制.

J(u1(·))=J(u2(·))=α≥0,

則

2α=J(u1(·))+J(u2(·))=

再由S(t)的正定性,可推得u1(·)=u2(·),唯一性得證.定理1證畢.

由定理1的結論可知,系統的最優控制是與控制中的時滯變量有關,那么如果控制變量中不含有時滯變量,可以直接得到下面的推論.

推論 1假設(A1)～(A3)成立,則

t∈[0,T]

是時滯重隨機線性二次最優控制問題的唯一最優控制,其中(x*(·),y*(·),p(·),q(·))是系統

的解,其中δ=max{δ1,δ2}.

證明此推論的證明可以由定理1直接推得,當δ1=δ2時,也可以由文獻[8]的最大值原理直接推得.本文結論討論了時滯變量各不相同的情況,推廣了文獻[8]的部分結果.

由上面的結論可以發現，最優控制的形式與伴隨方程的解具有密切關系,這是一類新型的超前重隨機微分方程,本文利用此類方程的解對最優控制的形式進行了刻畫.

為了更好地研究時滯問題,可嘗試從不同角度對此類問題進行探索,文獻[10]利用Riccati方程對一類隨機哈密頓系統的解進行研究,受此研究思路的啟發,利用Riccati方程對時滯重隨機系統的最優控制形式進行研究,從定理1的結論中,發現控制變量中的時滯變量對系統最優控制的形式具有重要的作用,討論一個特殊的系統,只考慮控制變量中含有時滯的情況，且狀態變量的初值η是確定性的.

此時的時滯系統可以寫成

仍然探討目標泛函是(3)式的最優控制問題(4),利用定理1可以直接得出此時系統對應的最優控制形式,即

u*(t)=

S-1(t)E

t∈[0,T].

(16)

下面借助Riccati方程的解對最優控制的形式進行探索,首先定義此系統對應的Riccati方程:

(17)

定理 2在假設條件(A1)～(A3)下,如果Riccati方程(17)的解(G(·),M(·),N(·))存在,則系統(15)具有唯一解(x(t),y(t),p(t),q(t))=(x(t),G(t)x(t),M(t)x(t),N(t)x(t)),其中x(t)是下面方程的解,

C1(t)y(t)+F1(t)u(t-δ)]dt+

M(t)[A2(t)x(t)+C2(t)y(t)+

F2(t)u(t-δ)]dW(t)-M(t)y(t)dB(t).(19)

將Riccati方程(17)中的第一和第二個方程代入到(19)式,可得

dW(t)-M(t)y(t)dB(t).

(20)

再由Riccati方程(17)可知

(21)

則(20)式可以寫成

(22)

(23)

(24)

定理 3在假設條件(A1)～(A3)下,設(G(·)、M(·)和N(·))滿足Riccati方程,則時滯重隨機線性二次最優控制問題的最優控制具有如下形:

(25)

且

(26)

證明由已知(G(·)、M(·)和N(·))是Riccati方程(17)的解,且令y(t)=G(t)x(t),p(t)=M(t)x(t),q(t)=N(t)x(t).對p(t)應用Ito公式,可得

M(t)C1(t)y(t)+M(t)F1(t)u(t-δ)]dt+

[M(t)A2(t)x(t)+M(t)C2(t)y(t)+

M(t)F2(t)u(t-δ)]dW(t)-

M(t)y(t)dB(t),t∈[0,T].

(27)

再由Riccati方程(17),有

M(t)A1(t)x(t)+M(t)C1(t)y(t)+

M(t)F1(t)u(t-δ)}dt+

{[N(t)-M(t)C2(t)G(t)-

M(t)F2(t)u(t-δ)}dW(t)-

(28)

即

K(t)x(t)]dt+[R(t)y(t)-

q(t)dW(t),t∈[0,T].

(29)

因此，系統(15)的解滿足公式y(t)=G(t)x(t),p(t)=M(t)x(t),q(t)=N(t)x(t),則最優控制可直接由(25)式給出.

下面利用Riccati方程的解以及狀態變量的初值條件給出對應最優控制的目標泛函J(u*(·)).對〈x(t),p(t)〉應用Ito公式并取期望,可得

E[〈x(T),p(T)〉-〈x(0),p(0)〉]=

E[〈x(T),-Qx(T)〉-〈η,M(0)η〉],

(30)

E[〈x(T),p(T)〉-〈x(0),p(0)〉]=

〈F1(t)u(t-δ),p(t)〉+

〈F2(t)u(t-δ),q(t)〉]dt=

EFt〈F2(t+δ)u(t),q(t+δ)〉+

〈K(t)x(t),x(t)〉+〈R(t)y(t),y(t)〉]dt.(31)

將(30)和(31)式代入J(u(·)),可得

〈R(t)y(t),y(t)〉+〈S(t)u(t),u(t)〉]dt+

(32)

定理3證畢.

本文從不同角度對時滯重隨機線性二次系統最優控制問題的最優控制形式進行了刻畫,根據實際問題的不同,采用不同的研究方法,可以從不同角度更好地解決問題.