離散奇異隨機Markov跳變系統Stackelberg博弈及其應用

周海英，羅震東，周 艷

(1.廣州航海學院港口與航運管理學院，廣東 廣州 510725；2.廣東工業大學管理學院，廣東 廣州 510630)

Markov跳變系統在制造系統、飛行控制器系統、機器人操作系統、通信系統、神經網絡中的分析仿真等都有著非常實際的應用背景[1-2]，近幾十年來，國內外學者針對Markov跳變系統開展了大量研究，成果豐富，如Markov跳變系統的隨機穩定性和H∞控制[3-4]，Markov跳變系統的隨機線性二次最優控制[5-8]，Markov跳變系統的混合H2/H∞控制[9-10]等。與Markov跳變系統相比，奇異Markov跳變系統更適合于描述動態系統的結構特征，能更好的刻畫現實中由隨機突變現象引起系統跳變的情形，如工程領域和金融領域的期權定價問題，投資型保險紅利分發問題等，因而，奇異Markov跳變系統近年來得到國內外學者的廣泛關注，Tao等[11]利用滑動模控制方法研究了具有時變時滯的奇異Markov跳變系統的隨機容許性問題，Guerrero等[12]探討了具有部分已知轉移概率的Markov跳變線性奇異系統(mjlss)的隨機穩定性問題，Yin等[13]研究了轉移概率部分未知的奇異Markov跳變系統的魯棒故障檢測問題。

隨著社會經濟和博弈理論的發展，不少學者將博弈理論用于研究描述現實問題的奇異隨機系統，取得了一系列研究成果，如奇異隨機系統的鞍點均衡策略[14]和線性隨機系統的Pareto最優策略[15]，隨機Markov跳變系統的Nash均衡策略[16-17]，奇異隨機Markov跳變系統的N人Nash均衡策略[18-19]等。筆者通過文獻調研，發現目前關于奇異隨機Markov跳變系統Stackelberg博弈的文獻成果還較少見報。

基于此，本文討論有限時間和無限時間情形下的離散隨機奇異Markov跳變系統的Stackelberg博弈問題，并將所得結果應用于相應的隨機H2/H∞魯棒控制問題，豐富隨機奇異Markov跳變系統微分博弈理論及應用研究。

1 預備知識

給定T>0表示一個有限時刻，為了敘述方便，引入下述符號：

A′：矩陣或向量A的轉置；

Sn：全體n×n階對稱矩陣構成的集合；

C(0,T;n×m):全體連續函數φ：[0,T]→n×m構成的集合；

L∞(0,T;n):一致有界函數f(·)：[0,T]→n構成的全體；

χA：集合A的指示函數。

設在給定的完備概率空間(Ω,F,{F}t≥0,ρ)上，其上定義了一個自然濾子{F}t≥0，ε(·)表示對應概率測度的數學期望。在概率空間上，定義一維標準Wiener過程{w(t)}t≥0和一個取值于狀態空間Ξ={1,2,…,l}的Markov過程{rt}t≥0，且{rt}和{w(t)}相互獨立。Markov過程的轉移概率如式(1)：

πij=P(rt+1=j|rt=i),?i,j∈Ξ

(1)

考慮式(2)所示It型離散奇異隨機Markov跳變系統：

(2)

其中，x(t)∈n是狀態變量，(x0，r0)∈n×Ξ是初始狀態，E∈n×n,是給定的奇異矩陣，rank(E)

引理1對所有的i∈Ξ，如果存在一對非奇異矩陣M(t,i)∈n×n，N(t,i)∈n×n使得對三元組式(E,A(t,i),C(t,i))滿足下述條件之一，則奇異隨機Markov跳變系統(2)存在唯一解。

(i)[20]

其中A1(t,i),C1(t,i)∈r×r,C2(t,i)∈r×(n-r)，C3(t,i)∈(n-r)×(n-r)。

(ii)[21]

其中Sn2(t,i)∈n2×n2是零冪的，且n1×n1,C2(t,i)∈n1×n2，n1+n2=n。

定義1[22]離散奇異隨機Markov跳變系統(2)是：

(Ⅰ) 正則的，如果對所有的i∈Ξ，det(sE-A)≠0；

(Ⅱ) 無脈沖的，如果對所有的i∈Ξ，deg(det(sE-A))=rank(E)；

(Ⅲ) 均方穩定的，如果對任意的初始條件(x0,r0)∈n×Ξ，都有limt→∞ε‖x(t)‖2=0；

(Ⅳ) 均方容許的，如果它是正則，無脈沖和均方穩定的。

下述引理2給出了離散奇異隨機Markov跳變系統穩定性的相關結論。

引理2[21]離散奇異隨機Markov跳變系統(2)是均方容許的，如果存在矩陣P(t,i)=P′(t,i)，使得對每一個i∈Ξ，式(3)成立：

E′P(t,i)E≥0

-E′P(t,i)E<0

(3)

2 有限時間隨機Markov跳變系統的stackelberg博弈

2.1 問題描述

考慮以下離散奇異隨機線性Markov跳變系統：

(4)

其中，x(t)∈n表示狀態變量，u(t)表示博弈人1的控制策略，v(t)表示博弈人2的控制策略，其容許策略空間分別記為U,V。w(t)是實隨機變量序列，且滿足ε(w(t))=0和ε(w(t)w(s))=δts。rt是一個取值于狀態空間Ξ={1,2,…,l}的Markov過程，rt和w(t)相互獨立。當rt=i,i∈Ξ時，系數矩陣A(t,rt)=A(t,i)，A1(t,rt)=A1(t,i)，B(t,rt)=B(t,i)。對每一個給定的(0,x0)和(u(·),v(·))=U×V，二次型性能指標為：

Jτ(u,v)=ε{x′(T)Fτ(T)x(T)+

(5)

當rt=i,i∈Ξ時，Rτ1(t,rt)=Rτ1(t,i)∈L∞(0,T;n×nu)，Rτ2(t,rt)=Rτ2(t,i)∈L∞(0,T;n×nv)，Q(t,rt)=Q(t,i)∈C(0,T;Sn)，Mτ(T)∈Sn,τ=1,2。

定義2[22]對于控制策略u∈U，從方博弈人2的最優反應集是

R2(u)={v0∈V:J2(u,v0)≤J2(u,v)},?v∈V策略u*稱為主方博弈人1的Stackelberg策略當且僅當滿足如下條件：

根據定義2，可知Stackelberg博弈的最優解也是一種均衡策略。

2.2 主要結論

結合配方法，我們給出上述有限時間離散奇異隨機Markov跳變系統的Stackelberg策略。

定理1對于系統(4)，假設如下代數Riccati方程(i,j∈Ξ)

(6)

其中：

存在解P1≥0∈Sn，P2≥0∈Sn。則系統(4)-(5)的Stackelberg策略存在，且為：

u*(t)=K1(t,i)x(t)，v*(t)=K2(t,i)x(t)

證明首先，博弈人1先采取策略u，作為從方，博弈人2在監視到博弈人1的策略后選擇相應的策略v，這時考慮博弈人2的性能指標函數x′(k)E′P2(k)Ex(k)，取值函數Y2(t,x)=x′(t)E′P2(t,i)Ex(t)，以下為書寫方便，省略t，有：

結合

(7)

把式(7)代入J2(u,v)中，可得:

(8)

在式(8)中，對v求導，并令導數為0，得到:

(9)

(10)

把式(10)代入J1(u,v)中，得：

v*′S12(t,i)v*]

(11)

把式(9)代入式(11)，得到：

(12)

對式(12)進行配方，結合式(6)可得：

由于R(t,i)>0故有：

此時，

u*(t)=K1(t,i)x(t)

(13)

把式(13)代入式(8)，可得：

由于S22(t,i)>0故有：

此時，

注1式(6)所示的代數Riccati方程組，可以借鑒文獻[8]的嚴格LMI法進行求解。

3 無限時間

3.1 預備知識

首先介紹無限時間隨機最優控制中的一個重要概念——隨機穩定性。

考慮如下離散奇異隨機Markov跳變系統：

Ex(t+1)=A(t,rt)x(t)+B(t,rt)u(t)+A1(t,rt)x(t)w(t),t=1,2,…

(14)

其中，x(t)∈n是狀態變量，u(t)是容許控制過程，w(t)是實隨機變量序列，且滿足ε(w(t))=0和ε(w(t)w(s))=δts。

定義2[23]給定任意初始狀態x(0)=x0,r0=i，系統(14)是(均方意義下)隨機穩定的，如果存在一個反饋控制u(t)=K(t,i)x(t)(i∈Ξ),其中K(t,i)均為常數矩陣，使得閉環系統Ex(t+1)=[A(t,rt)+B(t,rt)K(t,rt)]x(t)+A1(t,rt)x(t)w(t)是漸近均方穩定的，即limt→∞ε[‖x(t)‖2]=0。

需要注意的是，與有限時間情形相比較，無限時間情形的不同之處表現為：

(ⅰ) 系統(14)是時不變的且性能指標中的權重矩陣為常數；

(ⅱ)當T→∞時，Fτ(rT)=0，τ=1,2；

(ⅲ)要求系統(14)是均方穩定的。

考慮式(15)所示系統：

(15)

兩博弈人的二次型性能指標為：

u′(t)Rτ1(t,rt)u(t)+v′(t)Rτ2(t,rt)v(t)],τ=1,2

(16)

其中，控制權矩陣Rττ(t,rt)∈Sn；狀態權矩陣Qτ(t,rt)≥0∈Sn,τ=1,2。無限時間Stackelberg博弈問題定義如下：

定義4[22]對于控制策略u∈U，從方博弈人2的最優反應集是

R2(u)={v0∈V:J2(u,v0)≤J2(u,v)},?v∈V

策略u*稱為主方博弈人1的Stackelberg策略當且僅當滿足如下條件：

假設1[16]系統(15)是均方穩定的。

采用與有限時間隨機Stackelberg博弈策略相同的方法，可得無限時間離散奇異隨機Markov跳變系統Stackelberg博弈問題(15)-(16)的均衡策略如定理2所示。

定理2在假設1的基礎上，如果下述代數Riccati方程(17)

(17)

其中：

i)K2(t,i)

存在解P1(t,i)≥0∈Sn，P2(t,i)≥0∈Sn。則無限時間奇異隨機Markov跳變系統Stackelberg博弈問題(15)-(16)存在線性狀態反饋均衡解：

u*(t)=K1(t,i)x(t)，v*(t)=K2(t,i)x(t)

由于定理2的證明方法與定理1類似，不再贅述。

注2式(17)所示的代數Riccati方程組，可以借鑒文獻[8]的嚴格LMI法進行求解。

4 應用于H2/H∞魯棒控制

借鑒前人研究成果，將上述所得結論應用于離散隨機奇異Markov跳變系統的混合H2/H∞控制問題。為簡單起見，只分析有限時間離散隨機奇異Markov跳變系統的混合H2/H∞控制，無限時間的分析方法與有限時間類似，不再贅述。

考慮式(18)-式(20)所示系統：

(18)

(19)

(20)

其中，x(t)∈n是狀態向量，u(t)∈m2是控制輸入，v(t)∈m1是外界不確定性干擾，A(t,rt)等系數矩陣的定義同上。

有限時間離散奇異隨機Markov跳變系統的混合H2/H∞控制定義如下：

定義3[23]給定干擾抑制水平γ>0，如果存在(u*,v*)∈U[0,T]×V[0,T]，使得

(ⅰ)|Lu*|T<γ，其中

|Lu*|T=

(ⅱ)假設存在最壞干擾v*(t)∈V[0,T]，將其帶入系統(19)，u*(t)最小化輸出能量

當上述的(u*,v*)存在時，我們稱有限時間H2/H∞控制問題是可解的。

根據文獻[22]，在非合作微分博弈的框架下，系統(18)的H2/H∞混合魯棒控制策略可以這樣描述：主者先確定一策略u(t)并提前宣布，然后從者根據宣布的策略而選擇自己的策略v(t)。因為從者實施的策略會影響主者的成本泛函，所以主者在宣布其策略時必須要考慮到從者的反應[22]。進而將混合H2/H∞控制問題轉化為Stackelberg博弈問題，而混合H2/H∞控制策略等價于求解系統(18)-(20)的Stackelberg策略(u*,v*)。故根據定理1，直接可得下述結論。

定理3對于系統(18)，假設如下代數Riccati方程

(21)

其中

B1(t,i))

存在解P1(t,i)≥0∈Sn，P2(t,i)≥0∈Sn。則系統(18)的魯棒控制策略為：

u*(t)=K1(t,i)x(t)，v*(t)=K2(t,i)x(t)

5 結論

探討了離散奇異隨機Markov跳變系統的Stackelberg博弈問題，分別得到了有限時間和無限時間情形下的Stackelberg均衡解存在的條件，并將所得結果應用于相應的H2/H∞控制問題，以期豐富微分博弈理論及其應用研究。