離散奇異隨機Markov跳變系統的N人Nash博弈

周海英

(廣州航海學院港口與航運管理學院，廣州 510725)

1 引言與研究背景

現實實際中的許多系統在結構和參數等方面往往都表現出隨機變化的規律，當這種規律服從Markov過程時，這樣的系統被稱為Markov跳變系統[1]。Krasovskii和Lidskii在1961年首次提出了Makov跳變系統的概念，隨后，Sworder基于隨機最大值原理討論了帶Makov跳變參數的混合線性系統并成功將其應用到實際控制問題。此后，Markov跳變系統因其在制造系統、飛行控制器系統、機器人操作系統、通信系統、神經網絡中的分析仿真等方面都有著非常實際的應用背景，引起了國內外學者們的廣泛關注。近些年，Markov跳變系統逐漸成為研究熱點，相應的研究成果日益豐富[2-6]。一般地，僅由微分方程描述的系統，稱為正常系統；由微分代數方程(組)描述的系統，稱為奇異系統。奇異系統相較正常系統，更具廣泛適用性，其實際應用背景豐富，如電網系統，化工過程，核能源反應堆以及社會經濟領域等等。因此，學者們也越來越重視對奇異Markov跳變系統的分析以及研究。Tao等研究了時滯奇異隨機Markov跳變系統的容許性問題[7]，Chávez-Fuentes等探討了離散奇異Markov跳變系統的正則和穩定性條件[8]，Yu等探討了時變奇異馬爾可夫跳躍系統的觀測控制問題[9]，Zhang等探討了奇異Markov跳變系統的控制問題[10]。

另一方面，微分博弈理論由于在經濟、管理、自動控制等領域應用廣泛[11-13]，備受關注。雖然確定性微分博弈向不確定隨機微分博弈的過渡是項艱巨的任務，但卻是更符合客觀實際的。隨著時間的推進，微分博弈的相關研究已從一般系統擴展到奇異隨機系統、Markov跳變系統等更為復雜的系統。

Moon等研究了馬爾可夫跳躍系統線性二次隨機零和微分博弈的充分條件[14]。Zhou等用配方法研究了連續時間和離散時間奇異隨機系統的線性二次微分博弈問題，得到均衡策略存在的條件[15-16]。Mukaidani等給出了奇異隨機系統的Pareto策略及其數值求解算法[17]。Song等研究了Markov跳變系統二人零和微分博弈均衡策略[18]。Zhang等系統的研究了線性Markov跳變系統連續時間和離散時間下的Nash博弈均衡策略，并給出了其在金融保險中的應用[19]。Cao等研究了連續時間奇異隨機Markov跳變系統的Nash博弈問題，給出了N人Nash均衡策略存在的條件及其顯式表達式[20]。縱觀上述文獻，關于隨機奇異系統、Markov跳變系統微分博弈問題已有一定成果，而關于奇異Markov跳變系統隨機微分博弈問題的研究還處于起步階段。

基于此，本文對離散奇異隨機線性Markov跳變系統的N人Nash博弈問題進行分析，得到有限時間和無限時間下Nash均衡策略存在的條件及顯式表達式，并將所得結果應用于隨機H2/H∞控制問題。本文討論N人博弈問題，相較于兩人博弈問題，實際應用范圍更廣且更具一般性；其次，討論的受控系統為離散奇異隨機Markov跳變系統，充實了微分博弈的理論研究；最后，將所得結果應用現代魯棒控制中的隨機H2/H∞控制問題，豐富了微分博弈的應用研究。

2 預備知識

考慮一類離散奇異隨機線性Markov跳變系統：

{Ex(t+1)=A(rt)x(t)+C(rt)x(t)w(t)，

x(0)=x0∈n

(1)

其中，x(t)∈n是狀態變量，w(t)是在給定的完備概率空間(Ω，F，P)上的實隨機變量序列，且滿足ε(w(t))=0和ε(w(t)w(s))=δts，δts為克羅內克算子。rt是一個取值于狀態空間Ξ={1，2，…l}的離散時間Marko過程，其轉移概率為Pr{rt+1=j/rt=i}=πij，轉移概率矩陣為Λ={πij}l×l，其中πij≥0且對于任意的i，j∈Ξ滿足和w(t)相互獨立。(x0，r0)∈n×Ξ是初始狀態，E∈n×n是給定的奇異矩陣，rank(E)≤n，A(rt)、C(rt)為適維常數矩陣，當rt=i(i∈Ξ)時，A(rt)=A(i)，C(rt)=C(i)。

為保證系統(1)解存在的唯一性，給出下述引理1。

引理1[21]對所有的i∈Ξ，如果存在一對非奇異矩陣U(i)，V(i)使得對三元組式(E，A(i)，C(i))滿足下述條件之一，則系統(1)存在唯一解。

(2)

其中A1(i)，C1(i)∈r×r，C2(i)∈r×(n-r)，C3(i)∈(n-r)×(n-r)。

其中Nn2(i)∈n2×n2是冪零的，且n1×n1，C2(i)∈n1×n2，n1+n2=n。

定義1[22]離散奇異隨機Markov跳變系統(1)是：

(Ⅰ) 正則的，如果對所有的i∈Ξ，det(sE-A)不恒為0；

(Ⅱ) 無脈沖的，如果對所有的i∈Ξ，deg(det(sE-A))=rank(E)；

(Ⅲ) 均方穩定的，如果對任意的初始條件(x0，r0)∈n×Ξ，都有

(Ⅳ) 均方容許的，如果它是正則，無脈沖和均方穩定的。

引理2[21]離散奇異隨機Markov跳變系統(1)是均方容許的，如果存在矩陣P(i)=P′(i)，使得對每一個i∈Ξ，下式成立：

E′P(i)E≥0，

(3)

3 有限時間N人Nash博弈

3.1 問題描述

考慮以下離散奇異隨機線性Markov跳變系統：

(4)

其中，x(t)∈n表示狀態變量，uk(t)表示博弈人k(k=1，2，…，N)的控制策略，其容許策略空間記為Uk。w(t)是實隨機變量序列，且滿足ε(w(t))=0和ε(w(t)w(s))=δts。rt是一個取值于狀態空間Ξ={1，2，…，l}的Markov過程，rt和w(t)相互獨立。當rt=i，i∈Ξ時，系數矩陣A(t，rt)=A(t，i)，A1(t，rt)=A1(t，i)，Bk(t，rt)=Bk(t，i)。

對于博弈人k，其性能指標取經典的線性二次型：

(5)

當rt=i，i∈Ξ時，Rk(t，rt)=Rk(t，i)≥0∈Snk，Qk(t，rt)=Qk(t，i)≥0∈Sn；當rT=i時，Mk(rT)=Mk(i)≥0∈Sn。

我們將研究限定博弈人的控制策略均為線性狀態反饋情形，即uk(t)=Kk(t，rt)x(t)，其中Kk(t，rt)是適維矩陣。

3.2 主要結論

利用配方法，我們給出上述有限時間N人隨機Nash博弈問題均衡策略的顯式表達和最優性能指標值。

定理1如果下述差分方程組(6)存在解Pk(t，rt)=Pk(t，i)∈Sn(i，j∈Ξ)，

(6)

其中

則有限時間內，系統(4)-(5)的N人博弈問題的Nash均衡策略集存在，其顯式表達式為

(7)

且最優性能指標值為

(8)

證明考慮任一博弈人k的最優策略，其面臨的最優化問題為

s.t.Ex(t+1)=A-k(t，rt)x(t)+Bk(t，rt)uk(t)+A1(t，rt)x(t)w(t)

(9)

從而有:

(10)

(11)

對式(11)中的加和項進行配方，得

(12)

此時，最優控制策略和最優性能指標值如式(7)和(8)所示。

4 無限時間N人Nash博弈

4.1 預備知識

首先介紹無限時間隨機最優控制中的一個重要概念——隨機穩定性。

考慮如下離散奇異隨機Markov跳變系統：

Ex(t+1)=A(rt)x(t)+B(rt)u(t)+A1(rt)x(t)w(t)，t=1，2，…

(13)

其中，x(t)∈n是狀態變量，u(t)是容許控制過程，w(t)是實隨機變量序列，且滿足ε(w(t))=0和ε(w(t)w(s))=δts。

定義2[23]給定任意初始狀態x(0)=x0，r0=i，系統(13)是(均方意義下)隨機穩定的，如果存在一個反饋控制u(t)=K(i)x(t)(i∈Ξ)，其中K(i)均為常數矩陣，使得閉環系統Ex(t+1)=[A(rt)+B(rt)K(rt)]x(t)+A1(rt)x(t)w(t)是漸近均方穩定的，即limt→∞ε[‖x(t)‖2]=0。

需要注意的是，與有限時間情形相比較，無限時間情形的不同之處表現為

(ⅰ) 系統(13)是時不變的且性能指標中的權重矩陣為常數；

(ⅱ) 當T→∞時，Mk(rT)=0；

(ⅲ) 要求系統(13)是均方穩定的。

4.2 主要結論

考慮式(14)所示的奇異線性Markov跳變系統：

(14)

其中，x(t)∈n是狀態變量，uk(t)是第k(k=1，2，…，N)個容許控制過程，表示博弈人k的控制策略，其容許策略空間記為Uk。w(t)是實隨機變量序列，且滿足ε(w(t))=0和ε(w(t)w(s))=δts。rt是取值于狀態空間Ξ={1，2，…，l}的Markov過程，rt和w(t)相互獨立。當rt=i(i∈Ξ)時，系數矩陣A(rt)=A(i)，A1(rt)=A1(i)，Bk(rt)=Bk(i)為適維常數矩陣。對于任一博弈人k，其性能指標取經典的線性二次型：

(15)

當rt=i(i∈Ξ)時，Rk(rt)=Rk(i)≥0∈Snk，Qk(rt)=Qk(i)≥0∈Sn。

∈U1×U2×…×UN，使下式成立：

同樣地，我們將研究限定博弈人的控制策略均為線性狀態反饋情形。

假定1[20]系統(14)是均方可穩的。

利用配方法，得到無限時間離散隨機奇異Markov跳變系統N人Nash博弈問題的均衡策略如定理2所示。

定理2在假定1成立的基礎上，若如下代數方程組(16)存在解Pk(rt)=Pk(i)∈Sn(i，j∈Ξ)，

(16)

其中，

則無限時間內，系統(14)-(15)的N人博弈的Nash均衡策略集存在，其顯式表達式為

且最優性能指標值為

定理2的證明過程與定理1類似，此處不再贅述。

5 應用于隨機H2/H∞控制

現代魯棒控制理論越來越廣泛應用于工程實踐及社會科學領域，隨機H2/H∞控制獲得廣泛關注[17]。近年來，將Nash博弈方法應用于H2/H∞控制問題，成為了一種有效的方法[24]。其基本思路是將控制策略設計者和隨機干擾性(不確定性)視為博弈的雙方，H2/H∞控制問題就是控制策略設計者如何在預期到各種隨機干擾(不確定性)策略情況下設計自己的策略，在實現與隨機干擾性(不確定性)均衡的同時又使自己的目標最優，這樣就可以把H2/H∞控制問題轉化成Nash博弈問題[24-25]，利用Nash均衡策略得到相應的魯棒控制策略。

本部分擬將前文所得結果應用于離散奇異Markov跳變系統的隨機H2/H∞控制問題。為分析簡單，本文僅探討有限時間情形，無限時間情形可類似分析。

考慮如下的受控系統：

(17)

受控輸出：

式中，x(t)∈n是狀態變量，uk(t)是第k個容許控制過程，v(t)表示外界干擾。當rt=i(i∈Ξ)時，系數矩陣A(t，rt)=A(t，i)，A1(t，rt)=A1(t，i)，Q(t，rt)=Q(t，i)≥0，Bk(t，rt)=Bk(t，i)，Qk(t，rt)=Qk(t，i)≥0。rt和w(t)相互獨立，v(t)和w(t)互不相關，且初始值r0與w(t)相互獨立。其他符號含義如上文。L2(Ω，n)表示n值平方可和隨機向量空間。l2(NT，q)表示所有有限序列y(t)構成的空間，其中y(t)∈L2(Ω，q)且對t∈NT是可測的，空間l2(NT，q)滿足

下面給出有限時間隨機H2/H∞控制的定義：

定義3[25]對于任意給定的γ>0，0

(ⅰ) ?v(t)≠0∈l2(NT，v)，初始狀態x(0)=x0∈n的閉環系統(17)的狀態過程滿足：

(ⅱ) 當最壞干擾v*(t)∈l2(NT，v)存在時，把v*(t)代入系統，同時使性能泛函

‖uk(t)‖2]達到最小。

引入表示干擾抑制水平的標量γ>0，定義如下性能指標：

根據定理1，可得有限時間隨機H2/H∞控制的最優策略以及最壞干擾的結果如定理3所示。

定理3對系統(17)，如果下述差分方程組存在解Pk(t，rt)=Pk(t，i)∈Sn，P(t，i)∈Sn(i，j∈Ξ)

6 結論

針對噪聲依賴于狀態與控制的離散奇異隨機Markov跳變系統，分別討論其在有限時間和無限時間情形下的N人Nash博弈問題，得到均衡解存在的條件及顯式表達式，并將所得結果應用于相應的H2/H∞控制問題，得到了最優策略存在的條件，充實了微分博弈理論和應用研究。