離散時間平均場隨機系統的滾動時域控制

葉志勇，賈亞琪，張春梅，楊 路，陳柏江，宋江敏

（重慶理工大學理學院，重慶 400054）

0 引言

平均場系統是一種復雜的乘性噪聲隨機系統，其復雜性主要體現在狀態和輸出方程不僅涉及狀態和控制輸入，而且還涉及它們的期望。該期望項的意義為系統所有物體間的相互作用，平均項的引入使得多體問題簡化，這樣的一個有效轉化大大縮短了計算時間，降低了生產成本。與經典的隨機控制問題不同，平均場項出現在系統動力學和代價函數中，它結合了平均場理論和隨機控制問題。系統狀態由Kac［1］首次提出的控制平均場隨機差分／微分方程（MF-SDE）描述，McKean［2］對MFMF-SDEs進行了初步研究。受MFMF-SDEs研究進展的啟發，平均場理論與隨機控制問題相結合，成為20世紀50年代以來的研究熱點。

平均場系統的控制問題主要體現在平均場系統的最優控制問題、時滯問題以及穩定性等。在過去的幾年里，平均場的方法已被廣泛應用于各個領域，如工程、金融、經濟和博弈論等［3］。近年來，數學界和控制界對平均場控制理論的興趣越來越大。特別是經典隨機系統的線性二次（LQ）最優控制問題已被推廣到平均場隨機系統［4－9］。連續時間平均場隨機系統的有限時域和無限時域LQ問題分別在文獻［3，5］中被討論。離散時間平均場隨機系統的相應結果分別在文獻［6－7］中被研究。

均方鎮定問題作為一個基本的隨機控制問題，已經被許多研究者研究［10－15］。例如，基于LQ方法，均方鎮定給出了不同的結果［10－14］。Ghaoui［14］給出了利用線性矩陣不等式（LMI）得到的均方穩定條件。Zhang等［15］研究了基于廣義Lyapunov方程的均方鎮定問題。

為了解決平均場時變隨機系統的鎮定問題，采用了滾動時域控制（RHC）。RHC最早由Kwon等［16］在處理時變系統穩定性時提出。從那時起，它作為確定性系統，特別是時變確定性系統的一種成功反饋策略得到了廣泛研究［17－20］。RHC的基本思想是每一時刻求解一個有限時域的最優控制問題，選取第一個控制作為當前控制律，到下一時刻重復該過程。RHC相較于其他控制策略有其獨特的優越性，如運行時間較短且易于計算、對模型要求低等優點，已在工業中得到廣泛應用。RHC策略對于處理隨機系統控制問題有非常重要的研究意義。

目前，有關平均場隨機系統的RHC鎮定問題的研究較少，不同于關于經典的線性隨機系統RHC的研究結果［21－26］，離散時間平均場隨機時變系統的RHC鎮定問題研究及推導更為復雜。因為平均場隨機系統的狀態方程還涉及數學期望，在主要定理的證明過程中，2個耦合Lyapunov型不等式的表達式也與一般的線性隨機系統RHC鎮定問題不同，是在經典線性隨機系統RHC鎮定問題上的推廣，因此主要研究離散時間平均場隨機時變系統的RHC鎮定問題。通過定義一個新的條件期望型的性能指標，給出系統RHC時變鎮定的條件。

1 基礎知識與模型描述

1.1 符號說明

Rn代表n維歐式空間。上標“′”代表矩陣的轉置；一個對陣矩陣M＞0（≥0）意味著它是嚴格正定的（半正定的）；B－1表示矩陣B的逆。

1.2 模型描述

考慮下列離散時間時變平均場系統：

為了簡便，令

則系統（1）變為：

主要目標如下：

問題1尋找可測的控制器ut＝Htxt＋HˉtExt使閉環系統（1）漸近均方穩定（即0）的條件。

2 離散時間平均場隨機系統RHC鎮定控制

研究平均場隨機系統（1）的RHC鎮定問題，首先給出RHC的解。

2.1 RHC

為了解決問題1，定義有限時域性能指標如下：

其中：t是初始時刻，Et－1（·）是關于的條件數學期望，N是優化時域的長度。

為了得到RHC鎮定控制器，引理1利用隨機極值原理得到了在方程（1）的約束下使得性能指標（3）最小的有限時域LQ最優控制。

引理1［19］在方程（1）的約束下，當且僅當，時，使性能指標（3）最小的唯一最優控制器可以表示為：

其中

上述的Pj（t＋N）和滿足下列的耦合Riccati方程：

其中：j＝t，t＋1，…，t＋N。

終端值為：

在式（4）中取j＝0，得到t時刻的RHC控制器為：

2.2 均方鎮定

給出離散時間平均場隨機系統在式（4）控制下的鎮定條件，首先研究條件期望性的性能指標（3）的性質。

引理2假設對于給定的Ht，?，性能指標（3）中存在ψt＞0，＞0滿足如下矩陣不等式：

則有關系式

成立。其中，（xt，t）表示性能指標（3）以t為初始時刻，最優控制為式（4）的最優值。xt＋1與xt由式（1）確定，ut為t時刻的RHC控制。

證明由性能指標（3）可以得到

其中：Ht＋N＋1，是待選擇的控制增益。由式（16）可進一步得到

由式（1）得

則可以計算出

此外

則有

根據條件期望的性質，可以得到

將式（19）代入式（18）得到

根據式（15），由式（20）得到

基于引理2，下面給出離散時間平均場隨機系統（1）漸近均方鎮定的主要結果。

定理1給定系統（1）在RHC（4）控制下漸近均方穩定的條件是存在ψt和滿足不等式（15）。

證明根據引理2，若存在ψt＞0，＞0和Ht，滿足不等式（15），則有

對式（21）取期望可得到

即

根據式（15）和式（20）可以得到

結合式（22），得到

定理2給定Qt＞0，＞0，Rt＞0，＞0，若系統（1）可由RHC均方鎮定，則耦合Lyapunov方程

有ψt＞0，＞0的解。其中

證明由于RHC可穩定系統（1），所以由隨機Lyapunov穩定性定理知，下面Riccati方程有唯一解ψt＞0，＞0。

改寫式（23）得

令

可得

注1對于確定的平均場系統，即式（1）中Ct＝0，?＝0，D t＝0，＝0，RHC可穩的條件（15）變為：

注2系統（1）中令時間平均場隨機定常系統：則系統（1）變為離散

考慮如下性能函數：

對于平均場隨機定常系統（25），可得到類似于定理1的結果。

定理3給定系統（25）在RHC控制下均方可穩的條件為對某個，存在滿足：

3 數值算例

例1 考慮離散時間平均場隨機系統（1）的參數如下：

根據定理1，給定的參數滿足可鎮定條件（15）。由引理1知，離散時間平均場系統（1）在RHC控制器的控制下，其狀態軌跡如圖1所示。由漸近均方鎮定的定義，即該軌跡滿足，可見平均場隨機系統是漸近均方鎮定的。

圖1 閉環系統狀態軌跡E（x′t x t）

4 結論

解決了離散時間平均場隨機時變系統RHC鎮定問題，通過設計一個恰當的條件期望型的性能指標，基于性能指標的單調非增性，得到了RHC鎮定性條件，保證了閉環系統的漸近均方鎮定。