具有Markovian Switching的線性隨機系統

樊實

摘 要：隨機控制不光有廣闊的應用前景，而且是富有挑戰性的一個前沿研究課題。自動控制理論的各種傳統模型已不能完全滿足要求，應向隨機、非線性、分布參數等模型應用更廣的范圍去擴展。實際上系統很少能夠完全是線性的。因此，這種系統中使用的非線性濾波器和非線性的信號處理器，可同時辨識系統的自適應隨機控制方面和未知參數就成了重要的前沿研究課題。該文主要介紹了這一重要的研究課題，分析了Brown運動和Markov過程。

關鍵詞：線性隨機系統 M-矩陣 Brown運動 Markov鏈

中圖分類號：TP273 文獻標識碼：A 文章編號：1672-3791（2015）10（c）-0199-03

20世紀初期， 產生隨機過程理論，當時是為了適應多個學科生物學、物理學、管理科學、通訊與控制等不同方面的需求發展起來的。1K. It（伊藤清）961年論隨機微分方程，創立量大理論隨機微分和隨機積分方程。

Kolmogorov和Wiener的濾波和預測理論，使從信號和噪聲的觀測中抽取有用信號，這是隨機控制理論的一個很有用的重要基礎。但由于Wiener-Kolmogorov的理論需要求一難求解的積分方程——Wiener-Hopf方程，所以實際上沒有得到廣泛應用。

1960年R. S. Bucy和Kalman提出了求解濾波和預測的相關的遞歸方法，對濾波和預測做了巨大特殊貢獻。在求解隨機控制問題中，依賴于動態的方法。1961年Tou（陶）和Joseph（約瑟夫）提出了相關分離定理，根據分離定理，可把線性隨機控制分解成兩部分求解，其中一部分是求解優化中的最優控制策略，而另一個部分就是常見的狀態估計器。確定性最優控制策略與隨機最優控制策略是相同的。

1 Brown運動和Markov過程

Brown運動是迄今為止性質最豐富多彩了解得最清楚的隨機過程。在今天，Brown運動及其推廣已不僅是花粉粒子運動的模型，它已經廣泛地出現在各種科學領域中。例如：它描述了像通訊噪聲、熱電子運動、市場價格波動的隨機干擾等等現象，它的軌道的性質也是分析家注意的對象。同時，由于Brown運動與微分方程等有密切的聯系，它又成為聯系分析與概率論的重要渠道。

Markov過程是一類重要的隨機過程，它的原始模型是Markov鏈，由俄國數學家A. A. Markov于1906年提出。以后，Kolmogorov，Feller，Doob等人發展了這一理論。粗略來說，所謂Markov性可用下述直觀語言來刻畫：在已知系統當前時刻t的狀態Xt（現在）的條件下，它未來的演變（將來）不依賴于它以往（過去）的演變，簡言之，在已知“現在”的條件下，“將來”與“過去”無關。具有這種特性的隨機過程稱為Markov過程。 荷花池中一只青蛙的跳躍是Markov過程的一個形象化的例子[5]。

對于Markov過程，其所有可能取值的全體，稱為過程的狀態空間，其中的每一個元素，即所可能取得的值稱為狀態。若狀態空間是有限的，就稱為有限（狀態）Markov鏈。該文主要應用的是連續參數有限（狀態）Markov鏈。

定義 2.1.1[6]

如果對所有≥0和任何整數，0≤≤s。隨機過程≥0}滿足：

（1）

則稱是連續時間Markov鏈。

（1）式所表示的就是Markov性。

對于Markov鏈，描述它概率性質最重要的是它在m時刻的一步轉移概率：

它表示在取值i的條件之下于下一時刻轉移到j的概率。 由于概率是非負的，而且，過程總要轉移到某一狀態去，所以顯然，應具有下列性質：

≥0，

其中：I為Markov鏈的狀態空間。

當然，可以把過程留在原地也看成是一種“轉移”，即從i轉移到i。稱為Markov鏈的轉移概率矩陣。矩陣的第i+1行就是給定時，的條件概率分布。若Markov鏈的狀態總數是有限的，則就是有限階方陣，其階數正好是狀態空間中狀態的總數。

一般還可以定義時刻m的k步轉移概率：

≥1

同樣有：

≥0

通常還規定：

關于k步轉移概率，還有如下的Chapman - Kolmogorov方程：

隨機分析學，按照K. It的說法，是“增添了隨機的有趣的分析學”。他在1987年被授予Wolf獎時，對他貢獻的評價做出了高度評價：使他對Markov樣本的無窮小理論的發展有了一個完全的重新的認識。他給出的隨機分析就如同物理中的牛頓定律，提供了理解自然現象中的隱著的隨機和方程之間的直接的對應過程，主要是對布朗運動的函數的積分以及微分運算，由此而得到的理論是近現代純粹和應用概率論的堅強基石。

設標準Brown運動≥0}是定義在概率空間上的隨機過程?！?}是一族單調遞增的F的子域，即：

則是F的子域，且對≤s≤t，關于Ft可測，并且有：

及：

假設 2.2.1[7]

設隨機過程≥0}，對于T> 0滿足以下條件：

（1）關于可測；

（2）≥0，關于Ft可測，即

≤；

（3），≥0

定義 2.2.2[7]

設≥0}為標準Brown運動，≥0}滿足假設2.2.1. 任取0≤≤t，令

1≤k≤，，若和式：

當時，In均方極限[注]存在，則稱其極限：

為≥0}關于Brown運動≥0}的It積分。

所謂It微分方程就是指帶有白噪聲的微分方程。

在It積分定義的基礎上，考慮如下隨機微分方程：

（2）

由前所述，如果形式上記：

則即為白噪聲，這時方程（2）可以形式地寫為：

如果沒有這一項，則可視為普通的常微分方程；增加了這一項，則表示引入了隨機因素，于是不能再是普通的函數，必須是隨機過程了。

為了避開的奇異性質，代替隨機微分方程，考慮如下It積分方程：

（3）

其中右邊第一個積分是均方積分；第二個積分是It隨機積分。 （2）式和（3）式可視為等價。

隨機分析使得那些在微分幾何和分析中通常只對全局光滑函數有意義的重要運算能推廣到一些極不光滑的函數上去。

2 結語

總之，最近幾十年來，隨機控制理論與方法在很多應用領域已有廣泛的應用。在某些重要工業的批量加工過程中，在阿波羅飛船的導航控制系統中都已經使用了最小方差方法控制。又如，隨機控制理論已用于流量控制網絡最優控制的模擬和實踐，水力電站的水庫管理就是成功的案例。隨機控制也已經在某些經濟問題的模型分析方法上成功應用，在風險投資，有價證券管理等的判決。當把前沿的隨機控制理論與物理實際背景仿真模型結合起來，把排隊理論與擾動分析也結合起來，這些用于算法設計的新工具新思路就使得通信及制造的網絡優化方面發生了革命。

參考文獻

[1] 列爾涅爾，著.控制論基礎[M].劉定一，譯.北京：科學出版社，1981：2-3.

[2] 段廣仁.線性系統理論[M].哈爾濱：哈爾濱工業大學出版社，1998：1-3.

[3] 郭尚來.隨機控制[M].北京：清華大學出版社，1999.

[4] 澤夫·司曲斯.隨機微分方程理論及其應用[M].上海：上?？茖W技術文獻出版社，1986.

[5] 候振挺.馬爾可夫過程的Q-矩陣問題[M].湖南：湖南科學技術出版社，1994.

[6] 方兆本，繆柏其.隨機過程[M].合肥：中國科學技術大學出版社，2002：58.

[7] 林元烈.應用隨機過程[M].北京：清華大學出版社，2002.

[8] 復旦大學編.概率論 第三冊 隨即過程[M].人民教育出版社，1981.

[9] X.X.Liao， X.Mao. Exponential Stability of Stochastic Delay Interval System[J].Syst. Control Lett.，2000（40）： 171-181.

[10] Y.Ji and H.J.Chizeck. Controllability， stabilizability and continuous-time Markovian jump linear quadratic control[J].IEEE Trans. Automat.Control.，1990（34）：777-888.