基于馬爾可夫鏈的歷史和現狀的研究

李自玲

[摘 要] 馬爾可夫鏈是人類歷史上第一個從理論上被提出并加以研究的隨機過程模型。自1906年由馬爾科夫提出這一概念，多位學者將其與其他理論結合不斷發展。現代隨機過程大致分為馬爾可夫過程、平穩過程、布朗運動、離散鞅、無窮粒子馬爾可夫過程和超過程。上世紀50年代前，學者們主要運用微分方程半群理論研究馬爾科夫鏈，目前鞅論方法與隨機微分方程相結合成為處理多維擴散過程的重要工具。中國學者許寶騄、王梓坤、嚴士健、陳木法、張紹義等人也在這一領域取得累累碩果。馬爾科夫鏈的研究深入到經濟、生物、物理、化學等眾多領域，其理論發展方興未艾。

[關鍵詞] 馬爾可夫鏈；隨機過程模型；穩定性；收斂速度

[中圖分類號] O211.62 [文獻標識碼] B

[文章編號] 1009-6043（2017）03-0132-02

一、馬爾可夫鏈的創立

在當代科學與社會領域，有一種數學模型叫隨機過程，從銀河系的亮度起伏到星系空間物質的分布、從小分子的布朗運動到原子的蛻變過程，從化學反應的動力學原理到電話通訊理論，從謠言的傳播過程到傳染病在人群中的擴散、從預測市場到破譯密碼，基于隨機過程方面的理論和應用隨處可見。

在人類發展的歷史上，馬爾可夫鏈是第一個從理論上被提出并加以研究的隨機過程模型。為了擴大概率論極限定理的應用范圍，1906年，馬爾可夫在論文《大數定律關于相依變量的擴展》中第一次提到這種如同鎖鏈般環環相扣的隨機變量序列，其特點是：當一些隨機變量依次被觀測時，隨機變量的分布僅僅依賴于前一個被觀測的隨機變量，而不依賴于更前面的隨機變量，這就是被后人稱作馬爾可夫鏈的著名概率模型。齊次馬爾可夫鏈的漸進正態性、非齊次馬爾可夫鏈的中心極限定理和模型的各態歷經性都被馬爾可夫證明了。他還給出了統計物理中遍歷理論的第一個嚴格證明結果。馬爾可夫鏈的研究一方面是對荷蘭數學家克里斯蒂安·惠更斯提出的無后效原理的概率推廣，另一方面也是對法國數學家拉普拉斯機械決定論的否定。

二、馬爾可夫鏈的發展

馬爾可夫鏈概念后來被擴充到連續時間和任意相位時間，按照辛欽的建議稱之為馬爾可夫過程。柯爾莫戈洛夫把傅里葉的傳熱理論、愛因斯坦與斯莫洛霍夫斯基的布朗運動理論、馬爾可夫等關于隨機徘徊的描述與首次構造隨機過程例子、巴夏里埃與維納的思想結合在一起，抽象出馬爾可夫過程的一般模型。他和辛欽發展了馬爾可夫過程和平穩過程理論。萊維自1938年開始就研究軌道性質的概率論方法。1948年他出版了《隨機過程和布朗運動》一書，在書中他提出了獨立增量過程的一般理論，這極大推進了布朗運動的研究。伊藤清于1944年引進了隨機積分與隨機微分方法。1951年，他在萊維和伯恩斯坦的研究基礎上建立了布朗運動的隨機微分方程方面的理論，為馬爾可夫鏈的研究開辟了新的道路。1975年他推出伊藤清積分和Stratonovich積分之間的關系，以及無窮維隨機變元情形的推廣。美國概率論學派的代表人物杜布于1950年開始研究鞅，使它衍生為一門獨立的概率論分支。1953年，他出版的《隨機過程論》一書，系統又全面地敘述了隨機過程的基本理論。1954年，費勒將泛函分析中的半群方法運用到馬爾可夫鏈的研究中，登金、麥基恩和伊藤清等人賦予它概率意義（如特征算子等）。上世紀50年代初，角谷靜夫和杜布發現了偏微分方程中狄利克雷問題與布朗運動的關系，后來亨特又研究了位勢與一般馬爾可夫過程（亨特過程）的關系。上世紀60年代，法國布爾巴基學派發展了隨機過程的一般理論。現代隨機過程大致可分為馬爾可夫過程、平穩過程、布朗運動、離散鞅、無窮粒子馬爾可夫過程和超過程。

三、馬爾可夫鏈的研究工具

1936年左右學者們開始探討馬爾可夫過程的軌道性質，直到將軌道性質的概率方法與微分方程及半群理論的分析方法結合起來應用，才使他們的研究工作進一步深化，形成了對軌道分析的強馬爾可夫性概念。伊藤清于1942年創立的隨機分析理論用于研究一類特殊的馬爾可夫過程——擴散過程，他開辟了研究馬爾可夫鏈的新路徑。在上世紀50年代之前，學者們研究馬爾可夫鏈主要是運用微分方程和半群理論。近年來，學者們將鞅論方法運用到了馬爾可夫鏈的研究當中。目前，鞅論方法與隨機微分方程相結合已成為處理多維擴散過程的重要工具。另外，分析學中的位勢理論和馬爾可夫鏈有著緊密聯系。學者們對馬爾可夫鏈的研究，促進了位勢理論的發展，它為偏微分方程的研究提供了概率論方法。在國外Richard Tweedie， Sean P. Meyn， E. Numnelin等人主要用Lyapunor drift條件和分裂技術研究馬爾可夫過程的穩定性和收斂速度。在國內陳木法、王鳳雨、張紹義等用耦合方法研究馬爾可夫過程的穩定性。

四、中國當代學者的研究動態

許寶騄是中國最早從事概率論與數理統計研究并達到世界先進水平的優秀數學家。他加強了強大數定理，研究了中心極限定理中誤差大小的精確性，發展了矩陣變換技巧，得到了高斯-馬爾可夫模型中方差的最優估計。

中國著名數學家、中國科學院院士、中國概率論研究的先驅和主要領導者之一——王梓坤對馬爾可夫過程的理論研究和應用都作出了很大貢獻：將差分方法和遞推公式應用于生滅過程的泛函和首達時分布的研究，得到一系列深刻結果，并將此理論應用于排隊論、傳染病學等研究領域；在中國他最早著手研究隨機泛函分析，導出了廣義函數空間中隨機元的極限定理；他研究了位勢理論與布朗運動之間的關系，得出了高維布朗運動和對稱穩定過程未離球面的時間分布、位置分布及極大游程分布；推導了馬爾可夫鏈的零一律和常返性成立的條件；他在國際上最先引進多參數有限維恩斯坦-烏倫貝克過程的嚴格數學定義，并取得對三點轉移、預測問題、多參數與單參數關系等系列研究成果；創造了多種統計預報方法及供導航的數學方法。20世紀90年代至今，王梓坤所領導的研究集體致力于對測度值馬爾可夫過程（超過程）的研究，其研究成果已達到國際先進水平。

北京師范大學教授嚴士健及中國科學院院士陳木法領導的無窮粒子系統研究集體，將算子譜和泛函不等式半群性質作為研究對象，綜合應用微分幾何、泛函分析及概率論等知識，取得了很多研究成果。上世紀60年代，嚴士健、王雋驤及劉秀芳在平穩過程研究方面取得了一些成果。上世紀70年代末期，嚴士健與陳木法在國際上首次引入了非平衡粒子系統的典型模型——反應擴散過程，且創立了相關理論體系。從1988年開始，陳木法選定“馬爾可夫過程的遍歷速度與譜理論”為研究方向，他和王鳳雨合作在國際上首創運用概率方法估計第一特征值。他最早研究馬爾可夫耦合，更新了耦合理論；完善了一般或可逆跳過程的唯一性準則，且推導出了唯一性的充分條件；徹底攻破了“轉移概率函數的可微性”等難題，還創立了跳過程的系統理論。湖北大學張紹義教授的兩項重要工作：最優馬氏耦合存在定理和跳過程ρ最優保序耦合算子的存在定理受到陳木法院士的高度肯定。陳木法在他的兩本英文專著From Markov Chains to Non-EquilIbrium Particle System和Ergodic Convergence Rates of Markov Processes-eigenvalues， Inequalities and Ergodic Theory中給出了這些工作的詳細介紹，并稱之為張定理。

中國科學院院士嚴加安在鞅論、隨機分析和白噪聲分析等方面取得了顯著成果：他證明的局部鞅分解引理被外國專家稱為“嚴引理”；他創立的半鞅隨機積分“初等”定義為學者研究隨機積分的性質提供了捷徑；他對無窮維分析中很有名的Gross定理及Minlos定理作了推廣；他還與法國通訊院士Meyer合作提出了白噪聲分析數學框架，其被稱作“Meyer-Yan空間”，被國際《數學百科全書》引述。

中國科學院院士馬志明研究狄氏型與馬爾可夫鏈的對應關系取得了重要成果，創建了右連續馬爾可夫過程與擬正則狄氏型一一對應的新框架。在Malliavin算法研究上，他與合作者證實了維納空間的容度與選取的可測范數無關。在無窮維分析方面，他與合作者推導出了緊Riemann流形的環空間上帶位勢項的對數索伯列夫不等式，這是當前國際上該研究領域的最佳成果。

1974年，中南大學侯振廷教授在《中國科學》第二期發表論文“Q過程唯一性準則”，成功地解決了Q過程的唯一性問題。這項成果被概率學界稱為“侯氏定理”。近年來，他又研究了馬爾可夫決策過程，推導出了馬爾可夫骨架過程新理論，并將這一理論運用到排隊論的研究中，成功地解決了GI/G/N排隊系統和排隊網絡的隊長瞬時分布等問題。

五、馬爾可夫鏈的應用

隨著馬爾可夫鏈的逐步深入研究，它在經濟學、生物學、物理學、化學、軍事學、天文學等領域都引起了連鎖反應，衍生出一系列新課題、新理論和新學科。馬爾可夫鏈具有豐富的數學理論，與其他數學學科相互滲透；而它又與自然科學、技術科學、管理科學、經濟科學以至人文科學有廣泛的交叉應用。很多問題都可建立馬爾可夫過程概率模型，運用概率論及隨機過程的理論及方法進行研究，而它們又不斷地衍生出新的研究課題。這種交互作用促進了當代概率論的飛速發展。而當前馬爾可夫鏈的理論研究，正方興未艾。

六、馬爾可夫鏈的研究方向

目前，馬爾可夫過程、馬爾可夫隨機場、無窮粒子馬爾可夫過程、測度值分支過程（超過程）、流形上的馬爾可夫過程等都是正在深入研究或有待研究的領域。

[參 考 文 獻]

[1]DA Levin，Y Peres，EL Wilmer.Markov chains and mixing times[M].New York：American Mathematical Society，2009

[2]Ren Zihui，Wang Jian，Gao Yuelin.The global convergence analysis of particle swarm optimization algorithm based on Markov chain[J].控制理論與應用，2011， 28（4）：462-466

[3]XS Yang，S Deb，Cuckoo.Search：recent advances and applications[J].Neural Computing and Applications， 2014， 24（1）：169-174

[4]MF Chen.Eigenvalues，Inequalities and Ergodic Theory[M].Beijing：Science Bulletin，2000（9）

[5]龔光魯，錢敏平.應用隨機過程教程及在算法和智能計算中的隨機模型[M].北京：清華大學出版社，2004（3）

[6]徐傳勝.從博弈問題到方法論學科：概率論發展史研究[M].北京：科學出版社，2010（7）

[7]徐傳勝.彼得堡數學學派的概率思想研究[D].西安：西北大學博士論文，2007

[責任編輯：史樸]