馬爾可夫鏈模型及其應(yīng)用

鄒樂強(qiáng)

摘? ?要：馬爾可夫鏈（Markov Chain， MC）是概率論和數(shù)理統(tǒng)計中具有馬爾可夫性質(zhì)（Markov property）且存在于離散的指數(shù)集（index set）和狀態(tài)空間（state space）內(nèi)的隨機(jī)過程（stochastic process） 。馬爾可夫鏈模型，是以概率論為基礎(chǔ)，對平穩(wěn)隨機(jī)現(xiàn)象用自回歸過程方法進(jìn)行定量預(yù)測的模型.本文首先對馬爾可夫鏈及其相關(guān)原理進(jìn)行介紹，然后對其進(jìn)行實際應(yīng)用，得到滿意的結(jié)果，最后對馬爾可夫鏈模型進(jìn)行評價和推廣。

關(guān)鍵詞：馬爾可夫鏈? 轉(zhuǎn)移矩陣? 吸收狀態(tài)

1? 馬爾可夫鏈模型的概述

馬爾可夫鏈模型是以概率論為基礎(chǔ)，對平穩(wěn)隨機(jī)現(xiàn)象用自回歸過程方法進(jìn)行定量預(yù)測的模型。它以事物未來狀況出現(xiàn)的概率不是恒定的，而是隨時間或狀態(tài)遵循某一概率變化，而后一階段的客觀狀況的概率僅由它相鄰前一階段的概率所決定，與其他階段的概率無關(guān)為建?；A(chǔ)。事物歷史監(jiān)測數(shù)據(jù)、狀態(tài)劃分和狀態(tài)轉(zhuǎn)移概率是馬爾可夫鏈模型預(yù)測的必備條件。

2? 馬爾可夫鏈模型的基本原理

2.1 隨機(jī)過程的概念

一個隨機(jī)試驗的結(jié)果有多種可能性，在數(shù)學(xué)上用一個隨機(jī)變量（或隨機(jī)向量）來描述。在許多情況下，人們不僅需要對隨機(jī)現(xiàn)象進(jìn)行一次觀測，而且要進(jìn)行多次，甚至接連不斷地觀測它的變化過程。這就要研究無限多個，即一族隨機(jī)變量。隨機(jī)過程理論就是研究隨機(jī)現(xiàn)象變化過程的概率規(guī)律性的。

2.2 馬爾可夫鏈

現(xiàn)實世界中有很多這樣的現(xiàn)象：某一系統(tǒng)在已知現(xiàn)在的情況下，系統(tǒng)未來時刻的情況只與現(xiàn)在有關(guān)，而與過去的歷史無直接關(guān)系。比如，研究一個商店的累計銷售額，如果現(xiàn)在時刻的累計銷售額已知，則未來某一時刻的累計銷售額與現(xiàn)在時刻以前的任意時刻累計銷售額無關(guān)。描述這類隨機(jī)現(xiàn)象的數(shù)學(xué)模型稱為馬爾可夫鏈模型，其相關(guān)原理如下所述。

定義（馬爾可夫鏈）設(shè)是一個隨機(jī)序列，狀態(tài)空間E為有限集或可列集，對于任意的正整數(shù)m，n，若有

則稱該隨機(jī)過程為一個馬爾可夫鏈（簡稱馬氏鏈），（1）式稱為馬爾可夫性。事實上，可以證明若等式（1）對于m=1成立，則它對于任意的正整數(shù)m也成立。因此，只要當(dāng)m=1時（1）式成立，就可以稱隨機(jī)序列具有馬爾可夫性，即是一個馬爾可夫鏈。

3? 馬爾可夫鏈模型的應(yīng)用

家庭是社會的細(xì)胞，同時也是個體成長的重要環(huán)境之一，影響孩子發(fā)展的家庭因素有家庭物質(zhì)條件、家庭結(jié)構(gòu)、家庭成員的教育背景等。顯然，這些因素和父母都有著直接或間接的關(guān)系，兒童受教育的水平依賴于他們父母受教育的水平，父母的文化水平高，子女的文化水平相應(yīng)的也高。

社會上有人對人們受教育程度進(jìn)行了調(diào)查。調(diào)查過程中將人們劃分為五類：A類，這類人具有初中或初中以下的文化程度;B類，這類人具有高中文化程度;C類，這類人具有學(xué)士學(xué)歷;D類，這類人具有碩士學(xué)歷;E類，這類人是碩士以上學(xué)歷。經(jīng)過對調(diào)查結(jié)果進(jìn)行分析得到了當(dāng)父或母（指文化程度較高者）是這五類人中某一類型時，其子女將屬于這五種類型中的任一種的概率，即父或母是A類人時，子女是A類、B類、C類、D類、E類的概率分別為0.7、0.2、0.08、0.01、0.01;父或母是類人時，子女是A類、B類、C類、D類、E類的概率分別為0.4、0.4、0.1、0.08、0.02;父或母是C類人時，子女A類、B類、C類、D類、E類的概率分別為0、0.15、0.65、0.15、0.05;父或母是D類人時，子女是A類、B類、C類、D類、E類的概率分別為0、0.4、0.5、0.1;父或母是E類人時，子女是A類、B類、C類、D類、E類的概率分別為0、0、0.4、0.5、0.1。

如果我們要研究各類人的后代受教育的程度，就可以用馬爾可夫鏈模型來描述。從而得到相應(yīng)的轉(zhuǎn)移矩陣為

此時為了研究需要，我們對問題進(jìn)行簡化，即假設(shè)父母屬于同一類人。根據(jù)P，我們可以算出各類人的后代成為這五類人中的某一類的概率。比如，

可知，A類人的第二代具有初中或初中以下的文化程度的概率為0.57，具有高中文化程度的概率為0.232;具有學(xué)士學(xué)歷的概率為0.134;具有碩士學(xué)歷的概率為0.046;具有碩士以上學(xué)歷的概率為0.018。同理知其余各類人的第二代成為這五類人中的某一類的概率。

知A類人的第三代具有初中或初中以下的文化程度的概率為0.4918;具有高中文化程度的概率為0.2269;具有學(xué)士學(xué)歷的概率為0.1779;具有碩士學(xué)歷的概率為0.0782;具有碩士以上學(xué)歷的概率為0.0252。同理知其余各類人的第三代成為這五類人中的某一類的概率。

繼續(xù)進(jìn)行下去就可算出，，…，也就得到了各類人的每一代成為這五類人中的某一類的概率。

但又有不同的調(diào)查結(jié)果表明，當(dāng)父或母具有學(xué)士或?qū)W士以上學(xué)歷時，子女最低也具有學(xué)士學(xué)歷。有時由于研究的需要，沒必要把狀態(tài)空間分的那么細(xì)，比如我們只研究受高等教育（具有學(xué)士或?qū)W士以上學(xué)歷）情況時，就可把狀態(tài)空間分為三類：A類，這類人具有初中或初中以下的文化程度;B類，這類人具有高中文化程度;F類，這類人具有學(xué)士或?qū)W士以上學(xué)歷。

此時轉(zhuǎn)移矩陣的標(biāo)準(zhǔn)形式為

由吸收狀態(tài)的定義可知，狀態(tài)F為吸收狀態(tài)，故此馬爾可夫鏈為一個吸收鏈。所以經(jīng)過一定長的時間，所有的狀態(tài)都將轉(zhuǎn)移到狀態(tài)F，反映到實際生活中也就是說，經(jīng)過一定長的時間，所有的人都將受高等教育。但這段時間到底是多久呢？根據(jù)前面的基本原理我們就可以算出。詳細(xì)計算過程如下：

其中y的第i個分量就表示從第個非吸收狀態(tài)出發(fā)，被吸收狀態(tài)吸收的平均轉(zhuǎn)移次數(shù)。

所以A類人的后代平均要經(jīng)過10代，最終都可以接受高等教育，B類人的后代平均要經(jīng)過5代，最終都可以接受高等教育。

經(jīng)過上述計算，我們得到了滿意的結(jié)果。這雖然只是馬爾可夫鏈模型的一部分原理在實際問題中的應(yīng)用，卻表現(xiàn)出了馬爾可夫鏈模型的巨大作用。

文中對馬爾可夫鏈模型的應(yīng)用也有需要改進(jìn)的地方，因為為了簡化問題假設(shè)了父母同等學(xué)歷。在實際生活中，父母不是同等學(xué)歷的也很多，而子女的文化水平受父母中文化水平高者的影響較顯著;另外，隨著社會的發(fā)展，教育越來越引起父母的重視，不管他們的文化水平高低，對子女的要求都會更高，子女對自身的要求也越來越高。所以轉(zhuǎn)移矩陣P也是不斷變化的，且是往好的方向發(fā)展。如果不斷的改進(jìn)P，文化水平高者占的比例會有所增加，每類人的后代最終都可以接受到高等教育所經(jīng)歷的時間也會縮短。

雖然預(yù)測結(jié)果與實際不是很吻合，但是它提供了一個很好的解決實際問題的模型。我們可以通過不斷的調(diào)查或其他方式找出合理的轉(zhuǎn)移矩陣P，代入模型即可得到更準(zhǔn)確的預(yù)測。

參考文獻(xiàn)

[1] 鄧永錄.應(yīng)用概率及其理論基礎(chǔ)[M].北京：清華大學(xué)出版社，2005.

[2] 張波.應(yīng)用隨機(jī)過程[M].北京：中國人民大學(xué)出版社，2000.

[3] 姜啟源.數(shù)學(xué)模型[M].北京：高等教育出版社，2003.

[4] 張德平.概率論與隨機(jī)過程[M].北京：科學(xué)出版社，2005.

[5] 復(fù)旦大.概率論[M].北京：人民教育出版社，1981.

[6] 熊巍.馬爾可夫鏈與市場占有率的預(yù)測和分析[J].山西統(tǒng)計，2002.