MCMC方法分析

[摘 要]本文主要介紹了Monte Carlo integration和 Markov Chain的構(gòu)成原理，闡述了Metropolis-Hastings算法和Gibbs抽樣法兩種算法的基本原理。

[關(guān)鍵詞]MCMC方法；M-H算法；Gibbs抽樣

1949年，Metropolis和Ulam共同發(fā)表了第一篇關(guān)于蒙特卡羅方法的論文，其基本思想是：當所求解問題是某種隨機事件出現(xiàn)的概率或者是某個隨機變量的期望值時，通過某種“實驗”的方法，以這種事件出現(xiàn)的頻率估計這一隨機事件的概率，或者得到這個隨機變量的某些數(shù)字特征，并將其作為問題的解。

1953年6月，Nicolas Metropolis與Marshall N等在《The Journal of Chemical Physics》上發(fā)表了一篇題為“Equations o f State Calculations by Fast Computing Machines”的文章，標志著Markov Chain Monte Carlo（MCMC）方法的誕生。MCMC方法的基本思想是構(gòu)造一個概率轉(zhuǎn)移矩陣，建立一個以分布π（x）為平穩(wěn)分布的Markov鏈來得到π（x）的樣本，通過隨機抽樣得到的這些樣本然后進行各種統(tǒng)計推斷。

1 MCMC的構(gòu)成

1.1 Monte Carlo integration

但是如果后驗概率函數(shù)難以得到時，該方法則不適用。

1.2 Markov Chain

3 結(jié) 論

近年來，統(tǒng)計學(xué)家逐漸把研究重點轉(zhuǎn)向了MCMC方法，這種方法應(yīng)用甚廣，可靠性強，主要用來模擬復(fù)雜的、非標準化的多元（多變量）分布，特別是當信息不全或者數(shù)據(jù)缺失時，可以通過Gibbs抽樣，根據(jù)條件分布來推導(dǎo)聯(lián)合分布，可以有效改善以往方法不能考慮總體情況的缺陷，在大樣本情況下，能夠很好地將已知的總體分布信息納入到對缺失數(shù)據(jù)的處理當中；當然仿真導(dǎo)致的偽隨機的算法再好也不是真正隨機，因此，應(yīng)用MCMC方法時應(yīng)加以注意。

參考文獻：

[1]茆詩松.貝葉斯統(tǒng)計[M].北京：中國統(tǒng)計出版社，1999.

[2]朱嵩，毛根海，劉國華，黃躍飛.改進的MCMC方法及其應(yīng)用[J].水利學(xué)報，2009（8）：1019-1023.

[3]劉樂平，高磊，楊娜.MCMC方法的發(fā)展與現(xiàn)代貝葉斯的復(fù)興[J].統(tǒng)計與信息論壇，2014（2）：3-11.

[4]劉樂平，袁衛(wèi).現(xiàn)代貝葉斯分析與現(xiàn)代統(tǒng)計推斷[J].經(jīng)濟理論與經(jīng)濟管理，2004（6）：64-69.