缺失數據下多元正態模型Monte Carlo EM算法

王繼霞，劉次華

(1.河南師范大學 數學與信息科學學院 河南 新鄉 453007； 2.華中科技大學 數學與統計學院 湖北 武漢 430074)

缺失數據下多元正態模型MonteCarloEM算法

王繼霞1，劉次華2

(1.河南師范大學 數學與信息科學學院 河南 新鄉 453007； 2.華中科技大學 數學與統計學院 湖北 武漢 430074)

研究含有缺失數據的多元正態模型參數的極大似然估計問題，利用Monte Carlo EM算法求得多元正態模型參數的迭代解，并證明了此迭代解收斂到最優解，且其收斂速度是二階的.

多元正態模型； 缺失數據； EM算法； Monte Carlo EM算法； Newton-Raphson算法

0 引言

EM算法[1-2]是常用的求后驗眾數的估計的一種數據增廣算法，但由于求出其E步中積分的顯式表達式有時很困難，甚至不可能，為了解決這個問題，將EM算法中的E步的積分用Monte Carlo模擬來有效實現，使其應用性大大增強.但是Dempster、Laird和Rubin[3-4]指出，EM算法的收斂速率是線性的，被缺失信息的倒數所控制，這樣，當缺失數據的比例很高時，收斂速度非常緩慢.鑒于此，作者研究含缺失數據下多元正態模型參數的極大似然估計問題，將Monte Carlo EM算法與Newton-Raphson算法結合，給出均值向量的迭代解，并證明了該算法在后驗眾數附近具有二階收斂速度.

1 參數的極大似然估計

N-R步 令

(1)

在上述算法中，由于μ的增廣后驗分布與缺失數據Xmis的條件預測分布易知且形式較簡單，故N-R步中的數學期望與方差容易求得.

2 收斂性的證明

(2)

其中Gij(x)是Hesse矩陣G(x)的第i行第j列的元素，則對一切i，上述算法有定義，且當n充分大時，所得序列{μ(i)}收斂到最優解μ*，并且序列具有二階收斂速度.

(3)

(4)

(5)

令h=-hi得

(6)

由O(·)的定義可知,存在常數C,使得

‖hi+1‖≤C‖hi‖2,

(7)

‖hi+1‖≤γ‖hi‖,

[1] Little R J A, Rubin D R. Statistical Analysis with Missing Data[M]. New York: Wiley,1987.

[2] Shi N Z,Zhong S R,Guo J H.The restricted EM algorithm under inequality restrictions on the parameters[J].Journal of Multivariate Analysis, 2005,92(4):53-76.

[3] Booth J G, Hobert J P.Maximizing generalized linear mixed model likelihoods with automated Monte Carlo EM algorithm[J].Journal of the Royal Statistical Society: Ser B, 1999,61(2):265-285.

[4] Dempster A P, Laird N M, Rubin D B. Maximum likelihood from incomplete data via the EM algorithm (with discussion)[J].Journal of the Royal Statistical Society: Ser B, 1977, 39(3):1-38.

[5] 羅季.Monte Carlo EM加速算法[J].應用概率統計,2008,24(3):312-318.

[6] Geweke J.Bayesian inference in econometric models using Monte Carlo integration[J].Econometrica,1989,57(2):1317-1339.

[7] 茆詩松,王靜龍,濮曉龍.高等數理統計[M].北京:高等教育出版社,1998.

MonteCarloEMAlgorithmforMultivariateNormalDistributionunderMissingData

WANG Ji-xia1，LIU Ci-hua2

(1.CollegeofMathematicsandInformationScience,HenanNormalUniversity,Xinxiang453007,China; 2.DepartmentofMath,HuazhongUniversityofScienceandTechnology,Wuhan430074,China)

Maximum likelihood estimations of the parameters of multivariate normal distribution models under missing data were studied. The iterative solution of the parameters of multivariate normal distribution models were obtained through the Monte Carlo EM algorithm and this solution converge to the optimum solution were proved and the convergence rate of this solution was secondary.

multivariate normal distribution; missing data; EM algorithm; Monte Carlo EM algorithm; Newton-Raphson algorithm

O 212.1

A

1671-6841(2011)03-0059-03

2010-04-24

國家自然科學基金資助項目，編號10671057；河南省教育廳軟科學研究計劃,編號2010B110013.

王繼霞(1978-),女,講師,碩士，主要從事保序回歸、約束統計推斷等方面的研究，E-mail: jixiawang@163.com.