EM算法及其推廣的幾種算法

姚紅娟　趙子龍　王會娟

摘 要 引入了可處理缺失數據的EM算法。EM算法是一種迭代算法，每一次迭代都能保證似然函數值增加，并且收斂到一個局部極大值。在此基礎上，本文也給出了推廣的幾種EM算法。

關鍵詞 EM算法 ECM算法 ECME算法 MCEC算法

中圖分類號：O212.1 文獻標識碼：A

0前言

EM 算法是 Dempster Laind，Rubin 于 1977 年提出的求參數極大似然估計的一種方法，它可以從非完整數據集中對參數進行 MLE 估計，是一種非常簡單實用的學習算法。這種方法可以廣泛地應用于處理缺損數據，截尾數據，帶有噪聲等所謂的不完全數據。本文主要說明了EM算法的基本原理及其應用，再針對它的加速收斂性引出了推廣的幾種EM算法，或稱為廣義的EM算法。

1 EM算法原理及其應用

1.1 EM算法的思想及步驟

EM算法的每一次迭代有兩步組成：E步（求期望） 和M步（極大化）。一般的，以p（ |Y） 表示 的基于觀測數據的后驗分布密度函數，稱為觀測后驗分布， p（ |Y，Z） 表示添加數據Z后得到的關于 的后驗分布密度函數，稱為添加后驗分布，p（Z| ，Y） 表示在給定 和觀測數據Y下潛在數據Z的條件分布密度函數。我們的目的是計算觀測后驗分布p（ |Y） 的眾數，于是，EM算法如下進行。

E步：將p（ |Y，Z） log p（ |Y，Z）關于Z的條件分布求期望，從而把Z積掉，即

Q（（ | （i），Y）≡EZ[log p （ | Y， Z） | （i），Y （1）

M步：將Q（（ | （i），Y）極大化，即找一個點 （i+1）使

Q（（ | （i），Y）=Q（（ | （i），Y） （2）

如此形成了一次迭代 （i）→ （i+1）。將上述E步和M步進行迭代直至|| （i+1） （i）||或||Q（ （i+1）| （i），Y） Q（ （i）| （i），Y）||充分小時停止。

1.2 EM算法的優缺點

EM算法是一種求參數極大似然估計的迭代算法，在處理不完全數據中有重要應用。EM算法實現簡單，數值計算穩定，存儲量小，并具有良好的全局收斂性。但是，EM算法收斂速度相當慢，只是次線性的收斂速度，這個缺點防礙了EM算法的應用。現已提出了多種加速EM算法收斂的方法。

2 推廣的幾種EM算法

2.1 ECM算法

EM 算法流行的原因有二：其一，M 步僅涉及完全數據極大似然，通常計算比較簡單；其二，它的收斂是穩定的，因為每次迭代似然函數是不斷增加的。但是如果完全數據對數似然的估計本身比較復雜時，EM 算法就不再有吸引力了，因此Meng 和Rubin （1993） 提出了 ECM 算法，這種算法的基本思想是用一系列的計算更加簡單的CM 步來代替一個復雜的 M 步。當M步沒有顯式的表達式時，CM步通常有顯式的表達式。即使 CM 步沒有顯式的表達式 ，但 ECM 算法通常更加穩定，因為它的極大化是在更低維度（ dimension） 的參數空間中進行的。

2.2 ECME算法

這種方法是由Liu and Rubin（ 1994） 提出的，它是ECM算法的推廣，在 ECM 算法中，CM 步是對完全數據對數似然函數的期望進行極大化。同樣，可以把這種思想運用到觀察數據對數似然上，也就是說，在CM 步上，可以考慮在一定的約束條件下，對對數似然函數進行極大化，因此就產生了ECME算法。

2.3 MCEM算法

而對于EM算法的E步，有時要獲得期望的顯式表示是不可能的，即使近似計算也很困難，這時用Monte Carlo方法來完成，就是所謂的MonteCarlo EM（MCEM） 方法。MCEM算法比較靈活，但是需要仔細選擇模擬容量和確保正確的收斂性準則。我們可以通過增加迭代次數來提高模擬容量。除此以外，由于蒙特卡羅誤差，該EM算法不具有單調性，難以估計其收斂性。

3結論

EM算法可以應用于醫學研究中，尤其是臨床醫學中十分常見的一種數據觀測形式為重復觀測，其特點是在同一實驗單位上進行多次重復觀測，這個過程由于各種原因經常導致實驗觀測數據缺失。本文給出了EM算法的基本思想，并給出了幾種推廣的EM算法，其應用范圍更加廣泛。

參考文獻

[1] 茆詩松，王靜龍，濮曉龍.高等數理統計[M].北京：高等教育出版社，1998.

[2] 楊基棟.EM算法理論及其應用[J].安慶師范學院學報（自然科學版），2009，15（4）：30-35.

[3] 陳長生，王彤，徐勇勇，尚磊.醫學科研中缺失數據的EM估計[J].第四軍醫大學學報，2002，23（1）：59-61.