MLE和EM算法的學習和閱讀整理

蔣卓莉

摘要：本文通過本人學習過程中對MLE和EM算法的了解情況對兩者的地位及性質(zhì)做了整理，此外查閱文獻了解EM算法的實現(xiàn)，并用Matlab迭代算法驗證書本中所給例題中參數(shù)的收斂性。

關(guān)鍵詞：MLE;EM算法;

一.書本學習后的理解概述

參數(shù)估計的學習內(nèi)容已涉及點估計（即用一個具體的數(shù)值（樣本觀測函數(shù)）去估計一個未知參數(shù)）以及評判估計好壞的標準，其中點估計涉及矩估計、最大似然估計（Maximum likelihood estimation），評判標準包括無偏性、有效性、相合性以及漸近正態(tài)性。

MLE是點估計的一種，通俗的解釋是看上去“最像”。矩估計有許多缺點如：為充分利用分布已知情況下的分布;矩不存在的情況下矩估計難以適用（如Cauthy分布）;在很多場合不具有唯一性;受極值影響較大等，而MLE則恰好在一定程度上彌補了這些缺陷。MLE是一種非常有效的參數(shù)估計方法，其根本目的是求出似然函數(shù)取最大值時參數(shù)的取值，但當分布中有多余參數(shù)、數(shù)據(jù)缺失或?qū)?shù)似然方程較為復(fù)雜難以用傳統(tǒng)的方法求解時求取MLE較為困難。因而提出了EM算法，目的在于解決這些問題。

矩估計與MLE比較，MLE不一定具有無偏性、相合性，有不變性和漸進最優(yōu)性。一般來說矩估計是相應(yīng)參數(shù)的相合估計。在大多數(shù)情況下，MLE較矩估計來說更優(yōu)。Cauthy分布的參數(shù)估計是在使用MLE后又利用矩估計的思想方法對參數(shù)做出了最后的估計。這也給我們提供了一種參數(shù)估計的方式，可以將多種估計方式聯(lián)合起來使用，這與基于MLE的思想提出的EM算法有相似之處。

二.理論層面的具體理解

從理論層面具體說明基于MLE的思想提出EM算法（對數(shù)似然方程較為復(fù)雜難以用傳統(tǒng)的方法求解的情況下）的具體過程。其中x1...xn是其樣本，P（x;θ）是總體的密度函數(shù)，求未知參數(shù)θ。MLE是求出似然函數(shù)的最大值L（θ），以得到似然估計。由于log函數(shù)是單調(diào)遞增的，因此logL（θ）與L（θ）最大值有一致性。無法簡單求的其最大值的情況下我們提出了EM算法，首先人為引入不可觀測的潛變量zi，目的是為了簡化對數(shù)似然函數(shù)，并且已知潛變量分布，qi為其概率密度函數(shù)（若其為連續(xù)型）qi（zi）=p（xi，zi;θ）/p（xi;θ）其次用時的潛變量zi的數(shù)學期望替換使該對數(shù)似然函數(shù)成為僅關(guān)于θi的函數(shù)，最后利用多元函數(shù)求最大最小值的方法求θi的其取最大值時的取值，課本中基因環(huán)模型便是在這個思路下求解的。

三.文獻資料閱讀總結(jié)

通過閱讀文獻資料[3]了解到EM算法有很多類型的應(yīng)用方式，可以看出其使用的難點在于潛變量及其分布的確定和M步計算困難，不過其可以用Matlab等工具實現(xiàn)算法。利用Matlab迭代發(fā)現(xiàn)其收斂性與初值的取值相關(guān)，當θ≥1時，收斂性較差，說明其收斂與處置相關(guān)。由原理可知其還有可能會陷入局部收斂的困境。以上可以知道EM算法還存在許多缺陷需要克服。

除上述說明之外，研究是否收斂[4]以及收斂速度的快慢都是研究人員比較關(guān)心的問題。EM算法的三個非常重要的應(yīng)用，包括EM算法在二元正態(tài)分布上的參數(shù)估計的應(yīng)用、混合高斯分布參數(shù)估計方面的應(yīng)用以及EM算法在隱馬爾科夫模型（HMM）參數(shù)估計方面的應(yīng)用，即著名的Baum-Welch算法，一種EM算法的特例。

例題（缺失數(shù)據(jù)的二元正態(tài)分布參數(shù)估計）

若數(shù)據(jù)完整可以由極大似然估計的思想得到參數(shù)估計，但在數(shù)據(jù)缺失的情況下需要使用EM算法來實現(xiàn)參數(shù)估計。

與觀察數(shù)據(jù)構(gòu)成完全數(shù)據(jù)，在完全數(shù)據(jù)下有極大似然原理求得MLE。（完全數(shù)據(jù)下的均值，μ2求法相同）。可以看出該例題是對書本上關(guān)于數(shù)據(jù)缺失的例題補充，其總體方式是由在k步隨機生成的隨機數(shù)補全原來缺失的數(shù)據(jù)，后相當于在完全數(shù)據(jù)下求MLE，根據(jù)以往的常規(guī)方法即可求的結(jié)果。

參考文獻：

[1]程興新.EM算法的收斂性[J].北京大學學報（自然科學版），1987（03）.

[2]張宏東. EM算法及其應(yīng)用[D].山東大學，2014.

[3]王兆軍.EM算法收斂的必要條件[J].南開大學學報（自然科學版），1994（02）.