EM算法最初用于缺失數(shù)據(jù)模型參數(shù)估計(jì)。 設(shè)模型中含Xobs和Xmis兩個(gè)隨機(jī)成分,含有聯(lián)合密度函數(shù)或概率函數(shù)為f(xobs,xmis|theta), theta為未知參數(shù), 稱f(xobs,xmis|theta)為完全數(shù)據(jù)的密度，實(shí)際上我們只有Xobs的觀測(cè)數(shù)據(jù), Xobs=xobs， Xmis不能觀測(cè)得到，這一部分可能是缺失數(shù)據(jù)，也可能是潛在影響因素。所以實(shí)際的似然函數(shù)為

這個(gè)似然函數(shù)比完全數(shù)據(jù)的似然函數(shù)復(fù)雜，所以很難直接通過這個(gè)似然函數(shù)求極大似然估計(jì)。

? ? ?EM算法的想法是，已經(jīng)有了參數(shù)的近似估計(jì)值θ^(t)后, 假設(shè)（Xobs,Xmis）近似服從密度f(xobs,xmis|θ^(t)), 這里Xobs=xobs已知，所以認(rèn)為Xmis近似服從條件分布

在完全數(shù)據(jù)對(duì)數(shù)似然函數(shù)logf(Xobs,Xmis|θ)中，把Xobs=xobs看成已知，對(duì)未知部分xmis求期望得到θ的函數(shù)Q_t(θ)，再求Q_t(θ)的最大值點(diǎn)作為下一個(gè)θ^(t+1).

EM算法每次迭代有如下E步（期望步）和M步（最大化步）: