极大似然估计（MLE）与期望最大化（EM）——有何区别？

MLE vs. EM — What's the Difference?

极大似然估计（MLE）和期望最大化（EM）是两种确定统计模型参数的常用方法。由于 MLE 适用于许许多多的统计模型，我看到它在不少数据科学面试中也被问及，尤其是两者之间的区别。下面的图示总结了它们的工作原理：

MLE 从一个带标签的数据集出发，目标是确定我们想要拟合的统计模型的参数。

这个过程相当简单直接。在 MLE 中，我们：

• 首先假设一个数据生成过程。简单来说，这个数据生成过程反映了我们对输出标签（给定输入时）分布的信念。
• 接下来，我们定义观察到这些数据的似然。由于每条观测相互独立，观察到全部数据的似然就等于各条观测似然的乘积：

• 上面的似然函数依赖于参数取值。我们的目标是确定那些能让似然函数最大化的特定参数取值。我们这样做：
• 这就得到了最有可能生成给定数据的参数估计。挺简单的，不是吗？
• 但如果我们没有真实标签该怎么办？我们仍然想估计参数，不是吗？

你大概猜到了，MLE 在这里不适用。真实标签 y 未被观测到，使我们无法像之前那样定义似然函数。这种情况下，期望最大化这类进阶技巧就相当有用了。

EM 是一种用于估计统计模型参数的迭代优化技术。当我们存在未被观测（或隐藏）的标签时，它特别有用。一个示例场景如下：

如上图所示，我们假设数据由多个分布（一个混合分布）生成。然而，观测到的/完整的数据并不包含这一信息。换句话说，观测数据集里并没有说明某一行究竟是由分布 1 还是分布 2 生成的。要是它包含标签信息，我们早就用 MLE 了。

EM 能帮助我们估计这类数据集的参数。EM 背后的核心思想如下：

• 对初始参数做一个猜测。
• 期望（E）步：用上面的参数计算未观测标签（我们称之为 'z'）的后验概率。

• 这里 'z' 也被称为潜变量，意思是隐藏的或未观测到的。
• 回到我们的例子，我们知道真实标签在自然界中是存在的，但我们不知道它究竟是什么。
• 于是，我们用一个潜变量 'z' 来替代它，并用猜测出的参数估计它的后验概率。
• 既然我们现在有了真实标签的一个代理（虽然不精确），就可以定义一个“期望似然”函数。于是我们用上面的后验概率来构造它：
• 最大化（M）步：现在我们有了一个可用的似然函数。对参数求最大化，就能得到参数的一个新估计。
• 接下来，我们用更新后的参数重新计算期望步中定义的后验概率。
• 我们再用新的后验概率来更新似然函数（L）。
• 再次最大化它，就会得到参数的又一个新估计。
• 这个过程一遍又一遍地持续下去，直到收敛。

关键在于，在期望最大化中，我们在 E 步和 M 步之间反复迭代，直到参数收敛。EM 的一个好处是它总会收敛。不过有时它可能收敛到局部极值。MLE 与 EM 的区别是许多数据科学面试中的热门问题。