概率与似然

Probability vs. Likelihood

在数据科学和统计学中，许多人常常把“概率”和“似然”混用。然而，似然和概率并不表达相同的含义。这种误解其实也情有可原，毕竟它们在日常语言里含义相近。写这一章时，我在剑桥词典里查了它们的含义，结果如下：

• 概率：某事发生或为真的可能性程度。
• 似然：某事将会发生的机会。

如果你仔细看，“似然”是“概率”唯一的同义词。

总之，在我看来，理解概率和似然在数据科学和统计学中表达的含义截然不同，这一点至关重要。下面来弄清楚！

概率用在你想知道某件事发生的可能性/概率的情境中。例如：

• 掷一次骰子得到偶数的概率？
• 从一副牌中抽到方块 A 的概率？
• 等等……

转换到机器学习里，概率可以理解为：

• 一笔交易是欺诈的概率？
• 一张图片画的是猫的概率？
• 等等……
• 本质上，许多分类模型（如逻辑回归或分类神经网络等）会为某个输入赋予属于特定标签的概率。计算概率时，模型的参数是已知的，并且我们假定它们是可信的。例如，要确定抛硬币出现正面的概率，我们多半假设并相信这是一枚公平的硬币。而似然则关乎对已经发生事件的解释。与概率（参数已知且被假定为可信）不同的是……

……似然帮助我们根据观测数据判断是否可以信任模型中的参数。让我进一步展开。假设你采集了一些二维数据，想用一条带有两个参数——斜率（m）和截距（c）的直线去拟合。这里，似然被定义为一个数据点对你模型中某些特定参数取值所提供的支持程度。

在这里，你会问这样的问题：

• 如果我用以下参数对这批数据建模：
  • m=? 且 c=?，观察到这批数据的似然是多少？
  • m=? 且 c=?，观察到这批数据的似然是多少？
  • 等等……

上述表述就演化为著名的极大似然估计（MLE），我们在这里讨论过：（MLE 与 EM 的区别）。

在极大似然估计中，你有一些观测数据，要设法确定那一组能让观察到该数据的似然最大化的特定参数。

使用“似然”这个词就像是在说：

• 我对我的数据有一种可能的解释。（在上面的图示中，“解释”可以理解为你正在确定的参数）
• 我的解释在多大程度上能解释我已经观测到的东西？这恰恰由似然来量化。例如：
• 观测：10 次抛硬币的结果是“HTHHTHH…”。
• 解释：我认为这是一枚公平的硬币（p=0.5）。
• 基于观测数据，我上面的解释为真的似然是多少？总结一下……在数据科学和统计学中，理解似然和概率并不表达相同含义极为重要。如上所述，它们差别很大。

在概率中：

• 我们确定某件事发生的可能性。
• 我们已知与该事件相关的参数，并假定它们是可信的。在似然中：
• 我们有一些观测。
• 我们有一个解释（或一组参数）。
• 似然帮助我们量化这个解释是否可信。

希望这能帮到你！