为什么说 OLS 是无偏估计量？

Why is OLS Called an Unbiased Estimator?

线性回归的 OLS 估计量（如下所示）被称为无偏估计量。

• 这是什么意思？
• 为什么 OLS 会被这样称呼？

统计建模的目标是对整个总体做出推断。然而，观测整个总体显然是不切实际的。

换句话说，既然我们无法观测（或采集）整个总体，也就无法得到总体的真实参数：

因此，我们必须在样本上获得参数估计，并据此推断总体的真实参数：

当然，我们希望这些样本估计是可靠的，以便确定真实的参数。

OLS 估计量保证了这一点。来看看它是怎么做到的！

使用线性回归模型时，我们假设整个总体的响应变量（Y）和特征（X）之间满足如下关系：

• β 是我们并不知晓的真实参数。
• ε 是误差项。

OLS 的闭式解由下式给出：

moreover，如前所述，在不同样本上使用 OLS 会得到不同的参数估计：

我们来求 OLS 估计的期望值。

简单来说，期望值就是我们在许多样本上运行 OLS 所得参数的平均值。它由下式给出：

把 Ô 代入为 OLS 解，这里代入 β 和 ε：

如果你在想，既然我们不知道 β 是什么，又怎么能代入 β 和 ε 呢？解释是这样的：看，我们能做这种代换，是因为即便我们不知道整个总体的参数，我们也知道样本是从总体中抽取出来的。

因此，用真实参数（β 和 ε）表示的方程对样本依然成立。我给你举个例子。假设总体数据由 β 和 ε 定义。当然我们不会知道这一点，但先把它放一边。

现在，即便我们从这个总体数据中抽取样本，真实方程在抽样得到的数据点上仍然成立，不是吗？同样的思路被推广到了期望值上。回到下面这一点：

我们展开内层括号：

化简后得到：

最后，我们得到什么？

样本上参数估计的期望值等于真实的参数值。

这正是不偏估计量的定义。更正式地说，如果一个估计量的期望值等于真实参数值，就称它为无偏估计量。这就是我们称 OLS 为无偏估计量的原因。

很多人把无偏性误解为：在某一个样本上跑一次 OLS 得到的参数估计就等于真实参数值。别犯这个错误。

相反，无偏性指的是：如果我们从同一总体抽取许多不同的样本，并在每个样本上得到 OLS 估计，那么这些估计的期望值将等于真实的总体参数。当然，这一切都建立在我们拥有良好的、有代表性的样本，并且线性回归的假设没有被违反的前提之上。