PCA 中“方差”的作用

The Utility of 'Variance' in PCA

PCA（主成分分析，Principal Component Analysis）的核心目标是在降维（dimensionality reduction）的同时，尽可能保留原始数据的最大方差（variance）。其理由是：如果我们保留了方差，就保留了最多的信息。但为什么呢？许多人都很难直观地理解在这里使用“方差”的动机。本章将给出一个直观的解释。

假设有人给了我们以下三个人的体重和身高信息：

很明显，身高这一列的变异比体重大。

因此，即使我们丢掉体重这一列，仍然可以仅凭身高来识别这些人。

丢掉体重这一列

• 中间的那个人是 Nick。
• 最左边的人是 Jonas。
• 最右边的人是 Andrew。

这真是太简单了。但如果我们丢掉的是身高这一列呢？

你现在还能认出他们吗？不能了吧？为什么？因为他们的身高比体重的变化更大。

从上面的例子可以清楚地看到，通常来说，一列的变异越大，它包含的信息就越多。这正是 PCA 所构建的核心思想，也是它力求保留最大数据方差的原因。简而言之，PCA 的设计前提就是：方差越多，信息越多。

方差越大意味着信息越多，方差越小意味着信息越少。因此在降维时，我们可以（在一定程度上）说：只要保留了最大的方差，就保留了最多的信息。当然，由于我们使用的是方差，这也意味着它很容易受到离群点（outliers）的影响。这就是我们说 PCA 会受离群点影响的原因。最后需要记住的是，使用 PCA 时，我们并不是简单地逐列测量方差，然后丢掉方差最小的列。相反，我们必须先对数据进行变换，生成不相关的特征（feature），然后再根据这些新特征的方差来丢弃它们。