Skip to content

Pearson 相关只能衡量线性关联

Pearson correlation can only measure linear association

Pearson 相关(Pearson correlation)通常用于确定两个连续变量之间的关联。许多框架(例如 Pandas)都把它作为默认的相关性度量。然而许多人并不知道,Pearson 相关:

  • 只能衡量线性关系。
  • 会惩罚非线性但单调的关联。
  • 相反,Spearman 相关是一个更好的替代方案。它衡量的是单调性,既可以是线性的,也可以是非线性的。

ds p348 1

ds p348 2

从下面的图示可以清楚看出这一点:

ds p349 1

Pearson 与 Spearman 在线性和非线性数据上的对比

  • 在线性数据上,Pearson 相关与 Spearman 相同。
  • 但在非线性关联上,Pearson 相关会低估其强度。

当数据是排序型或有序的时候,Spearman 相关同样很有用,我们将在下一章讨论。另外,在本章结束之前,请记住:在用汇总统计量(summary statistics)得出任何结论之前,务必谨慎。我们在上一章也看到过这一点。在分析数据时,很多人会忍不住仅凭统计量就下结论。然而,真实数据传达的故事可能完全不同。

从下图同样可以清楚看出这一点:

ds p350 1

这九个数据集中,两个变量之间的相关性都近似为零。然而这里使用的汇总统计量(即 Pearson 相关)对数据内部的情况毫无提示,因为它始终为零。事实上,这不仅仅关乎 Pearson 相关,而是适用于所有的汇总统计量。关键在于:每当你生成任何汇总统计量时,都会丢失一些关键信息。因此,亲自查看数据的重要性再怎么强调也不为过。它使我们免于做出错误的结论,而这些结论正是我们若只看统计量就可能会得出的。

本站内容仅供学习交流,版权归原作者所有。