外观
Pandas describe 方法的两个替代方案
2 Alternatives to Pandas' Describe
我加载任何 Pandas 或 Polars DataFrame 时,第一件(或第二件)做的事情大概就是用 df.describe() 方法来 describe 它。然而,我总觉得它的输出相当简陋,几乎没什么用处。换句话说,它几乎没有突出任何关于数据的关键信息。

但前段时间,我发现了两个相当酷的库,它们极大地强化了这个 DataFrame 汇总。从那以后,我想我再也没有用过 describe() 方法。

它是一款基于 Jupyter 的工具,提供标准化且全面的数据汇总。其中包括数据形状、列的数据类型、列的汇总统计(statistical)信息、分布图、缺失统计等:
更重要的是,该汇总按数据类型分组,便于更快速地分析。这是使用 Skimpy 的代码:

我非常喜欢 Skimpy 的一点是,它能与 Polars 无缝协作,而最近我开始比 Pandas 更频繁地使用 Polars。


第二个是 SummaryTools,它做的事情和 Skimpy 几乎一模一样,即生成一份标准化的报告:
这是使用 SummaryTools 的代码:

SummaryTools 有两个相当酷的地方,它可以创建:
- 数据集的可折叠汇总,如下图所示:

- 数据集的标签页式汇总,如下所示:

我唯一不喜欢 SummaryTools 的地方是它(目前)还不兼容 Polars。尽管如此,我觉得它们两个都非常有前景,能比 Pandas 的 describe 方法更细致地帮助我理解数据集。可通过下载这个 Jupyter notebook 来试一试:https://bit.ly/45Rheq1。