数据科学中最重要的 25 个数学定义

25 Most Important Mathematical Definitions in Data Science

我需要学多少数学知识才能真正开始构建并理解模型？这是很多人都会问的问题，尤其是刚入门的人。简短回答：很重要，下面我说说为什么。你看……如今即便完全不理解算法背后的数学细节，也能做所谓的“ML”。例如（顺便感谢 sklearn）：

• 可以用 2-3 行代码跑一个聚类（clustering）算法。
• 可以用 2-3 行代码训练分类（classification）模型。
• 还有很多很多。

这既是好事也是坏事：

• 好处是节省了我们的时间。
• 坏处是这会诱使我们忽视底层细节。

事实上，我认识很多数据科学家（主要是偏应用方向的），他们并不完全理解背后的数学细节，却依然能构建并部署模型。这没什么问题。

然而，和他们交流时，我也会看到他们在“用什么”和“为什么用”之间存在某种脱节。

由于缺乏对底层细节的理解：

• 他们觉得优化模型相当困难。
• 他们很难发现潜在的可改进之处。
• 当效果不理想时，他们调试花费的时间更长。
• 他们并不完全理解特定超参数（hyperparameter）的作用。
• 他们使用任何算法前都不会先估算其时间复杂度。

如果你觉得自己就是其中一员，没关系，这个问题是可以解决的。话虽如此，如果你真心想在这个领域有所成就，培养对底层数学细节的好奇心会带来指数级的回报。

• 对算法的认知会给你带来信心。
• 它会缩短你构建和迭代的时间。

慢慢地，你会从“试一试碰碰运气”过渡到“我知道什么应该奏效”。为了帮你迈出第一步，我准备了下面这张图，列出了数据科学和统计学中一些最重要的数学公式（顺序不分先后）。在往下读之前，请一个一个看过去，数一数你已经知道其中多少个：

有些术语本身就很直观，我就不逐个讲了，比如：

• Gradient Descent（梯度下降）、Normal Distribution（正态分布）、Sigmoid、Correlation（相关性）、Cosine similarity（余弦相似度）、Naive Bayes（朴素贝叶斯）、F1 score、ReLU、Softmax、MSE、MSE + L2 regularization（L2 正则化）、KMeans、Linear regression（线性回归）、SVM、Log loss。下面是剩余的术语：

• MLE（Maximum Likelihood Estimation，最大似然估计）：一种通过最大化观测数据的似然（likelihood）来估计统计模型参数（parameter）的方法。我们在上一章讲过。121

• Z-score（Z 分数）：一个标准化值，表示一个数据点距均值（mean）有多少个标准差（standard deviation）。

• Ordinary Least Squares（普通最小二乘法）：用上面提到的 MLE 步骤推导出的线性回归（linear regression）的闭式解。

• Entropy（熵）：对随机变量不确定性的度量。

• Eigen Vectors（特征向量）：在线性变换下不改变方向的非零向量。它被广泛用于 PCA 等降维技术。

• R2（R-squared，决定系数）：一种统计度量，表示回归模型所解释的方差（variance）比例。

• KL divergence（KL 散度）：衡量用一个分布去近似另一个分布时所损失的信息量。它在 t-SNE 算法中被用作损失函数（loss function）。

• SVD（奇异值分解）：一种分解技术，把一个矩阵分解成另外三个矩阵，常记作 U、Σ 和 V。它在线性代数中是基础工具，应用包括降维、降噪和数据压缩。

• Lagrange multipliers（拉格朗日乘子）：求解带约束优化问题的常用数学方法。例如，考虑一个目标函数为 f(x) 的优化问题，假设约束为 g(x)=0 和 h(x)=0，拉格朗日乘子就可以解决它。

• 122