RBF 核背后的数学

The Mathematics Behind RBF Kernel

正如我们上面所见，核函数提供了一种在某个高维空间中计算两个向量 X 和 Y 之间点积的方法，而无需把向量投影到那个空间。

在那篇文章中，我们考察了多项式核，并看到它能在六维空间中计算二维向量的点积，而无需显式地访问那个空间。

接下来，我们来谈谈 RBF 核（RBF kernel），另一个极其强大的核函数，它也是 sklearn 实现的支持向量分类器类的默认核函数：

首先，RBF 核的数学表达式如下图所示（并假设我们只有一个一维的特征向量）：

你可能记得高中数学里，指数函数定义如下：

展开 RBF 核表达式中的平方项，我们得到：

分配 gamma 项并使用指数法则展开指数项，我们得到：

接下来，我们对最后一项应用指数展开，得到如下结果：

仔细注意，上面的指数展开可以改写为下面两个向量之间的点积：

于是我们得到了投影函数：

显然，这个函数把一维输入映射（mapping）到了一个无限维的特征空间。

这说明我们所选择的 RBF 核

函数可以在一个无限维空间中计算点积，而无需显式地访问那个空间。

这就是为什么 RBF 核被认为如此强大，能够轻松地建模高度复杂的决策边界。这里我想提醒你，尽管该核函数等价于两个无限维向量之间的点积，但我们从不计算那个点积，因此计算复杂度永远不会受损。这正是核技巧（kernel trick）被称为“技巧”的原因。换句话说，它允许我们在高维空间中运算，而无需显式地计算数据在那个空间中的坐标。