用于特征选择的探针法（Probe Method）

The Probe Method for Feature Selection

真实世界的机器学习开发，核心在于在速度、模型大小和性能之间取得一个美妙的平衡。一种常见的做法是：

• 提升速度，
• 减小体积，以及
• 维持（或最小程度地降低）性能……

……就是使用特征选择（feature selection）。其思想是从数据集中挑选出最有用的特征子集。

虽然特征选择的方法许许多多，但我常常觉得“探针法（probe method）”相当可靠、实用且直观易用。

下图描绘了它的工作方式：

• 第 1 步）添加一个随机特征（噪声）。
• 第 2 步）在新的数据集上训练一个模型。
• 第 3 步）衡量特征重要性（可以使用打乱特征重要性）
• 第 4 步）丢弃排名低于随机特征的原始特征。
• 第 5 步）重复直至收敛。

这整个想法在直觉上也说得通。

更具体地说，如果某个特征的重要性排名低于一个随机特征，那它对模型来说很可能是个无用特征。当我们拥有大量特征、并希望丢弃那些对模型没有贡献的特征时，这一点尤其有用。当然，一个不足之处在于，使用探针法时我们必须训练多个模型：1. 用带随机特征的第一个模型训练，并丢弃无用特征。2. 不断训练新模型，直到随机特征被排到最不重要的位置（虽然通常情况下，收敛并不会产生太多模型）。3. 在不带随机特征的情况下训练最终模型。尽管如此，这种方法在降低模型复杂度方面还是相当有用的。