贝叶斯优化（Bayesian Optimization）

Bayesian Optimization

超参数（hyperparameter）调优是训练 ML 模型时一项繁琐且耗时的任务。通常，我们使用两种常见方法——网格搜索（Grid search）和随机搜索（Random search）。

但它们有许多局限性。例如：

• 网格搜索会对所有组合进行穷举搜索。这在计算上代价很高。
• 网格搜索和随机搜索仅限于指定的超参数范围内。然而，理想的超参数可能存在于该范围之外。
• 它们只能执行离散搜索，即使超参数是连续的。对此，贝叶斯优化（Bayesian Optimization）是一种被严重低估却极为强大的超参数调优方法。

它使用贝叶斯统计来估计最佳超参数的分布。它与网格搜索和随机搜索的区别如下：网格搜索和随机搜索都是独立地评估每一种超参数配置。因此，它们会迭代地探索所有超参数配置，以找到最优的那个。

然而，贝叶斯优化（Bayesian Optimization）会根据先前超参数配置的结果，采取有依据的步骤。这使它能够有把握地丢弃非最优配置。因此，模型能更快地收敛到一组最优超参数。从图中可以明显看出贝叶斯优化的有效性。

贝叶斯优化让模型达到相同的 F1 分数，但是：

• 迭代次数少 7 倍
• 执行速度快 5 倍
• 更早达到最优配置

相当不错，不是吗？