为什么需要优化？

Why do we need optimization?

机器学习系统通常只围绕一个核心目标来开发：提高准确率。因此，模型往往会变得越来越大、越来越复杂——因为在训练阶段，更大的模型往往表现更好。

然而，高准确率并不会自动转化为一个实用的系统。一个在实验中表现出色的模型，如果速度慢、运行成本高，或者难以扩展，在部署时仍然可能行不通。到了生产环境，要求会发生变化：部署的模型必须响应迅速、能应对不可预测的负载、在严格的内存限制内运行，并且保持运营成本的可控性。

这些限制条件决定了一个模型能否可靠地服务真实用户。即便是一个准确率很高的系统，如果推理速度慢、内存占用大，也可能根本无法使用。

为了说明这一点，来看下面这两个模型。

• 模型 A 准确率更高，但速度明显更慢，体积也大得多。
• 模型 B 准确率略低，但速度更快、体积更小，也更易于部署。在大多数实际系统中，模型 B 才是更合适的选择，因为它能带来更好的用户体验，扩展起来也更简单。这正是优化之所以重要的原因：生产系统优先考虑的是响应速度和效率，而不仅仅是准确率。要满足这些要求，模型就必须在完成初始训练之后接受进一步优化。模型压缩技术正是为解决这一需求而生——它们在保留模型大部分性能的同时，降低模型的体积和计算成本，使模型真正适合投入实际部署。