评估与可观测性对比

Evaluation vs Observability

在深入探讨之前，我们先来理解一下评估与

可观测性（observability）之间的区别，因为二者在 LLM 系统中扮演着不同的角色。

评估衡量的是系统在一组既定任务上的表现好坏。

• 它使用精心构建的数据集、指标和受控测试，来评估正确性、相关性、事实性和安全性等方面的质量。
• 它通常在部署之前进行，或者作为周期性离线基准测试流程的一部分。

可观测性关注的则是系统在实际运行过程中的行为表现。

• 它会捕获真实的输入、模型输出、检索到的上下文、延迟、成本，以及各组件级别的追踪记录（trace）。
• 它能帮助识别系统上线后出现的性能回归、瓶颈、失败案例，以及用户行为的变化。

评估确保系统达到了预先设定的质量标准。

可观测性则确保系统在真实运行条件下持续保持这一标准。

两者共同提供了对系统行为的互补视角：评估设定了预期标准，而可观测性则揭示这些预期在实际运行中是否成立。