LLM 应用的多轮评测

Multi-turn Evals for LLM Apps

对话式系统需要一套不一样的评测方法。

与单轮任务不同，对话是在多条消息之间逐步展开的。这意味着 AI 的行为必须在多个轮次之间保持一致、合规，并且具备上下文感知能力，而不只是在单次输出中做到准确。

下面这段代码展示了如何用开源框架 DeepEval，仅用几行代码就跑通「多轮、且具备合规意识」的评测：

简单解释一下：先定义你的多轮测试用例——用 ConversationalTestCase，并传入一份轮次（turn）列表，格式就跟 OpenAI 的消息格式一样：

接下来定义一个自定义指标：这个指标用 ConversationalGEval，直接拿大白话定义评估标准，用来检查助手是否避免给出投资建议，转而引导用户去寻求专业帮助。

最后，运行评测：

完成！这会给出一份详细的结果拆解，告诉你哪些对话通过了、哪些没通过，还附带一份分数分布：

此外，你还能获得一个完整的界面，用来逐轮查看具体细节：

一旦涉及工具调用，对话就会变得更加复杂。在 MCP 应用中，我们不仅要评估模型说了什么，还要评估它是如何使用工具的。