LLM Arena-as-a-Judge

LLM Arena-as-a-Judge

典型的、由 LLM 驱动的评测很容易让你误以为某个模型比另一个更好，这主要是评测方式本身造成的。比如像 G-Eval 这类技术，默认你是在孤立地给单个输出打分，并不了解另一个备选方案是什么样子。所以当提示词 A 得分 0.72、提示词 B 得分 0.74 时，你依然无法判断哪一个才是真的更好。

这与给经典机器学习模型打分不同——像准确率、F1、RMSE 这类指标，能给出清晰、客观的性能度量。

在这类指标里，没有主观判断的空间，结果建立在硬数字之上，而非某种观点。LLM Arena-as-a-Judge 是一种解决 LLM 评测这一痛点的新技术。简单来说，它不再给每个输出单独打分，而是直接做 A vs. B 的对比，选出更好的那一个。

和 G-Eval 一样，你可以自己定义「更好」意味着什么（比如更有帮助、更简洁、更礼貌），并且可以用任意一个 LLM 来充当评判者。LLM Arena-as-a-Judge 已经在开源框架 DeepEval 中实现，只需三步即可使用：

• 创建一个 ArenaTestCase，传入一份「参赛者」（contestants）列表，以及它们各自对应的 LLM 交互记录。
• 接着，用 Arena G-Eval 这个指标定义你的对比标准——它把 G-Eval 算法用在了「比较」这个场景上。
• 最后，运行评测并打印出分数。

这样就能得到一次准确的正面对决式对比。注意：LLM Arena-as-a-Judge 既可以是无参考答案的（referenceless，如下面代码片段所示），也可以是有参考答案的（reference-based）。如果需要，你也可以为给定的输入测试用例指定一个期望输出，并在评估参数中声明它。对助手、Agent 或聊天机器人来说，单轮评测是远远不够的。对话是在多条消息之间逐步展开的，评测也理应如此。