智能体强化训练器（Agent Reinforcement Trainer，ART）

Agent Reinforcement Trainer(ART)

当「智能体」本身就是一个 LLM 时，强化学习会变得更加复杂。

LLM 智能体不再只是选择「向左走」或「向右走」这样简单的动作，而是会产生多步骤的推理轨迹、工具调用、对话和计划。

训练这样的智能体，需要一套能够收集这些轨迹、分配奖励，并可靠地更新模型的系统。

由 OpenPipe 打造的 ART（Agent Reinforcement Trainer，智能体强化训练器），提供的正是这样一套系统。

这是一个开源框架，专为通过经验训练具备智能体能力的 LLM 而设计。ART 负责处理那些难以手工搭建的环节：

• 运行智能体，生成完整的轨迹
• 记录决策过程、工具使用和推理步骤
• 用自定义的奖励函数为每条轨迹打分
• 用强化学习更新模型

ART 使用一个轻量级客户端，只需极少的改动就能把你现有的智能体包装起来。这个客户端会与 ART 的训练服务器通信，由后者负责管理 rollout、奖励计算、批处理和优化。

ART 的一个关键特性，是它对 GRPO（Group Relative Policy Optimization）的支持——这是一种被广泛用于训练 LLM 的强化学习算法。GRPO 让模型能够从轨迹层面的奖励中学习，而不是依赖 token 层面的标签，这对于改进规划、纠错、工具使用等行为至关重要。

整个工作流程大致如下：

• 从你现有的智能体代码开始——ART 只是对它做一层包装，你不需要重写任何代码。
• 智能体运行，生成一条轨迹。
• 用奖励函数为这条轨迹打分。
• ART 应用 GRPO（或其他支持的强化学习方法）来更新策略。
• 这一循环不断重复，逐步改善智能体的行为。

通过负责 rollout 执行、奖励处理和策略优化，ART 让开发者可以专注于设计有效的奖励信号和智能体策略，而不必自己去搭建强化学习基础设施。