ART 是一款面向智能体训练的开源强化学习框架，全称 Agent Reinforcement Trainer。其核心目标是让大语言模型通过经验学习，从而提升多步智能体在真实世界任务中的可靠性。ART 基于 GRPO 算法，为在任意 Python 应用中引入 GRPO 训练提供了易于使用的封装。
主要能力
ART 的独特之处在于把强化学习训练引入现有应用时，开发者无需直接与训练基础设施打交道。框架将训练服务器抽象为模块化服务，客户端以 OpenAI 兼容接口与开发者的代码库衔接，使开发者可以继续使用熟悉的补全调用方式，同时让模型在迭代中不断改进。
训练可从任意可运行 Python 的客户端机器发起：既可以让 ART 客户端在笔记本电脑上运行、由 ART 服务器启动临时的 GPU 环境，也可以直接在本地 GPU 上运行。ART 与 W&B、Langfuse、OpenPipe 等托管平台集成，提供灵活的可观测性和更简便的调试。ART 提供经过优化的默认训练参数与推理引擎配置，兼顾训练效率与稳定性，同时也允许按特定需求自定义。
根据官方资料，ART 支持 Qwen3.6、GPT-OSS、Llama 等模型，理论上兼容大多数 vLLM/HuggingFace-transformers 支持的因果语言模型，或至少是 Unsloth 支持的模型；Gemma 3 目前似乎暂不支持。
使用方式与训练循环
ART 的功能分为客户端与服务器两部分。OpenAI 兼容的客户端负责 ART 与代码库之间的交互，可传递消息并从不断改进的 LLM 获取补全结果。服务器独立运行在任何具有 GPU 的机器上，将 RL 循环中推理与训练的复杂性抽象出来，同时保留一定的自定义配置空间。
训练循环大致如下：
- 推理：代码使用 ART 客户端执行智能体工作流（通常并行执行多次 rollout 以更快收集数据）。补全请求被路由到 ART 服务器，服务器在 vLLM 中运行模型最新的 LoRA。智能体执行过程中，每条 system、user、assistant 消息都存入 Trajectory。当一次 rollout 结束，代码为其 Trajectory 分配奖励，表示 LLM 的表现。
- 训练：所有 rollout 完成后，轨迹被分组并发送到服务器。训练执行期间推理被阻塞。服务器使用 GRPO 训练模型，从最新检查点初始化（首次迭代时使用空 LoRA）。服务器将新训练的 LoRA 保存到本地目录并加载进 vLLM。随后推理解除阻塞，循环回到第一步。 该训练循环持续运行，直到完成指定次数的推理与训练迭代。
要将 ART 加入现有项目，官方说明可在运行 Python 的客户端机器上执行相应安装命令（安装命令未在资料中给出具体内容）。
适用场景
ART 适用于需要提升多步智能体在真实任务中表现、并希望让模型从经验中持续学习的开发场景。例如官方博客展示了如何训练 Qwen 2.5 14B 邮箱智能体在邮件检索任务上超越 o3 的 ART·E Agent 案例。ART 还支持与 LangGraph 集成，用于训练具备更强多步推理与工具使用能力的智能体；MCP•RL 可用于自动训练模型掌握任意 MCP 服务器工具；AutoRL 面向无标注数据的零数据训练；RULER 用于强化学习奖励的自动生成。
限制与说明
ART 目前处于活跃开发阶段，官方欢迎贡献，并提供了 CONTRIBUTING.md。Gemma 3 暂时似乎不受支持；如其他模型无法工作，可在 Discord 反馈或在 GitHub 提交 issue。源码以 Apache-2.0 许可证发布。此外，资料提到 W&B Training（Serverless RL）是首个公开的、可灵活用强化学习训练模型的服务，可自动管理训练与推理基础设施；其宣称的收益包括成本降低 40%、训练速度提升 28%、无需管理基础设施、每个检查点可通过 W&B Inference 即时部署。这部分属于 W&B Training 服务而非 ART 框架本身。关于具体价格、费用与更多使用步骤，资料暂未提供。
