rLLM 是一个开源的框架，用于通过强化学习（RL）训练语言智能体，其目标是让大语言模型的强化学习更加平民化。
主要能力
- 任意执行框架：支持 10 多个 CLI 执行框架（如 Claude Code、Codex、Terminus-2、mini-swe-agent、opencode 等）以及兼容 Harbor 的任务目录；也可以通过 @rllm.rollout 包装自定义智能体，例如 LangGraph、OpenAI Agents SDK、openai.OpenAI。
- 任意沙箱环境：支持 Docker、Daytona、Modal 或本地环境，并提供快照与预热池加速，以在训练规模下保持较低的 rollout 成本。
- 多个训练后端，统一 API：支持 verl（分布式多 GPU）、tinker（单机）、fireworks（Fireworks 平台），只需一个标志即可切换。
- 60 多个内置评测基准：覆盖数学、代码、选择题、问答、搜索、VLM、翻译、智能体等，例如 Terminal-Bench 2.0、SWE-bench、SkillsBench、AIME、MATH-500、GPQA 等。可使用 rllm eval <name> 自动拉取并运行。
- 多种训练方法：GRPO、REINFORCE、RLOO、SFT、在线策略蒸馏等。
使用方式 rLLM 要求 Python >= 3.11。可通过 pip 直接安装，或从源码构建。默认安装会为 tinker 后端（单机、Tinker API）运行 rLLM CLI 安装依赖；其他后端需参考相关说明。使用方式包括两种：
- 选项 A：CLI（无需编写代码）。
- 选项 B：Python API。定义 rollout（智能体）和 evaluator（奖励函数），然后交给训练器。 训练期间，config.base_url 指向一个网关，透明地捕获 token ID 和 logprobs，因此智能体代码在评测和训练中保持一致。完整示例可参考 cookbooks。
工作流程 rLLM 遵循简单流水线：运行智能体 → 收集轨迹 → 计算奖励 → 更新模型。智能体按原样运行，rLLM 的模型网关通过 URL 路由会话捕获 LLM 调用（token ID + logprobs），并将其结构化为 Episode（一个任务），其中包含 Trajectory（一次智能体运行），由 Step（一次 LLM 调用）组成。奖励函数对结果评分，RL 算法更新模型权重。同一套智能体代码同时适用于评测和训练。底层组件包括：工作流引擎运行 N 个并行智能体实例以收集 rollout；模型网关路由请求并捕获 token ID + logprobs；变换流水线将轨迹分组以计算优势；训练后端（verl、tinker 或 fireworks）处理策略更新。
适用场景与成果 该框架已被学术实验室和工业研究团队采用，并取得多项最先进的开源结果，例如 DeepScaleR-1.5B、DeepCoder-14B、DeepSWE-32B、FinQA-4B。社区项目涵盖多个方向，包括阿里 NLP 的开源 AI 研究者 Tongyi DeepResearch、使用 RL 训练长时程终端智能体的 Terminal-Bench-RL、多智能体 RL 在线策略训练的 PettingLLMs、扩展终端智能体环境的 SETA、在沙箱中运行 LLM 构建通用智能体的 LLM-in-Sandbox、首个长时程多模态深度研究 MLLM 的 Vision-DeepResearch、前沿多模态搜索智能体开源方案的 OpenSearch-VL、通过推理与规划学习游戏的 Cogito, Ergo Ludo、经济高效多轮搜索 RL 的 Cut the Bill, Keep the Turns、稀疏奖励 RL 的经验-反思-巩固循环 Experiential Reinforcement Learning、用于并行测试时扩展的成对自验证 V1、评估并对齐治疗聊天机器人临床保真度与安全性的 TherapyGym、训练 MLE 智能体的合成沙箱 SandMLE、面向多模态智能体推理的智能体探索策略优化 AxPO、面向长时程智能体的主动记忆智能体 Remember When It Matters 等。
其他信息 相关文章与博客文章包括 rLLM UI 实时可观测性工具（2026 年 3 月）、rLLM 在线策略蒸馏（2026 年 3 月）、全异步训练深度研究智能体开源方案（2026 年 2 月）、rLLM-FinQA：4B 模型在金融分析上超越 235B 并媲美 Gemini 2.5 Pro（2026 年 2 月）、rLLM SDK：无需修改代码训练任意智能体程序（2025 年 12 月）、rLLM v0.2：面向通用智能体程序的 RL 训练（2025 年 10 月）、DeepSWE：通过 RL 的开源 SWE 智能体（2025 年 7 月）、DeepCoder：达到 O3-mini 水平的 14B 编程模型（2025 年 4 月）、DeepScaleR：1.5B 超越 O1-Preview（2025 年 2 月）。该项目作为 Berkeley Sky Computing Lab 的一部分完成，rLLM 团队获得 Laude Institute、AWS、Hyperbolic、Fireworks AI 和 Modal 的资助，并与 Together AI 有研究合作与算力支持。相关前期工作 DeepScaleR、DeepCoder 和 DeepSWE 可被引用。
