prime-rl 是一个用于大规模强化学习的框架，强调易用性与可修改性，同时可扩展到 1000+ GPU。
用途与定位 prime-rl 面向大规模 RL 训练，尤其聚焦高吞吐的智能体（agentic）训练。它支持端到端后训练，包括 SFT、RL 训练和评测（evals）。
主要能力
- 完全异步 RL，用于大规模高吞吐智能体训练。
- 性能：为在 1000+ GPU 上训练 1T+ MoE 模型而构建，训练使用 FSDP2，推理使用 vLLM，并支持 FP8 推理、PD 分离（PD disaggregation）、EP 和 CP 并行等。
- 通过 Environments Hub 原生集成 verifiers 环境，内置 SWE 和智能体环境支持。
- 端到端后训练：SFT、RL 训练与评测。
- 多节点部署并支持 Slurm。
- 多模态支持，适用于 Qwen3.5 等 VLM。
- 可修改、模块化、可扩展的设计。
- 面向前沿模型的一行式 SLURM 部署，例如带 P/D 分离、llm-d router 和 Mooncake KV offload 的 GLM-5 FP8。
模型支持 训练器在 src/prime_rl/trainer/models/ 下运行 PrimeRL 模型实现：dense Llama、Qwen3 和 Qwen3.5，以及表格中的其他系列，MoE 层支持专家并行（EP），长序列支持上下文并行（CP），并包含 quack-kernels 等额外内核。其他架构会在训练器设置阶段失败。开发与测试硬件包括 NVIDIA RTX 3090/4090/5090、A100、H100、H200 和 B200。
使用方式
使用 prime-rl 目前需要至少一块 NVIDIA GPU。安装可通过单条命令完成：克隆仓库、初始化子模块、从 lock 文件安装依赖。注意：环境是可选加入（opt-in）的 uv 工作区成员，uv sync --all-extras 不会安装它们；如需在这些环境上训练，可用 uv sync --all-extras --all-packages 安装全部，或用 uv sync --package prime-rl --package <env> 安装子集。随后需检查环境使用 Python 3.12、flash-attn 已安装、可运行 SFT 训练器（需 1 块 GPU）、可运行推理服务器（需 1 块 GPU），以及完整 RL 栈（推理 + 编排器 + 训练器）可端到端运行（需 2 块 GPU）。额外设置包括：如要将运行日志记录到 W&B 需登录；如需 HuggingFace 上的受限/私有模型或数据集需登录。
训练示例 基础训练（1 至 8 GPU）包括：Reverse Text（训练 Qwen3-0.6B 反转文本，单块消费级 GPU 数分钟，适合入门）；Wordle（训练 Qwen3-1.7B 玩 Wordle，2-4 块 H100 数小时，探索多轮训练能力）；Alphabet Sort（训练 Qwen3-4B-Instruct-2507 按字母排序名字，无需 SFT 预热、基于 LoRA 的多轮 RL，单块 H100 约一小时出头，探索 LoRA 训练）；Wiki Search（训练 Qwen3-4B-Instruct-2507 通过搜索 Wikipedia 回答琐事问题，演示带网页搜索工具使用的多轮场景）；Hendrycks Sanity（用筛选出的 MATH 子集在 Qwen3-1.7B 上运行健全性检查实验，适合算法消融）。 高级训练（32 至 2048 GPU）面向困难推理与智能体任务，设计为在 Slurm 集群上运行，包括：Qwen3-30B-A3B（在数学、SWE 和智能体工具使用上训练）；GLM-4.5-Air（在搜索、SWE 和终端任务上训练）；GLM-5（带 P/D 分离、llm-d router 和 FP8 的大规模 GLM-5 / GLM-5.3 训练）。
文档与贡献 文档目录包含深入指南：Overview（架构、安装、可复制粘贴的端到端 RL 运行）、Configuration（TOML 组合、CLI 覆盖、环境变量、校验）、Training（RL、SFT、检查点、可观测性、经验法则）、Eval（针对任意推理服务器的独立评测、在线评测、恢复、平台上传）、Scaling（单 GPU 到多节点、FSDP/EP/CP、SLURM、基准测试）、Algorithms（异步/离策略训练、AIPO 损失、优势与过滤插件、轨迹合并）、Advanced（自定义建模、多模态训练、LoRA）、Development（测试套件、pre-commit 钩子、添加新模型）。 项目欢迎社区贡献，使用 issue 跟踪 bug、功能请求并分享内部路线图；通过 PR 贡献时需安装 pre-commit 钩子、PR 在准备好审查前保持 Draft、解决 issue 时在描述中链接该 issue、尽可能本地运行测试套件。项目采用 Apache 2.0 许可。
限制
目前使用 prime-rl 需要至少一块 NVIDIA GPU。除已列出的模型系列外，其他架构会在训练器设置阶段失败。环境的安装需显式选择，默认 uv sync --all-extras 不包含环境包。
