ROLL（Reinforcement Learning Optimization for Large-Scale Learning）是阿里巴巴开源的一个高效、易用的大语言模型强化学习库，专为利用大规模 GPU 资源进行 LLM 强化学习而设计。它旨在显著提升 LLM 在人类偏好对齐、复杂推理以及多轮智能体交互等关键场景中的表现。项目由阿里巴巴淘宝天猫集团和阿里巴巴集团开发，代码基于 Apache License 2.0 分发。
用途方面，ROLL 面向大语言模型的强化学习后训练与规模化训练，覆盖多任务 RL 训练、智能体强化学习以及多种后训练技术流程。其目标是为研究者与工程团队提供从单机到数千 GPU 集群的强化学习训练能力。
主要能力包括：
- 多任务强化学习训练（RLVR）：覆盖数学、编程、通用推理、开放式问答、指令跟随等任务；支持灵活的 domain_batch_size 分布控制；支持样本级异步并行 Rollout、异步奖励计算和动态采样；异步训练正在实现中。
- Agentic RL：支持游戏、多轮对话、工具使用等多轮交互能力；支持环境级异步并行 rollout 与异步训练；多轮交互 rollout 支持本地调试，以提升多轮交互业务开发效率；支持 TrajectoryWise（StarPO）和 StepWise（GiGPO）训练范式。
- 对算法友好：默认提供灵活丰富的 RL 策略配置，超过 20 种强化学习策略选项，例如奖励归一化、奖励裁剪、多种优势估计方法等；开箱即用地支持 PPO、GRPO、Reinforce++、TOPR、RAFT++、GSPO 等强化学习算法，同时资料中还列出 PPO Lite、GSPO、GSPO、RewardFL、StarPO、GiGPO 等策略与算法名称。
- 丰富的训练与推理引擎：采用基于 Ray 的多角色分布式架构；通过策略抽象统一多种后端，便于从单机扩展到千卡集群。推理/生成支持 vLLM、SGLang；训练支持 FSDP2、Megatron-LM 5D 并行（mcore-adapter，dp/tp/pp/cp/ep）；具备极端 offload/reload 能力；支持 LoRA 训练；支持 FP8 rollout（LLM as judge 的 FP8 推理；FP8 rollout 与 BF16 训练的组合仍在开发中）。
- AutoDeviceMapping：支持为不同角色自定义设备映射，灵活管理共置与分离部署。
- 可观测性：集成 SwanLab / WandB / TensorBoard，可跟踪每个领域和奖励类型的性能。
- 丰富的后训练技术支持：涵盖 Agentic RL LLM & VLM、LLM & VLM RLVR、Distill Pipeline LLM & VLM、DPO Pipeline LLM & VLM；SFT Pipeline 仍在开发中。
使用方式方面，项目提供安装说明、配置系统说明、调试指南、跟踪器与指标、检查点保存与恢复指南、将 MCoreAdapter 模型转换为 Hugging Face 格式的说明，以及单节点部署快速开始、多节点部署快速开始、使用阿里云函数计算 DevPod 进行快速开发的快速开始和常见问题等文档。资料还提及 RLVR Pipeline、Agentic Pipeline、Agentic 综合指南、Distill Pipeline 等流水线。资源方面提供 Resource Config、GPU 分时复用控制、异步并行 Rollout、异步训练特性，以及 Ascend 使用指南。
适用场景包括大语言模型的人类偏好对齐、复杂推理、多轮智能体交互、数学与编程任务、通用推理、开放式问答、指令跟随，以及游戏、多轮对话和工具使用等智能体任务，并可运行于从单机到大规模 GPU 集群的环境。
限制方面，资料仅明确说明异步训练仍在实现中，FP8 rollout 与 BF16 训练的组合仍在开发中，SFT Pipeline 仍在开发中；其他未在资料中提及的功能、收费、价格、平台或效果均暂未提供。
