SuperAPI AI 工具集
合作ENAI 行业资讯收藏
全部工具AI开发平台verl

verl

verl（Volcano Engine Reinforcement Learning for LLMs）是面向大语言模型的开源强化学习后训练框架，也是 HybridFlow 论文的开源实现。它采用混合控制器编程模型，支持以少量代码构建 GRPO、PPO 等 RL 数据流，并通过模块化 API 与 FSDP、Megatron-LM、vLLM、SGLang 等现有 LLM 基础设施集成。框架支持灵活的模型 GPU 放置与 3D-HybridEngine 重分片，可降低训练与生成切换时的内存冗余和通信开销，并集成 Hugging Face 模型。除核心库外，还衍生出 verl-vla、VeRL-Tinker、VeRL-Omni、RL-Insight 等相关项目。verl 支持监督微调与多种强化学习算法，适用于数学、代码、多模态、多轮工具调用等后训练场景。

访问官网

工具介绍

verl 是一个灵活、高效且面向生产环境的大语言模型（LLM）强化学习训练库，其名称含义为 Volcano Engine Reinforcement Learning for LLMs。它是论文《HybridFlow: A Flexible and Efficient RLHF Framework》的开源实现。

用途与定位 verl 主要面向 LLM 的后训练（post-training），提供监督微调（SFT）与强化学习训练能力，可用于构建复杂的后训练数据流。它既支持研究实验，也强调生产可用性。

主要能力

  1. 灵活且易扩展的 RL 算法：采用混合控制器（hybrid-controller）编程模型，能够灵活表示并高效执行复杂的后训练数据流，可用少量代码构建 GRPO、PPO 等 RL 数据流。
  2. 模块化 API 集成：通过解耦计算与数据依赖，可与现有 LLM 框架无缝集成，支持的训练后端包括 FSDP、FSDP2、Megatron-LM，rollout 生成支持 vLLM、SGLang、HF Transformers。
  3. 灵活的 device mapping：支持将模型放置到不同 GPU 组合上，以提升资源利用率和不同规模集群的可扩展性。
  4. 与 Hugging Face 模型集成：可兼容 Hugging Face Transformers 和 ModelScope Hub 上的 Qwen3.5、Qwen3、Qwen-2.5、Llama3.1、Gemma2、DeepSeek-LLM 等模型。
  5. 高性能：集成 SOTA 训练与推理引擎，采用 3D-HybridEngine 进行高效的 actor 模型重分片，减少训练与生成阶段切换时的内存冗余和通信开销。
  6. 算法与特性支持：支持 PPO、GRPO、GSPO、ReMax、REINFORCE++、RLOO、PRIME、DAPO、DrGRPO、KL_Cov、Clip_Cov 等强化学习算法；支持基于模型的奖励与函数式（可验证）奖励，适用于数学、代码等任务；支持 Qwen2.5-vl、Kimi-VL 等视觉语言模型（VLM）和多模态 RL；支持带工具调用的多轮交互；支持 SPPO 等 LLM 对齐配方。
  7. 性能优化特性：Flash attention 2、sequence packing、基于 DeepSpeed Ulysses 的序列并行、LoRA、Liger-kernel（USE_LIGER=1）；借助 expert parallelism 可扩展到 671B 模型和数百张 GPU；支持多 GPU LoRA RL 以节省内存；实验跟踪支持 wandb、swanlab、mlflow 和 tensorboard。
  8. 硬件支持：支持 NVIDIA、AMD、Ascend。其中 AMD ROCm GPU（MI300X / MI325X / MI355X）可配合 FSDP、FSDP2、Megatron 训练后端及 vLLM 推理引擎运行，SGLang 支持仍在推进中。

使用方式 官方提供了入门指南、编程指南与技术讲解（中文）、PPO 示例的分步运行说明（包括准备后训练数据、实现数据集奖励函数、PPO 示例架构、配置说明）、可复现算法基线（代码与数学任务上的 RL 性能）、算法配方（recipe/ 目录）以及代码解释与高级用法（扩展）文档，涵盖 PPO Trainer 与 Workers、PPO Ray Trainer、Model Engine、Engine Workers（FSDP / Megatron-LM / Automodel / VeOmni / TorchTitan），以及使用 FSDP 或 Megatron-LM 后端添加模型、多轮 rollout、搜索工具集成、Sandbox Fusion 集成、扩展到其他 RL(HF) 算法、Ray API 设计教程等内容。具体安装命令与运行命令在给定资料中未完整提供，可参考仓库文档。

相关项目与生态 基于 verl 还发布了多个相关项目，包括：verl-vla（面向 VLA 的统一后训练框架，支持人在回路数据采集、监督微调与强化学习，覆盖模拟器、真实机器人和分布式云边资源）、VeRL-Tinker（在用户控制的 verl GPU worker 上运行 SFT、RL 和蒸馏）、VeRL-Omni（面向扩散模型与全模态模型后训练的统一 RL 栈）、RL-Insight（强化学习训练的在线可观测性）、verl-SpeCo（面向推测解码的协同训练框架）、uni-agent（构建、运行和训练 LLM agent 的统一框架）、vexact（零不匹配的 HuggingFace rollout）等。

适用场景 适用于 LLM 的强化学习后训练与对齐、数学与代码等可验证奖励任务、视觉语言模型与多模态 RL、多轮工具调用训练、大规模 MoE 模型训练（如 DeepSeek-671B、Qwen3-235B）、多 GPU LoRA RL 等场景。

限制与注意事项 资料提示应避免使用 vllm 0.7.x，因其包含可能导致 OOM 和意外错误的缺陷；使用 FSDP 作为训练后端时需 vLLM >= v0.8.2。SGLang、AMD ROCm 等支持情况需参考对应文档。具体的功能细节、版本兼容性、收费与许可信息，以及本简介未列出的安装运行命令，暂未在给定资料中完整提供。

同类工具

查看分类