SuperAPI AI 工具集

slime

智能体与模型

查看项目

更新于 10-16 02:32

技能介绍

用途:slime 是面向大语言模型强化学习后训练(RL post-training)的框架,将 Megatron-LM 用于训练、SGLang 用于高吞吐 rollout 生成,适合需要 Megatron-LM 原生训练配合 SGLang 推理、自定义数据生成流程,以及训练 GLM、Qwen3、DeepSeek V3、Llama 3 等模型的场景。

主要能力:训练侧基于 Megatron-LM,支持 TP、PP、DP、SP 并行;rollout 侧基于 SGLang 与 router 做高吞吐生成;提供数据缓冲(prompt 管理、样本存储、自定义生成与过滤);支持 GRPO、GSPO、PPO、REINFORCE++ 等优势估计;支持异步训练、多轮智能体训练、自定义奖励模型与多任务评测。

使用方式:推荐 Docker 安装,docker pull slimerl/slime:latest,容器内执行 cd /root/slime && pip install -e . --no-deps;也可从源码安装。训练前先 source scripts/models/ 下的模型脚本(如 qwen3-4B.sh),再运行 python train.py,传入 actor/rollout GPU 数、--advantage-estimator grpo、--prompt-data 等参数;异步训练使用 train_async.py,多轮训练通过 --custom-generate-function-path 指定自定义生成函数。参数分三类:Megatron 参数直接传入,SGLang 参数以 --sglang- 前缀传入,其余为 slime 参数。

限制:需注意 rollout_batch_size × n_samples_per_prompt = global_batch_size × num_steps_per_rollout 的约束;可能出现 SGLang 引擎崩溃、权重同步超时、OOM、数据加载慢等问题,需相应调整容错、内存、批大小或并行配置。官方文档、GitHub 与博客链接见资料。具体收费与价格暂未提供。