SuperAPI AI 工具集

slime-user

通用与其它

查看项目

更新于 10-16 08:40

技能介绍

用途:SLIME 是 THUDM 开发的 LLM 后训练强化学习框架,用于语言模型的 RL 训练与 RL Scaling。

主要能力:支持 GRPO、GSPO、PPO、Reinforce++ 等 RL 算法;支持 Megatron 与 FSDP 训练后端;支持多轮交互、工具调用、动态采样(DAPO 风格)、自定义奖励模型与自定义生成逻辑;支持多节点训练与 VLM 训练。训练循环为 Rollout(SGLang 推理生成)→ Reward(奖励模型打分)→ Train(Megatron/FSDP 更新权重),重复 --num-rollout 次。

使用方式:环境可用 Docker 镜像 docker pull slimerl/slime:latest,或从源码构建;硬件支持 H100/H200、B200 系列。下载模型与数据示例:hf download Qwen/Qwen3-4B --local-dir /root/Qwen3-4B;hf download --repo-type dataset zhuzilin/dapo-math-17k --local-dir /root/dapo-math-17k。Megatron 后端需转换权重,运行 bash scripts/run-qwen3-4B.sh 启动训练。资源分配支持 colocated(--colocate)与 disaggregated(--rollout-num-gpus)两种模式。关键约束:rollout-batch-size × n-samples-per-prompt = global-batch-size × num-steps-per-rollout。常用参数包括 --hf-checkpoint、--prompt-data、--advantage-estimator、--rm-type、--custom-rm-path、--train-backend 等。多节点训练通过 Ray 集群提交作业。

适用场景:语言模型强化学习后训练、多轮工具调用(如 Search-R1)、视觉语言模型 RL、大规模 MOE 训练等。

限制:具体收费、价格与平台支持情况暂未提供;使用需具备相应 GPU 资源与依赖环境,权重转换需模型配置完全匹配。