torchforge-rl-training
torchforge 是 Meta 推出的 PyTorch 原生智能体强化学习（Agentic RL）库，其核心设计理念是将基础设施与算法分离，让研究者专注于算法本身，而分布式训练、推理和权重同步由框架自动处理。该技能提供使用 torchforge 的指导，适用于需要干净 RL 抽象、PyTorch 原生接口（无 Ray 依赖）、快速算法实验（GRPO、DAPO、SAPO 等约百行代码）以及借助 Monarch actor 系统实现可扩展训练的场景。架构上分为应用层、Forge API 层和分布式服务层，集成 TorchTitan（训练）、vLLM（推理）与 TorchStore（同步）。内置 GRPO、DAPO、CISPO、GSPO、SAPO 等损失函数。使用方式包括安装脚本（含 ROCm 版本）、SFT 与 GRPO 训练启动命令、配置文件编写、自定义奖励函数与自定义损失函数、多 GPU 分布式训练配置及 SLURM 提交。适用场景涵盖数学推理等推理模型训练、自定义 RL 算法实现和分布式扩展。需要注意 torchforge 仍处于实验阶段，API 可能变化；若需要生产级稳定性或 Megatron 原生训练，资料建议考虑 miles、verl 或 slime 等替代方案。