DeepSeekRL-Extended

这是一个探索 GRPO 应用的开源仓库，目标是以较小规模复现 DeepSeek R1 的结果，重点在于从零实现核心机制以便理解。作者在单张 H100 GPU 上对 Qwen1.5B 模型进行训练，数据集为小学数学题（grade school math dataset），经过约 400 步训练后，在验证集上展现出学习迹象。\n\n实现上，项目大量借鉴 Will Brown 的工作，但将代码重新组织为适合学习与实验的形式。关键区别在于直接计算 GRPO 损失函数，而非使用外部强化学习库，并整理成多脚本仓库结构。\n\n系统包含以下模块：核心训练循环实现 GRPO（Generalized Reward-Powered Optimization），负责模型训练、评估与指标跟踪；模型加载与配置模块，当前通过 Hugging Face transformers 库支持 LLaMA 与 Qwen 模型，并设计为易于扩展到其他架构；数据集加载与预处理模块，目前聚焦 GSM8K 数学问题，实现自定义训练与评估数据加载器；评估指标与奖励函数模块，紧密遵循 DeepSeek 原实现。\n\n训练在单张 H100 GPU 上进行，约 400 步后验证集结果显示出学习迹象。\n\n未来方向包括：加入自对弈能力，让智能体通过相对奖励相互竞争与学习；实现软奖励结构，尤其针对复杂推理任务；扩展到视觉语言模型（VLM）以改进世界建模能力，探索用 R1 风格训练增强 VLM 构建与维护内部世界模型；并需要提升速度、支持多 GPU 训练。\n\n项目要求的环境变量及更多细节暂未提供。