用途
understand-r1-zero 是一个面向大语言模型强化学习（LLM RL）研究的开源项目，目标是从批判性视角理解“类 R1-Zero 训练”（R1-Zero-like training）的机制。项目围绕基础模型与强化学习两个核心组件展开分析，并给出可复现的训练方法。
主要发现与能力
在基础模型方面：DeepSeek-V3-Base 已经展现出“Aha moment”；作为 R1-Zero 类训练的流行选择，Qwen2.5 基础模型即使不使用提示模板也表现出较强推理能力，平均基准分数相比传统 4-shot 提示提升约 60%。 在强化学习方面：项目指出 GRPO 会导致有偏优化，并提出一个简单修正方案 Dr. GRPO（GRPO Done Right），在保持推理性能的同时提升 token 效率。 项目还分析了模板与问题集对 RL 动态的共同影响：对于 Qwen2.5-Math-1.5B，不匹配的模板（如 R1 模板）实际上会在 RL 重建之前破坏推理能力，使表面上的提升显得突出；而只要模板与预训练分布偏离不太远，即使是一个小规模且完全 o.o.d. 的问题集（如 GSM8K），也能通过强化正确的推理行为而非注入新知识，同样有效地诱导推理能力。此外，Llama 也可以从基础模型进行 RL 调优，此时领域特定的预训练会提升 RL 上限；GRPO 甚至能通过增加输出长度让具备数学知识的 Llama“Aha”，但这可能源于其长度偏差，而该偏差可被 Dr. GRPO 消除。
使用方式
项目建议使用干净的 python==3.10 环境进行开发。R1-Zero 训练通过扩展 Oat 框架的 Learner 和 Actor 组件实现，可参考 train_zero_math.py 的分步指南，更多示例脚本见仓库说明。 项目提供的极简 R1-Zero 训练配方为：使用（无偏的）Dr. GRPO 算法，在 MATH level 3-5 题目上以 Qwen-Math 模板对 Qwen2.5-Math-7B 进行 RL 调优；据资料描述，在 8× A100 GPU 上仅用 27 小时算力即可达到 state-of-the-art 性能。 项目还提供脚本用于在 k8s 集群上服务 DeepSeek-V3-Base 与 DeepSeek-R1-Zero。示例 API 调用要求 k8s 容器设置环境变量 MASTER_ADDR 和 MASTER_PORT。硬件要求：FP8 需 2 x 8 x H100/800/20，BF16 需 4 x 8 x A100/A800，更多细节可参考 sglang 官方教程。
适用场景
适合研究 LLM 强化学习、R1-Zero 类训练机制、GRPO 优化偏差及推理能力诱导的科研人员和工程师，也适合需要复现或扩展相关实验的开发者。
更新与致谢
2025 年 3 月发布论文、模型与代码库；2025 年 7 月获得 ICML 2025 AI for Math Workshop 最佳论文荣誉提名。R1-Zero 训练基于模块化、研究友好且高效的 Oat 框架实现。计算资源由 Sea AI Lab 支持；训练代码构建于 Oat 之上，使用 vLLM、DeepSpeed 和 launchpad，DeepSeek 模型通过 SGLang 服务，基础模型来自 Qwen2.5-Math、Llama 和 DeepSeek。
限制
资料未提供该项目除上述内容外的其他功能、收费模式、许可协议或更详细的使用步骤，相关细节暂未提供。
