oat-zero 是新加坡科技研究局（A*STAR）旗下 sail-sg 团队开发的轻量级研究项目，旨在复现 DeepSeek-R1-Zero 的强化学习（RL）训练过程，并深入分析其自我反思（self-reflection）行为。项目核心是一篇题为《There May Not be Aha Moment in R1-Zero-like Training — A Pilot Study》的论文，对 R1-Zero 类训练中的“Aha 时刻”提出了质疑性发现。
用途： 该项目主要用于探索纯强化学习训练语言模型时是否会产生如“Aha 时刻”这样的涌现能力。传统观点认为，在 R1-Zero 训练中模型会突然学会自我反思，从而解决复杂推理问题，表现为响应长度的突然增加。oat-zero 通过在小规模模型（1B 至 7B 参数）上复现训练，对这一现象进行了细致的实证研究。
主要发现：
- 可能不存在“Aha 时刻”：研究发现，自我反思模式（如“等等，让我再想想”等）实际上在训练前的基座模型（epoch 0）中就已经出现，并非训练过程中涌现。
- 表层自我反思（Superficial Self-Reflection, SSR）：基座模型产生的自我反思语句并不一定导向正确答案，往往只是表面上的反思。
- 响应长度增加的原因：RL 训练中观察到的响应长度增长并非由于自我反思的出现，而是强化学习在优化预设的规则奖励函数（rule-based reward functions），模型为了获得更高奖励而倾向于生成更长的回复。
主要能力：
- 在 Countdown 任务（一种数学推理任务）上复现 R1-Zero 类训练。
- 提供评估基座模型自我反思行为的脚本。
- 复现 SimpleRL-Zero 在 MATH 数据集上的结果。
- 包含对响应长度分布和奖励曲线的详细分析（如项目页面所示图表）。
使用方式： 项目基于 Oat 框架开发，安装命令为：
pip install oat-llm
或使用可编辑模式进行本地开发：
git clone https://github.com/sail-sg/oat-zero.git
cd oat-zero
pip install -e .
评估自我反思行为：运行脚本并传入模型名称作为参数，例如：
python eval/self_reflection.py --model <model_name>
复现 Countdown 任务结果：
python train/countdown.py
复现 MATH 任务结果需参考 simpleRL/train 目录下的说明。
适用场景：
- 研究大型语言模型推理能力的学者和工程师。
- 对强化学习训练中涌现能力（emergent abilities）现象感兴趣的科研人员。
- 需要在小规模模型上验证 R1-Zero 训练方法的开发者。
限制：
- 项目为研究性质，并非生产级工具。
- 主要针对特定任务（Countdown、MATH）进行复现，通用性有限。
- 依赖 Oat、vLLM 等第三方库，需配置相应环境。
- 项目遵循 MIT 许可证。
其他信息： 项目代码托管于 GitHub（https://github.com/sail-sg/oat-zero），感谢 Oat、SimpleRL、TinyZero、vLLM 以及 DeepSeek、Qwen、Rho、Llama 等团队的技术贡献。
