Open-Reasoner-Zero 是一个面向大规模推理任务的开源强化学习训练项目，旨在推动可扩展、简单且易用的推理模型训练。其官方仓库提供了完整的源代码、训练脚本、参数配置、训练数据以及模型权重。
用途方面，该项目聚焦于基座模型上的推理能力强化学习训练，使用与 DeepSeek-R1-Zero-Qwen-32B 相同的基座模型，在 AIME2024、MATH500 和 GPQA Diamond 基准上实现了更优性能，且仅需约十分之一的训练步数。它致力于让更广泛的研究者参与推理模型训练，加速通向通用人工智能（AGI）的研究。
主要能力包括：提供不同规模模型（0.5B、1.5B、7B、32B）的训练脚本与权重，其中 ORZ-0.5B 可在单张 A800/H800 GPU 上运行；训练奖励和响应长度随模型规模稳定增长，展示出良好的可扩展性。项目还发布了 ORZ-R1-Distill-Qwen-14B，通过将 ORZ 配方应用于 DeepSeek-R1-Distill-Qwen-14B 等推理增强模型，在推理基准上取得了超越更大尺寸 DeepSeek-R1-Distill-Qwen-32B 的结果。数据集方面，提供了总计 129k 的精选数据，包括原始 57k、扩展 72k 以及从 129k 中挖掘的 13k 难例数据，用于 ORZ-32B 训练的退火阶段，使 AIME2024 从约 41% 提升至约 48%。此外还发布了完整的 Critic 模型系列（0.5B、1.5B、7B、32B）供深入研究。
使用方式：项目在 data 文件夹中发布了所有精选高质量训练数据。安装需运行安装命令，训练脚本支持多节点（如 16 节点、4 节点、2 节点）和单节点/单 GPU 运行。例如，在 16 节点上，先在主节点运行某命令，再在所有其他节点运行某命令，最后在主节点运行某命令，训练日志将显示在主节点终端。单 A800/H800 节点可启动 ORZ-0.5B PPO 训练，甚至可单 GPU 运行（无需 ray start 等逻辑）。代码中保留环境变量 DEBUG_MODE 供研究者调试迭代，推荐使用 python -m playground.orz_0p5b_ppo_1gpu 进行调试。策略模型可像 transformers 和 vllm 中的任何聊天模型一样使用，因为 tokenizer 中已包含 chat template jinja；Critic 模型可像训练代码中那样加载。
适用场景与限制：适用于研究机构、高校及企业研究者进行推理导向的大规模强化学习训练、模型可扩展性研究、数据消融实验等。项目代码库采用单控制器训练器设计，灵活且对研究者友好；训练与生成共置同一 GPU 以最大化利用率。其训练框架基于 OpenRLHF、vllm、DeepSpeed 和 ray，模型基于 Qwen2.5 系列基座模型。主要限制包括：需要较高算力资源（如 A800/H800 GPU）进行大规模训练；部分细节（如具体收费、价格、平台支持等）暂未提供。
