SuperAPI AI 工具集

Skywork-OR1

Skywork-OR1(Open Reasoner 1)是 SkyworkAI 开源的一系列数学与代码推理模型及配套训练方案。该系列使用大规模基于规则的强化学习,结合精心设计的数据集与训练配方,包含 Skywork-OR1-7B 和 Skywork-OR1-32B 两个通用推理模型。据官方资料,Skywork-OR1-32B 在数学任务(AIME24 和 AIME25)上优于 Deepseek-R1 和 Qwen3-32B,在代码任务(LiveCodeBench)上表现相当;Skywork-OR1-7B 在同规模模型中数学和编码场景表现具有竞争力。项目开源了模型权重、训练数据、代码,并提供训练与评估脚本,支持通过 Docker 和 Conda 环境复现,支持使用 Ray 进行多节点训练。官方还发布了技术报告(arXiv)和 Notion Blog,分享详细训练配方、实验结果与分析。项目还提供 Skywork-OR1-RL-Data 训练数据集,以及针对 AIME24/AIME25 和 LiveCodeBench 的评估脚本。评估采用 Avg@K 作为主要指标,而非 Pass@1,以降低随机性影响。

访问官网

工具介绍

Skywork-OR1(Open Reasoner 1)是 SkyworkAI 开源的一系列数学与代码推理模型,以及配套的训练数据、代码和训练方案。该项目旨在通过大规模基于规则的强化学习,结合精心设计的数据集与训练配方,提升数学和代码推理能力。

用途

Skywork-OR1 系列主要面向数学与代码推理任务。官方资料显示,该系列模型在数学任务(AIME24、AIME25)和代码任务(LiveCodeBench)上进行评估,并采用 Avg@K 作为主要指标,以衡量模型在 K 次独立尝试中的平均表现,减少随机性影响,增强结果可靠性。

主要能力

  • 模型系列:包含两个通用推理模型 Skywork-OR1-7B 和 Skywork-OR1-32B。
  • 性能表现:据官方发布,Skywork-OR1-32B 在数学任务(AIME24 和 AIME25)上优于 Deepseek-R1 和 Qwen3-32B,在代码任务(LiveCodeBench)上表现相当;Skywork-OR1-7B 在同规模模型中数学和编码场景表现具有竞争力。
  • 开源内容:模型权重、训练数据(Skywork-OR1-RL-Data)、代码均已开源。
  • 训练方案:提供训练脚本和数据,可复现 Skywork-OR1 系列结果;支持使用 Ray 进行多节点训练。
  • 评估支持:默认提供 AIME 数据集评估;如需评估 LiveCodeBench,可参考评估数据准备部分设置相应路径。评估结果会自动保存到 outputs/evalation/pass.csv。
  • 技术报告:2025 年 5 月 29 日,Skywork Open Reasoner 1 技术报告已在 arXiv 发布,提供训练管线、熵坍缩现象的研究与缓解,以及大量分析和消融研究。

使用方式

项目提供 Docker 环境和 Conda 环境两种方式。官方提供了训练脚本和数据以复现结果。训练数据准备方面,提供脚本从 Hugging Face 下载数据,并根据特定模型(如 DeepSeek-R1-Distill-Qwen-{1.5,7,32}B)的难度级别过滤问题。若要进行多节点训练,需先使用 Ray 启动并连接所有节点,然后照常启动训练脚本,脚本会自动利用已连接节点。评估方面,提供评估脚本以复现 Skywork-OR1 系列结果;AIME24 和 AIME25 的评估数据已包含在 GitHub 仓库中,LiveCodeBench 数据需从 Hugging Face 下载。

适用场景

适用于研究、理解并推动开放推理模型前沿的开发者与研究者,尤其是关注数学和代码推理、强化学习训练方法、多节点训练与评估的人群。

限制

资料中未提供具体的模型推理速度、部署硬件要求、许可证详情等信息,暂未提供。技术报告的具体内容需查阅 arXiv。模型训练基于 DeepSeek-R1-Distill-Qwen-7B 和 DeepSeek-R1-Distill-Qwen-32B,并使用 verl 项目的自定义分支进行训练。