SuperAPI AI 工具集

open-thoughts

Open Thoughts 是由 Bespoke Labs 与 DataComp 社区共同主导的开放推理数据集整理项目,旨在构建高质量开源推理数据集,用于训练在数学与代码推理基准上超越 DeepSeek-R1-Distill-Qwen 系列的小型推理模型。项目完全开源,公开模型权重、数据集、数据生成代码、评估代码与训练代码。

访问官网

工具介绍

Open Thoughts 是一个完全开源的推理模型数据整理项目,由 Bespoke Labs 与 DataComp 社区联合领导,参与者包括来自斯坦福大学、加州大学伯克利分校、华盛顿大学、UT Austin、Juelich 超级计算中心、LAION、UCLA、UNC Chapel Hill 及丰田研究所等机构的研究人员和工程师。项目的首要目标是整理高质量推理数据集,训练出在数学和代码推理基准上超越 DeepSeek-R1-Distill-Qwen-32B 和 DeepSeek-R1-Distill-Qwen-7B 的小型先进推理模型。

项目已发布多个数据集与模型成果。2025 年 6 月发布了 OpenThoughts3-1.2M 数据集,该数据集包含 85 万道数学题、25 万道代码题和 10 万道科学题,推理轨迹使用 QwQ-32B 生成,是 1000 多次实验的结果,用于测试数据整理中的各种设计选择。2025 年 4 月发布 OpenThoughts2-1M 数据集,由 OpenThoughts-114k、OpenR1-Math 以及新生成的数学与代码推理数据组合而成,通过对 26 种不同问题生成方法进行消融实验,从表现最佳的方法中采样生成。更早的 OpenThoughts-114k 与 OpenThinker-7B 于 2025 年 1 月发布,后续还发布了 OpenThinker-32B 等模型。相关模型在 Ollama 上已获得 40 万次下载。

项目完全开源,模型权重、数据集、数据生成代码、评估代码和训练代码均公开可用。据公开信息,训练与评估代码标注为“即将推出”。数据生成流程涉及设置 DeepSeek API 密钥,以及设置 HF_ORG 为组织 ID,若推送到私有仓库需设置 HF_PRIVATE=true。推理基准已被加入开源工具 Evalchemy 并与公开报告的分数进行对比,为减少评估精度波动,项目使用不同随机种子进行多次评估并计算平均分。

适用场景方面,该项目主要面向需要高质量开源推理数据集的研究人员与开发者,可用于训练数学、代码及科学推理模型。开源社区已基于 OpenThoughts 衍生出多项工作,例如 Light-R1-SFT、Traceback-12B、Sky-T1 等模型的训练使用了相关数据集,Hugging Face 上已有 190 多个公开模型使用 OpenThoughts-114k 训练,100 多个公开模型使用 Bespoke-Stratos-17k 训练。Ollama 还提供了 OpenThinker-7B 和 OpenThinker-32B 的量化版本以便在本地笔记本上运行。限制方面,官方资料未提供具体收费、价格、平台限制或详细使用步骤等信息,暂未提供。