项目概述
OpenSeek 是由北京智源人工智能研究院（BAAI）发起的开源项目，目标是联合全球开源社区，推动算法、数据和系统层面的协同创新，开发超越 DeepSeek 的下一代大语言模型。项目借鉴 Bigscience 和 OPT 等大模型倡议，致力于构建独立的开源算法创新体系。
DeepSeek 模型开源后，学术界涌现出许多算法改进和突破，但这些创新往往缺乏完整的代码实现、必要的计算资源以及高质量数据支持。OpenSeek 项目旨在通过联合开源社区，探索高质量数据集构建机制，推动大模型训练全流程的开源，构建创新的训练和推理代码以支持 Nvidia 以外的多种 AI 芯片，促进自主技术创新和应用发展。
项目目标
- 先进数据技术：解决高质量数据获取难题。
- 多 AI 设备支持：降低对特定芯片的依赖，提升模型通用性和适应性。
- 标准化 LLM 训练基线：通过开源协作推动独立算法创新和技术共享。
主要能力与组件
标准化基线（Baseline）
openseek-baseline 用作 PAZHOU 算法竞赛的基线，也用于评估 openseek 中的 PR。它是一个标准化的大模型训练和评估流水线，包含 100B 数据集、训练代码、wandb、检查点和评估结果。
数据集
项目已发布双语预训练数据集 CCI4.0-M2-V1（2025年5月6日发布），目标构建超过 10 万亿 token 的大规模多语言预训练数据集，覆盖多种语言和领域，并引入思维链生成、指令微调等数据合成技术。此外，OpenSeek-Pretrain-100B 是从 CCI4.0-M2 v1 中随机采样的 100B 数据子集，专门用于实验训练。
模型
算法组已发布预训练模型 OpenSeek-Small V1（2025年5月6日发布，提供下载）。
算法组
研究聚焦大语言模型训练的三个方面：数据混合、超参数调优和强化学习（RL）。系统探索数据组成策略以平衡跨领域的质量和多样性，研究超参数配置对训练稳定性和收敛性的影响，并纳入基于 RL 的优化以使模型行为进一步对齐任务特定目标。
系统组
在开源社区支持下，flagscale 旨在复现 DeepSeek V3 & R1 的分布式训练系统，确保稳定且高性能的端到端训练。
使用方式
环境准备
克隆仓库并进入目录，安装 FlagScale 依赖（推荐使用 Docker）。
准备数据
下载 OpenSeek-Pretrain-100B 数据集到本地目录，命名为 OpenSeek-Pretrain-100B。在构建并激活 Python 环境后，也可运行脚本搭建项目环境。
运行基线
完成环境安装和配置后，使用简单命令运行基线：bash openseek/baseline/run_exp.sh start。
验证运行
运行后，在 OpenSeek 根目录会生成日志目录 OpenSeek-Small-v1-Baseline，可通过 vi OpenSeek-Small-v1-Baseline/logs/host_0_localhost.output 查看日志。约 1-2 分钟后，执行 grep "iteration.*consumed samples" OpenSeek-Small-v1-Baseline/logs/host_0_localhost.output，若输出类似示例（包含 iteration、consumed samples、throughput 等指标），则表明程序成功启动。
适用场景
- 大语言模型算法研究与创新
- 高质量预训练数据集构建与实验
- 分布式训练系统复现与优化
- 多 AI 芯片适配与模型通用性研究
- 开源社区协作与算法竞赛（如 PAZHOU）
限制
项目详细的使用限制、收费模式、价格等信息暂未提供。贡献指南、Discord 频道等社区参与方式可参考项目仓库。
