VeOmni 是字节跳动 Seed 团队开发并开源的模型训练框架，项目托管于 GitHub（https://github.com/ByteDance-Seed/VeOmni）。其核心目标是为单模态与多模态模型的预训练和后训练提供统一支持，使用户能够方便地在各类加速器上扩展任意模态的模型规模，兼顾灵活性与易用性。
【设计原则】
- 灵活与模块化：VeOmni 采用模块化设计，用户可以解耦大部分组件，并按需替换为自己的实现。
- 无 Trainer 束缚：支持线性训练脚本，避免使用 PyTorch-Lightning 或 HuggingFace Trainer 这类结构化、僵化的 Trainer 类，将完整训练逻辑暴露给用户，以获得最大的透明度和控制力。同时，VeOmni 也为纯文本或 VLM/Omni 模型训练提供基础 trainer，并为强化学习提供 RL trainer 作为训练后端。
- 原生 Omni 模型：让用户能够轻松地将任意 omni 模型扩展到多设备和多加速器。
- 原生 Torch：充分利用 PyTorch 原生函数，确保最大兼容性与性能。
【主要能力】
- 训练后端：FSDP2。
- 序列并行：基于 DeepSpeed Ulysses，支持非异步和异步模式。
- 专家并行：支持大型 MoE 模型训练，例如 Qwen3-MoE。
- 高效 MoE GroupGemm 内核：集成 Liger-Kernel。
- 模型兼容：兼容 HuggingFace Transformers 模型，如 Qwen3、Qwen3-VL、Qwen3-MoE 等。
- 动态批处理策略与 Omnidata 处理。
- 检查点：Torch Distributed Checkpoint。
- 硬件支持：NVIDIA GPU、AMD ROCm 与昇腾 NPU 训练。
- 实验追踪：wandb。
【使用方式】 官方提供“Quick Start with Qwen3”快速上手流程。若要接入新模型，可参考“Support New Models”文档进行扩展。
【版本与动态】
- 2025 年 4 月发布 VeOmni。
- 2025 年 8 月发布 VeOmni 技术报告并开放微信群。
- 2025 年 9 月发布首个正式版 v0.1.0。
- 2025 年 11 月，论文《OmniScale: Scaling Any Modality Model Training with Model-Centric Distributed Recipe Zoo》被 AAAI 2026 接收。
【规划中的功能】 VeOmni v0.2 路线图（issue #268、#271）、ViT balance 工具（#280）、训练期间验证数据集（#247）、基于 VeRL 的 omni 模态模型 RL 后训练（#262）。
【生态应用】 已有多个项目使用 VeOmni，包括 dFactory（dLLM 微调）、UI-TARS（原生智能体自动化 GUI 交互）、OpenHA（Minecraft 开源分层智能体模型）、UI-TARS-2、Open-dLLM（开放扩散大语言模型）、LingBot-VLA（VLA 基础模型）。项目欢迎社区贡献，可查阅 CONTRIBUTING.md。
【关于团队】 字节跳动 Seed 团队成立于 2023 年，致力于打造业界领先的 AI 基础模型。
