Tuna-2 是论文《Pixel Embeddings Beat Vision Encoders for Unified Understanding and Generation》的官方实现，由 Meta、香港大学和滑铁卢大学的研究者共同完成。项目旨在简化统一多模态模型（UMM）的视觉编码设计。
用途
Tuna-2 用于统一的多模态理解与生成任务。它通过逐步剥离视觉编码组件来简化模型：首先移除 VAE，得到仅依赖表示编码器的像素空间统一多模态模型 Tuna-R；Tuna-2 进一步绕过表示编码器，直接使用 patch embedding 层处理原始图像输入。根据项目说明，Tuna-2 使用像素嵌入在多种多模态基准测试上优于 Tuna-R 和 Tuna。
主要能力
- 统一理解与生成：模型同时支持多模态理解与图像生成任务。
- 像素嵌入：直接对原始图像进行 patch embedding，无需传统视觉编码器。
- 单一推理脚本：所有推理通过一个统一脚本完成。
- 支持多种分辨率：项目列出了支持的分辨率。
- 视频训练与推理代码：由于政策限制，暂不发布视频生成模型，但提供了完整的视频训练和推理代码库，包括训练配置 configs/train/video_t2v.yaml 和推理配置 configs/predict/t2v_2b.yaml。
使用方式
项目提供官方代码仓库，包含训练和推理代码。推理通过单一统一脚本进行。示例提示词见 assets/prompts.txt。训练指南可参考项目中的 training guide。
模型发布说明
由于组织政策限制，无法发布完整生产训练的模型权重。项目计划发布一个基础检查点，其中从 LLM 主干和扩散头（flow head）中移除了少量层，其余层及所有其他组件（视觉编码器、投影、嵌入等）完整保留。用户可在自己的数据上进行简短微调，快速重新学习被移除的层并恢复模型完整质量。项目也在积极使用外部数据微调被移除的层，并计划尽快发布完整权重。
适用场景
适用于多模态理解与生成的研究，尤其是探索像素空间统一模型、简化视觉编码流程的学术与工程场景。也可作为训练自定义视频模型的起点。
限制
- 完整生产训练的模型权重暂未发布。
- 视频生成模型因政策限制暂未发布，仅提供代码库。
- 发布的基础检查点缺少部分层，需要用户自行微调恢复。
- 项目采用 Apache License 2.0 许可。
