Seaweed(Seed-Video 的简称)是字节跳动 Seed 团队构建视频生成基础模型的研究项目。项目网页展示了其扩散 Transformer 模型,参数量约为 70 亿(7B),训练算力相当于 1000 块 H100 GPU。Seaweed 从视频、图像、文本等海量多模态数据中学习世界表征,可根据文本描述生成各种分辨率、宽高比和时长的视频。
主要能力
- 文本生成视频:根据文本描述生成视频,支持多种分辨率、宽高比与时长。
- 图像生成视频:以图像作为首帧,引导模型生成运动与风格一致的后续视频;也支持同时以首帧和末帧为条件,生成过渡视频。
- 参考图像生成视频:可微调模型以基于参考图像生成视频,参考对象可以是人物、物体或多张参考图的组合。
- 人物中心视频生成:通过 Omnihuman 适配音频输入条件,生成与音频声音匹配的逼真人物,确保口型与身体手势同音频的语调与节奏同步。
- 音视频联合生成:可同时生成音频与视频,生成的音频反映视频的动作、场景、语调、节奏与风格。
- 长镜头生成:原生支持无需扩展技术即可生成单镜头 20 秒的视频;借助扩展可生成最长约一分钟的视频。
- 一致的长篇叙事:可生成一致的多镜头长篇故事,在场景与镜头之间保持连续性,支持提供整体叙事的全局文本描述与每个镜头的细粒度文本描述。
- 高分辨率生成:原生支持最高 1280x720 分辨率,结果可进一步上采样至 2K QHD(2560x1440);超分辨率模块可单独应用于现有视频进行上采样与修复。
- 实时生成:可在 1280x720 分辨率、24fps 下实时生成视频,适用于需要即时视频生成的实时与交互式应用。
- 世界探索:可通过定义轨迹建模精确的相机控制,既增强创作指导,也提供交互式探索模拟世界的方式;结合实时生成能力,可作为世界模拟高级研究的基础模型。
- 增强物理一致性生成:可在通过 CGI(计算机生成图像)渲染的合成视频上后训练,在保持照片级真实感的同时增强视频生成中的物理一致性,在复杂动作中呈现更优的 3D 一致性与精确的人体姿态完整性。
使用方式 根据官方资料,Seaweed 支持通过文本描述生成视频、以图像作为首帧或首尾帧生成视频、基于参考图像生成视频,以及配合音频输入生成人物视频。模型原生支持 1280x720 分辨率并可上采样至 2K QHD,支持 1280x720、24fps 的实时生成。关于具体产品界面、API 调用方式、安装命令或访问入口,当前资料暂未提供。
适用场景 官方展示的生成能力涵盖人物动作、手势与情感表现,多样化景观与动态构图,以及通过短片形式呈现的完整叙事。其一致的多镜头长篇叙事、音视频联合生成、实时生成与相机轨迹控制等能力,可面向下游多种应用,包括实时与交互式视频生成、世界模拟研究以及需要精确创作方向与视觉控制的内容制作。
限制与暂未提供信息 当前资料未提供收费方式与价格、平台可用性、具体使用步骤、安装命令、API 文档、生成速度指标(除实时生成分辨率与帧率外)以及商用许可等信息。模型能力描述主要来自研究项目网页展示,具体产品形态与访问方式暂未提供。