Seedance 是一个用于生成视频的 AI 技能,底层调用字节跳动的 Seedance 2.0 模型,通过 inference.sh CLI(belt)执行。
用途
该技能用于根据文本、图像、视频或音频等输入生成带同步音频的视频,适用于文生视频、图生视频、首尾帧控制、多模态参考生视频、视频编辑(替换元素)、视频扩展(拼接片段)以及带音频参考的生成等场景。
主要能力
- 支持四种模型:Seedance 2.0(最佳质量,最高 1080p)、Seedance 2.0 Fast(更快生成,最高 720p)、Seedance 2.0 Studio(质量加私有资产库,用于人像一致性)、Seedance 2.0 Studio Fast(快速加私有资产库)。
- 所有模型均支持文生视频、图生视频、多模态参考生视频和同步音频生成。
- Studio 变体会自动将参考图上传至 BytePlus 私有虚拟人像库,以增强角色一致性,尤其适用于人脸和品牌角色。
- 生成模式由输入决定,且互斥:首帧/尾帧模式与参考输入模式不能同时使用。
使用方式
需先安装 inference.sh CLI(belt),安装命令为 npx skills add belt-sh/cli,然后执行 belt login 登录。调用示例:
belt app run bytedance/seedance-2-0 --input '{
"prompt": "a jazz band performing in a dimly lit club",
"generate_audio": true
}'
模型对应的 App ID 分别为:bytedance/seedance-2-0、bytedance/seedance-2-0-fast、bytedance/seedance-2-0-studio、bytedance/seedance-2-0-studio-fast。
模式与输入
- 文生视频:仅需 prompt。
- 图生视频:prompt + image(首帧)。
- 首尾帧:prompt + image + end_image。
- 多模态参考:prompt + reference_images/reference_videos/reference_audios。
提示词写法
在提示词中用类型加索引引用素材,如 Image 1、Video 1、Audio 1,索引对应所提供数组中的位置,不要在提示词中使用素材 ID。文档给出了多模态参考、视频编辑、视频扩展的提示词公式。
参数
主要参数包括:prompt(必填)、generate_audio(默认 true)、duration(默认 5,范围 4-15,-1 为自动)、ratio(默认 adaptive,可选 21:9、16:9、4:3、1:1、3:4、9:16)、resolution(默认 720p,可选 480p、720p、1080p,Fast 仅支持 480p、720p)、seed(默认 -1)、watermark(默认 false)、safety_identifier(最长 64 字符)、image、end_image、reference_images(最多 9 个)、reference_videos(最多 3 个,每个最长 15 秒,总长最多 15 秒,mp4/mov)、reference_audios(最多 3 个,每个最长 15 秒,总长最多 15 秒,wav/mp3,需至少一个图像或视频)。
适用场景
适用于需要快速生成带音频视频的创作场景,如广告制作、角色一致性视频、视频编辑与扩展、多素材参考生成等。
限制
- 首帧/尾帧模式与参考输入模式互斥。
- 参考视频和参考音频有数量和时长限制。
- 参考音频需至少搭配一个图像或视频。
- Fast 变体分辨率仅支持 480p 和 720p。
- 定价按 token 计费,Seedance 2.0 为 $4.30-$7.70/M tokens,Fast 为 $3.30-$5.60/M tokens,token 计算公式为 (width x height x fps x duration) / 1024。
- 其他未在资料中说明的功能、平台或效果暂未提供。