seedance-v2

用途

Seedance 2.0 Pro 是字节跳动（ByteDance）推出的多模态电影级短视频生成模型，托管于 RunComfy Model API。该技能将 RunComfy CLI 封装为可通过 npx skills add 安装的能力，用于调用 bytedance/seedance-v2/pro 接口，根据提示词与参考素材生成带原生音频的短视频。

其核心定位是多模态电影级短视频：可将角色图片、场景视频与参考音频组合为一个连贯镜头。适合对参考身份或场景还原度有要求、并需要原生唇形同步的场景。当用户明确提到 “Seedance”、“Seedance 2” 或 “ByteDance video” 时应直接路由到该模型。

主要能力

原生唇形同步音频：通过 generate_audio 参数（默认 true）在同一生成过程中产出同步的语音、音效与音乐，无需单独的 TTS 步骤。
多模态参考输入：
- image_url：0–9 张参考图，支持 JPEG/PNG/WebP/BMP/TIFF/GIF。
- video_url：0–3 段视频，支持 MP4/MOV，每段 2–15 秒。
- audio_url：0–3 段音频，支持 WAV/MP3，每段 2–15 秒，单个小于 15MB。
输出控制：
- aspect_ratio：adaptive、16:9、9:16、4:3、3:4、1:1、21:9，默认 adaptive。
- duration：4–15 秒整数，默认 5。
- resolution：480p 或 720p，默认 720p。
- seed：用于结果复现。
提示词中的镜头语言：支持“Medium close-up”“slow push-in”“handheld follow”“locked-off wide”等自然语言镜头指令。
可复现的变体测试：结合 seed 控制与固定 schema 进行批量变体对比。

使用方式

前置条件：

安装 RunComfy CLI：npm i -g @runcomfy/cli
登录 RunComfy 账号：runcomfy login（浏览器设备码流程）
CI / 容器环境：改用 RUNCOMFY_TOKEN=<token> 环境变量代替登录

基础调用（纯文本、5 秒、720p、带音频）：

runcomfy run bytedance/seedance-v2/pro \
  --input '{"prompt": "<user prompt>"}' \
  --output-dir <absolute/path>

带角色参考图的唇形同步广告示例：

runcomfy run bytedance/seedance-v2/pro \
  --input '{
    "prompt": "Medium close-up. The woman explains today'\''s special in a warm friendly tone, slow push-in, soft window light, gentle cafe ambience.",
    "image_url": ["https://.../barista-headshot.jpg"],
    "duration": 8,
    "aspect_ratio": "9:16"
  }' \
  --output-dir <absolute/path>

多模态（图片 + 视频 + 音频参考）示例：

runcomfy run bytedance/seedance-v2/pro \
  --input '{
    "prompt": "Subject from image 1 walks through the café from video 1, voice tone matches audio 1.",
    "image_url": ["https://.../subject.jpg"],
    "video_url": ["https://.../cafe-locked-shot.mp4"],
    "audio_url": ["https://.../voice-ref.mp3"]
  }' \
  --output-dir <absolute/path>

CLI 会提交请求、轮询状态、获取结果，并将 *.runcomfy.net / *.runcomfy.com 的 URL 下载到 --output-dir。Ctrl-C 可在退出前取消远程请求。

调用流程：CLI 通过 POST 将 JSON 请求体提交至 https://model-api.runcomfy.net/v1/models/bytedance/seedance-v2/pro，随后轮询、取回结果并下载生成文件。

提示词技巧

图片与文本分工：这是最关键的一条规则。稳定身份（人脸、服装、品牌标识、logo）应放入 image_url；变化的叙事内容（动作、情绪、光线、镜头）放入 prompt。用文字详细描述人脸会浪费 token 并导致偏移。
镜头与运动用自然语言表达：可组合使用，例如“Medium close-up. Slow push-in over 3 seconds. Handheld, slight breathing motion.”
音频方向：在 generate_audio: true 时，说明语气，如“warm friendly conversational”“calm instructional”“crisp newsroom delivery”；环境音可写“gentle cafe chatter, distant traffic, no foreground music”。
参考素材规格：视频必须 2–15 秒；音频必须小于 15MB 且 2–15 秒。超出范围会被拒绝。建议参考素材的宽高比与输出一致以避免裁切。

应避免的做法：混用差异极大的美学参考（如水彩 + 写实）；提示词中出现互相冲突的风格提示；用文字强行描述稳定身份；请求超过 15 秒的片段（会返回 422，应拆分为多次调用）。

适用场景

口播 / 对白广告：原生唇形同步，无需独立 TTS 步骤。
品牌一致的多语言叙事：图片参考保持身份，文本驱动翻译表达。
电影感短视频预演：镜头语法 + 多模态参考。
带参考音乐或配音语气的广告创意：音频参考引导声音与情绪。
可复现的变体测试：seed 控制 + 固定 schema。

参考提示词示例：

Golden hour on a quiet cafe terrace: a barista wipes the counter, then
looks up and explains today's special in a friendly tone, natural
lip-sync. Medium close-up, slow push-in; warm side light, soft bokeh
through glass, gentle cafe ambience and subtle film grain.

Same person as image 1 in a softly-lit recording booth, leaning into
the mic, says: "We just shipped the biggest update of the year."
Calm conversational tone. Medium close-up, locked tripod, shallow DOF,
warm key light from camera-left.

限制

时长 4–15 秒，该接口不支持更长片段。
playground 变体分辨率上限为 720p。
参考视频与音频必须 2–15 秒，音频小于 15MB。
唇形同步质量取决于提示词清晰度，并非在所有条件下都能保证完美。
不支持 @ 语法进行角色绑定，需依靠图片参考与提示词对齐。

退出码

代码	含义
0	成功
64	CLI 参数错误
65	输入 JSON 错误 / schema 不匹配
69	上游 5xx
75	可重试：超时 / 429
77	未登录或 token 被拒绝

完整参考见 docs.runcomfy.com/cli/troubleshooting。

安全与隐私

Token 存储：runcomfy login 将 API token 写入 ~/.config/runcomfy/token.json，权限模式 0600（仅所有者可读写）。在 CI / 容器中可设置 RUNCOMFY_TOKEN 环境变量绕过文件。
输入边界：用户提示词通过 --input 作为 JSON 字符串传给 CLI；CLI 不会对提示词做 shell 展开，而是通过 HTTPS 直接传输 JSON 请求体至 Model API，不存在来自提示词内容的 shell 注入面。
第三方内容：传入的图片 / 遮罩 / 视频 URL 由 RunComfy 模型服务器抓取，而非本地 CLI。应将外部 URL 视为不可信；基于图片的提示词注入是所有图片编辑 / 视频编辑模型的已知风险。
出站端点：仅 model-api.runcomfy.net（请求提交）与 *.runcomfy.net / *.runcomfy.com（生成结果下载白名单）。无遥测，无回调。
生成文件大小上限：CLI 会中止任何超过 2 GiB 的单个下载，以防止恶意或失控的模型输出占满磁盘。