SuperAPI AI 工具集

image-to-video

设计与创作

查看项目

更新于 10-15 08:33

技能介绍

Image-to-Video 是 RunComfy 平台上的一个图生视频(i2v)技能,其核心特点是根据用户意图进行智能路由,而不是固定绑定某一个模型。技能会读取一张意图对照表,对用户需求进行归类,然后选择匹配的模型来执行。

用途

该技能用于将静态图片动画化。它面向三类主要意图:

  1. 人像或产品动画(保持身份稳定)
  2. 带自定义配音的唇形同步
  3. 结合图像、参考视频与参考音频的多模态组合

路由与模型

Route 1:HappyHorse 1.0 I2V

这是人像、产品及通用动画的默认路由。适用于保持身份稳定的人像动画、产品展示/360/微距运动,以及单次生成中带原生同步环境音频的场景。据资料称,该模型在 Artificial Analysis Arena 排名第一(Elo 1392),具备较强的面部保真度、几何保持和流畅的镜头运动能力。

主要参数包括:image_url(必填,JPEG/JPG/PNG/WEBP,最小 300px,宽高比 1:2.5 至 2.5:1,≤10MB)、prompt(必填,≤5000 非中日韩字符或 2500 中日韩字符)、resolution(可选,默认 1080P,可选 720P 或 1080P)、duration(可选,默认 5,范围 3–15 秒)、seed、watermark(默认 true)。输出宽高比等于输入宽高比。

调用示例:

runcomfy run happyhorse/happyhorse-1-0/image-to-video
--input '{ "image_url": "https://.../portrait.jpg", "prompt": "Gentle camera drift around the subject'''s face, subtle breathing motion, identity-stable features, soft natural light." }'
--output-dir <absolute/path>

提示词建议:以运动动词开头(如 drift、dolly in、orbit、tilt up、reveal、blink、breathe);不要重复描述图像本身;明确写出需要保持的元素;描述光线演变;每个片段只安排一个主要运动。

Route 2:Wan 2.7 + audio_url

当用户拥有自定义配音时使用此路由。模型为 wan-ai/wan-2-7/text-to-video(注意是 t2v 端点而非 i2v,该端点接受 audio_url 驱动唇形同步)。资料说明:Wan 2.7 的主要 i2v 动画在这里没有专用端点;纯 i2v(仅靠运动提示动画化图像)建议使用 HappyHorse i2v。Wan 2.7 专门用于用户有自定义音轨、希望生成对口型说话头视频的场景。

主要参数包括:prompt(必填)、audio_url(唇形同步必填,WAV/MP3,3–30 秒,≤15MB)、aspect_ratio(默认 16:9)、resolution(默认 1080p)、duration(默认 5,范围 2–15 秒,需匹配音频长度)、negative_prompt、seed。

调用示例:

runcomfy run wan-ai/wan-2-7/text-to-video
--input '{ "prompt": "Medium close-up of a confident spokesperson in a softly-lit recording booth, leaning slightly toward the camera, locked tripod, shallow DOF, warm key light from camera-left.", "audio_url": "https://.../voiceover-en.mp3", "duration": 12, "aspect_ratio": "9:16" }'
--output-dir <absolute/path>

提示词建议:描述说话头镜头的取景、光线、镜头感;时长需匹配音频长度;使用 negative_prompt 排除具体问题;多语言配音可用相同提示词,每次调用替换 audio_url,并锁定 seed 保持视觉一致性。

Route 3:Seedance 2.0 Pro

适用于将主体图像、参考视频场景和参考音频音色组合成单一片段的多模态场景。模型为 bytedance/seedance-v2/pro。

主要参数包括:prompt(必填,中文 ≤500 字或英文 ≤1000 词)、image_url(数组,i2v 必填,0–9 张图像,第一张为主要主体)、video_url(数组,0–3 个参考片段,MP4/MOV,各 2–15 秒)、audio_url(数组,0–3 个参考音频,WAV/MP3,2–15 秒,各 <15MB)、aspect_ratio(默认 adaptive)、duration(默认 5,范围 4–15 秒)、resolution(默认 720p,可选 480p 或 720p)、generate_audio(默认 true)、seed。

调用示例:

runcomfy run bytedance/seedance-v2/pro
--input '{ "prompt": "Subject from image 1 walks through the café in video 1, voice tone matches audio 1. Medium close-up, slow push-in, warm light, gentle ambience.", "image_url": ["https://.../subject.jpg"], "video_url": ["https://.../cafe-locked-shot.mp4"], "audio_url": ["https://.../voice-tone.mp3"], "duration": 8 }'
--output-dir <absolute/path>

提示词建议:用 image_url 保持稳定元素(面部、服装、品牌),用 prompt 描述变化元素(动作、氛围、光线);在提示词中编号参考素材;参考媒体需符合秒数和大小限制;避免混用差异极大的美学风格。

使用方式

前置条件:安装 RunComfy CLI(npm i -g @runcomfy/cli);拥有 RunComfy 账号(runcomfy login 打开浏览器设备码流程);CI/容器中设置 RUNCOMFY_TOKEN=<token>;准备源图像 URL(JPEG/PNG/WebP,最小 300px,≤10MB,宽高比 1:2.5 至 2.5:1)。

技能根据用户意图在三者中选择一个,并调用 runcomfy run <model_id>,传入匹配的 JSON 请求体。CLI 会向 Model API 发送 POST、轮询请求、获取结果,并将 .runcomfy.net/.runcomfy.com 的 URL 下载到 --output-dir。Ctrl-C 可在退出前取消远程请求。

退出代码:0 成功;64 CLI 参数错误;65 输入 JSON/模式不匹配;69 上游 5xx;75 可重试(超时/429);77 未登录或令牌被拒。

适用场景

  • 将静态人像动画化并保持身份稳定
  • 产品展示、360 度或微距运动
  • 带自定义配音的唇形同步视频
  • 多语言配音变体(同一图像,每次调用不同音频)
  • 品牌一致的叙事(角色参考+场景参考+声音参考)

限制

每条路由继承其模型限制:HappyHorse 上限 15 秒,输出宽高比等于输入宽高比;Wan 2.7 上限 15 秒,音频 3–30 秒/15MB;Seedance 在该模板下分辨率上限 720p,时长上限 15 秒。不支持多路由混合,每次调用只选一个模型;若用户需要 HappyHorse 动画加 Wan 风格唇形同步的同一片段,需要两次调用加拼接(超出本技能范围)。若用户指定了未列出的具体模型变体(如 Wan 2.6、Seedance 1.5),应路由到相应品牌技能而非强制使用本技能。

安全与隐私

登录令牌写入 ~/.config/runcomfy/token.json,权限 0600(仅所有者读写);CI/容器中可设置 RUNCOMFY_TOKEN 环境变量绕过文件。用户提示词作为 JSON 字符串通过 --input 传给 CLI,CLI 不做 shell 展开,直接通过 HTTPS 传输 JSON 体到 Model API,无 shell 注入面。传入的图像/遮罩/视频 URL 由 RunComfy 模型服务器抓取,而非本地 CLI;外部 URL 应视为不可信,基于图像的提示注入是所有图像/视频编辑模型的已知风险。出站端点仅 model-api.runcomfy.net(提交请求)和 *.runcomfy.net / *.runcomfy.com(生成输出下载白名单),无遥测、无回调。CLI 会中止任何大于 2 GiB 的单次下载,以防磁盘被恶意或失控的模型输出填满。