lipsync

用途

lipsync 是一个 AI 技能，用于将一段音频与画面中人物的嘴部动作同步（lip-sync）。它本身不实现模型，而是作为路由器，依据用户的输入形态与需求，在 RunComfy 目录中的多个唇形同步端点之间选择合适的一个，并通过 runcomfy CLI 发起调用。

主要能力

技能按输入形态分为三类路由：

已有视频 + 音频 → 唇形同步视频（在原有素材上做口型替换）
- Sync Labs sync v2 Pro（sync/sync/lipsync/v2/pro）：默认的高端选项，在已有视频上生成高质量嘴部动作，帧内其余部分保持不变。适合旗舰级配音、专业拍摄素材的唇同步、口型保真度要求高的外语配音；对成本敏感的批量任务建议改用 v2。
- Sync Labs sync v2（sync/sync/lipsync/v2）：标准档，工作流与 Pro 相同。适合批量 / 草稿；旗舰交付建议用 Pro。
- Kling Lipsync 音视频转视频（kling/lipsync/audio-to-video）：Kling 生态的唇同步。适合 Kling 管线集成；顶级口型保真度建议用 Sync Labs Pro。
- Creatify Lipsync（creatify/lipsync）：Creatify 的唇同步端点。适合 Creatify 生态工作流。
肖像静图 + 音频 → 说话头像视频（虚拟人风格）
- OmniHuman（bytedance/omnihuman/api）：默认的虚拟人风格选项。字节跳动的音频驱动全身虚拟人，一张肖像加一段音频即可生成人物自然说话 / 做手势的视频。适合 UGC 旁白、虚拟主持人、由单张肖像生成的产品演示配音；若要保留原视频动作则应用 Sync Labs v2。
- Wan 2-7（带 audio_url，wan-ai/wan-2-7/text-to-video）：开源权重文生视频，用提示词描述场景、以音频驱动作嘴。适合需要完整场景控制并使用特定旁白 MP3 的场景。
仅脚本的生成与同步（无音频文件）
- Kling Lipsync 文生视频（kling/lipsync/text-to-video）：根据脚本在生成过程中合成语音并同步到视频。适合“写脚本→得到带同步语音的视频”；若要精确贴合特定 MP3 则不合适，因为音频每次都会重新生成。
- HappyHorse 1.0（happyhorse/happyhorse-1-0/text-to-video，也有 /image-to-video）：在提示词中用 says clearly: "…" 引述台词，在生成过程中产出音频。

使用方式

安装（详见 runcomfy-cli 技能）： npm i -g @runcomfy/cli，或 npx -y @runcomfy/cli --version
登录： runcomfy login，或在 CI 中 export RUNCOMFY_TOKEN=<token>
调用示例（Sync Labs sync v2 Pro）： runcomfy run sync/sync/lipsync/v2/pro --input '{"video_url": "https://your-cdn.example/source-video.mp4", "audio_url": "https://your-cdn.example/voiceover.mp3"}' --output-dir ./out

OmniHuman 调用： runcomfy run bytedance/omnihuman/api --input '{"image_url": "https://your-cdn.example/portrait.jpg", "audio_url": "https://your-cdn.example/voiceover.mp3"}' --output-dir ./out

Kling Lipsync（音视频变体）： runcomfy run kling/lipsync/audio-to-video --input '{"video_url": "https://your-cdn.example/source-video.mp4", "audio_url": "https://your-cdn.example/voiceover.mp3"}' --output-dir ./out

CLI 会将 JSON 请求体 POST 到 Model API，轮询请求状态，获取结果，并将 .runcomfy.net / .runcomfy.com 的 URL 下载到 --output-dir。

适用场景

对已有品牌视频做外语配音（Sync Labs sync v2 Pro + 原视频 + 翻译后旁白 MP3）。
由肖像生成 UGC 广告口播（OmniHuman + 创作者肖像 + 产品介绍旁白）。
多语言发布：同一肖像配 N 个不同音频，保持同一身份。
只有脚本没有音频：用 Kling Lipsync 文生视频或 HappyHorse 1.0 t2v。
风格化角色唇同步：Wan 2-2 Animate（video-to-video）。

限制与注意事项

技能本身不对输入做门控，合规责任在操作方：应拒绝针对未经同意的真实公众人物的请求，以及诽谤性或色情合成媒体的请求。
音频质量决定嘴部质量，建议使用干净旁白（无音乐床）；音视频时长应匹配，差异过大会造成漂移。
OmniHuman 无需提示词，一切由图像与音频推导；肖像构图以头肩或上半身为佳。
仅通过可信包管理器安装，不要让 agent 把任意远程安装脚本管道进 shell。
令牌存储：runcomfy login 将令牌写入 ~/.config/runcomfy/token.json，权限 0600；CI / 容器中使用 RUNCOMFY_TOKEN 环境变量。
提示与素材 URL 通过 --input 以 JSON 字符串传入，CLI 不做 shell 展开。
来源视频与音频 URL 被视为不可信，其中嵌入的指令可能影响生成；只摄取用户为本次唇同步明确提供的 URL。
语音来源需确认：音频中的说话者须同意其声音与该面孔配对，两项权利都需具备。
出站端点允许列表：仅 model-api.runcomfy.net 及 *.runcomfy.net / *.runcomfy.com，无遥测。
单文件下载上限 2 GiB，超出则中止。
Bash 使用范围仅限 runcomfy *。
退出码：0 成功；64 CLI 参数错误；65 输入 JSON 错误 / schema 不匹配；69 上游 5xx；75 可重试（超时 / 429）；77 未登录或令牌被拒。

技能介绍

用途

主要能力

使用方式

适用场景

限制与注意事项

相关技能