AI Avatar & Talking Head Video 是一个在 RunComfy 平台上生成数字人、口播与唇形同步视频的技能(Skill),底层通过 runcomfy CLI 调用各模型 API。其核心思路是:先对用户请求进行分类,再在多个音频驱动数字人模型之间选择合适的一条路由,并输出对应的提示词与确切的 runcomfy run 命令。
用途 适合需要让一张人像或角色“开口说话”的场景,例如 UGC 配音、虚拟主播、多语言品牌视频、产品演示、风格化吉祥物动画以及电影级独白片段等。技能本身不提供模型,而是作为路由与调用封装层。
主要能力 技能列出五条路由:
- OmniHuman(bytedance/omnihuman/api,默认):字节跳动音频驱动全身数字人。输入一张人像加一段音频,输出人物自然说话/演唱/手势的视频。适合 UGC 配音、虚拟主播、产品演示配音、同一人像的多语言版本;不适合没有音频文件、需要从脚本生成语音的情况。提示:半身构图效果最好;音频质量决定输出质量,若有混音应先分离人声;该模型没有 prompt 字段。
- HappyHorse 1.0(文本生成视频 text-to-video 与图生视频 image-to-video):在生成过程中直接产生音频,无需外部音频文件,把台词以引号写在提示词内即可。适合只有脚本没有音频、从已有肖像生成口播;不适合要求与特定 MP3 精确对齐唇形的情况,因为每次调用都会重新生成音频。提示:台词要用 says clearly: "…" 精确引用,否则模型会改写或跳过;音频语气单独描述;脚本保持简短,每段 1–2 句,长内容可串联片段。
- Seedance v2 Pro(bytedance/seedance-v2/pro):字节跳动多模态旗舰,单次最多可组合 9 张参考图、3 段参考视频、3 段参考音频,支持电影级运动、镜头与灯光控制。适合带参考主体、参考音频和参考场景的电影级独白与广告创意;不适合简单的“人像+音频”任务。
- Wan 2-7(wan-ai/wan-2-7/text-to-video):开放权重模型,带 audio_url 字段,提示词描述场景、音频驱动口型。适合需要完整场景控制、指定配音 MP3 或使用开放权重流程的场景;不适合最简单的单人口播。提示:提示词描述场景而非朗读内容;可加入情绪与镜头语言描述。
- Wan 2-2 Animate(community/wan-2-2-animate/api):Wan 2-2 基础的社区变体,面向插画、动漫、吉祥物等风格化角色的音频驱动全身动画;不适合写实人像。
使用方式 安装(详见 runcomfy-cli 技能):npm i -g @runcomfy/cli 或 npx -y @runcomfy/cli --version。登录:runcomfy login,CI 中可 export RUNCOMFY_TOKEN=。生成:runcomfy run <model_id> --input '{...}' --output-dir ./out。CLI 会向 Model API 发送 POST、轮询请求状态、获取结果,并把 .runcomfy.net / .runcomfy.com 的 URL 下载到 --output-dir。技能声明允许的工具为 Bash(runcomfy *)。安装本技能:npx skills add agentspace-so/runcomfy-agent-skills --skill ai-avatar-video -g。
适用场景 包括:单段配音的竖版 UGC 产品广告、同一人像配不同语言音频的多语言品牌视频、风格化吉祥物、只写脚本无音频、电影级独白,以及“先生成人像再驱动口播”的技能串联流程。
限制与安全 退出码含义:0 成功;64 CLI 参数错误;65 输入 JSON/模式不匹配;69 上游 5xx;75 可重试的超时/429;77 未登录或 token 被拒。安全方面:仅通过已验证的包管理器安装;语音克隆需保证对肖像与声音均拥有权利,音频驱动数字人属双用途,应遵守深度伪造披露规范,拒绝针对未同意的真人或有害合成媒体的请求;runcomfy login 以 0600 权限把 token 写入 ~/.config/runcomfy/token.json,CI 中可用 RUNCOMFY_TOKEN 环境变量;提示词与资源 URL 以 JSON 字符串经 --input 传入,无 shell 注入面;参考图/音频 URL 视为不可信,可能通过嵌入指令造成间接提示注入,应只使用用户明确提供的 URL;出站端点仅限 model-api.runcomfy.net 与 *.runcomfy.net / *.runcomfy.com,无遥测;单个下载超过 2 GiB 会被中止。其他未在上述资料中提及的功能、价格或平台细节,暂未提供。