SuperAPI AI 工具集

talking-head-production

设计与创作

查看项目

更新于 10-15 10:20

技能介绍

用途:该技能用于制作 AI 数字人口播视频(talking head),即让一张人像照片开口说话,配合口型同步(lipsync)与配音。底层通过 inference.sh 的 CLI 工具 belt 调用各类应用完成生成。

安装与前置:安装技能命令为 npx skills add belt-sh/cli;使用时需要 inference.sh CLI(belt),并先执行 belt login 登录。

主要能力与模型:推荐模型为 P-Video-Avatar(app id:pruna/p-video-avatar),内置 TTS,含 30 种声音、10 种语言,官方称其比替代方案快 18 倍、便宜 6 倍,速度约 1.83 秒/秒视频,成本约 $0.025/秒。其他可选模型包括 OmniHuman 1.5(bytedance/omnihuman-1-5,无内置 TTS,支持多角色与手势,约 28 秒/秒视频,$0.16/秒)、OmniHuman 1.0(bytedance/omnihuman-1-0,单角色)、Fabric 1.0(falai/fabric-1-0,内置 TTS,图像说话配口型同步,约 34 秒/秒视频,$0.14/秒)、PixVerse Lipsync(falai/pixverse-lipsync,无内置 TTS)。

使用方式:以命令行输入 JSON 参数运行应用。例如用 P-Video-Avatar 只需提供 image 与 voice_script 即可生成;可加 voice、voice_language、resolution、voice_prompt、video_prompt 等参数控制声音与画面风格;也可传入自有 audio 文件做音频驱动。非 TTS 模型需先用 falai/dia-tts 或 infsh/kokoro-tts 生成语音,再作为音频输入。长视频(约超过 60 秒)可拆分为多段、用同一张人像生成后经 infsh/media-merger 合并。多角色对话由 OmniHuman 1.5 支持(最多 2 个角色)。配音已有视频流程为:fast-whisper-large-v3 转写 → 翻译文本 → kokoro-tts 生成新语音 → latentsync-1-6 对原视频做口型同步。

人像要求:需居中构图、头肩可见(胸部以下裁切)、眼睛直视镜头、表情中性、面部清晰无遮挡(无墨镜、重阴影)、高分辨率(面部区域至少 512x512,理想 1024x1024 以上)。可用 P-Image(pruna/p-image)先生成专业人像,支持 9:16 等比例。背景可选纯色、柔和虚化、办公/影棚或动态背景(P-Video-Avatar 用 video_prompt 设置)。

音频要求(非 TTS 流程):背景噪声应无或极少、音量保持一致、采样率 44.1kHz 或 48kHz、格式为 MP3 128kbps+ 或 WAV,以保证口型同步准确。

可用声音(P-Video-Avatar):女声 Zephyr、Kore、Leda、Aoede、Callirrhoe、Autonoe、Despina、Erinome、Laomedeia、Achernar、Gacrux、Pulcherrima、Vindemiatrix、Sulafat;男声 Puck、Charon、Fenrir、Orus、Enceladus、Iapetus、Umbriel、Algenib、Algieba、Schedar、Achird、Zubenelgenubi、Sadachbia、Sadaltager、Alnilam、Rasalgethi。语言含英语(美/英)、西班牙语、法语、德语、意大利语、葡萄牙语(巴西)、日语、韩语、印地语。

常见错误:低分辨率人像导致面部模糊与口型差;侧面角度导致口型难以跟踪;音频有噪声导致口型漂移;片段过长导致质量下降;墨镜或遮挡隐藏面部特征;光照不均导致动画不自然。

限制与说明:上述模型速度、成本与内置 TTS 情况均来自资料;未提及的功能、收费细节、平台支持范围等暂未提供。相关内容还提供关联技能安装命令(如 p-video-avatar、ai-avatar-video、ai-video-generation、text-to-speech、ai-image-generation),可用 belt app list 浏览全部应用。