SuperAPI AI 工具集

ai-avatar-video

设计与创作

查看项目

更新于 10-14 11:53

技能介绍

用途与定位 该技能用于创建 AI 虚拟形象(avatar)与口播数字人(talking head)视频,调用方式为 inference.sh CLI(belt)。按照资料,安装 CLI 技能的命令为:npx skills add belt-sh/cli。运行前需先执行 belt login 登录。

主要可用模型

  • P-Video-Avatar(app ID:pruna/p-video-avatar):资料将其列为推荐项,称其最快、最便宜,内置 TTS,支持动态背景与 1080p;最适合综合速度、成本、质量与控制。内置 30 种声音、10 种语言。
  • OmniHuman 1.5(app ID:bytedance/omnihuman-1-5):适合多角色、音频驱动场景;无内置 TTS。资料称其支持在多人物图像中指定要驱动的角色。
  • Fabric 1.0(app ID:falai/fabric-1-0):适合图像配合口型同步说话;内置 TTS。
  • PixVerse Lipsync(app ID:falai/pixverse-lipsync):适合高度真实的口型同步;无内置 TTS。

速度与成本对比(资料数据)

  • P-Video-Avatar:约 1.83 秒/秒视频;每秒 0.025 美元。
  • OmniHuman 1.5:约 28 秒/秒(慢约 15 倍);每秒 0.16 美元(贵约 6.4 倍)。
  • Fabric 1.0:约 34 秒/秒(慢约 18 倍);每秒 0.14 美元(贵约 5.6 倍)。

使用方式 推荐模型 P-Video-Avatar 的基本调用示例: belt app run pruna/p-video-avatar --input '{ "image": "https://portrait.jpg", "voice_script": "Hello, welcome to our product demo!", "voice": "Zephyr (Female)" }'

可传入的参数(据示例)包括 image、voice_script、voice、voice_language、resolution(如 720p、1080p)、voice_prompt(如语气描述)、video_prompt(如画面描述)、audio(直接使用音频文件而非 TTS)。示例: belt app run pruna/p-video-avatar --input '{ "image": "https://portrait.jpg", "voice_script": "Welcome to our product walkthrough. Today I will show you three key features.", "voice": "Puck (Male)", "voice_language": "English (US)", "resolution": "720p" }'

带自定义风格控制的示例: belt app run pruna/p-video-avatar --input '{ "image": "https://portrait.jpg", "voice_script": "This is exciting news!", "voice": "Aoede (Female)", "voice_prompt": "Enthusiastic and energetic tone", "video_prompt": "The person is presenting on stage with dramatic lighting", "resolution": "1080p" }'

改用音频文件的示例: belt app run pruna/p-video-avatar --input '{ "image": "https://portrait.jpg", "audio": "https://speech.mp3" }'

其他模型调用示例: belt app run bytedance/omnihuman-1-5 --input '{ "image_url": "https://portrait.jpg", "audio_url": "https://speech.mp3" }'

belt app run falai/fabric-1-0 --input '{ "image_url": "https://face.jpg", "audio_url": "https://audio.mp3" }'

belt app run falai/pixverse-lipsync --input '{ "image_url": "https://portrait.jpg", "audio_url": "https://speech.mp3" }'

组合工作流 1)生成肖像 + 虚拟形象:先用 pruna/p-image 生成图像(示例参数 prompt、aspect_ratio 如 9:16),再将返回的图像 URL 传给 pruna/p-video-avatar 配合内置 TTS 生成视频。 2)TTS + 虚拟形象(针对无内置 TTS 的模型):先用 inworld/text-to-speech-2 生成语音(示例参数 text、voice_id、delivery_mode),再把音频 URL 传给 OmniHuman 等模型。资料提示:多数场景直接用带内置 TTS 的 P-Video-Avatar 更简单;仅当需要 OmniHuman(多角色)或 PixVerse(真实口型同步)时才用该流程。 3)为视频配音成其他语言:先用 infsh/fast-whisper-large-v3 转录原视频,再翻译文本,然后用 infsh/kokoro-tts 生成新语言语音,最后用 infsh/latentsync-1-6 将原视频与新音频做口型同步。 4)UGC 内容生成:先用 pruna/p-image 生成 UGC 风格肖像,再用 pruna/p-video-avatar 配合内置 TTS 生成视频。资料称其优势为一体化、30 种声音与 10 种语言、可分别控制声音与视频提示、相比 Fabric/OmniHuman/HeyGen 快 18 倍且便宜 6 倍、支持 1080p 竖版。批量示例用 for 循环遍历不同 voice 值生成多个讲解人。

适用场景(资料列举) UGC 与营销(产品演示、AI 出镜广告);教育(课程视频、讲解);本地化(从一张图像配 10 种语言);社交媒体(一致的虚拟网红内容);企业(培训视频、公告);游戏(角色虚拟形象、NPC 对话)。

使用提示(资料原文要点) 使用高质量正脸、光照良好的肖像照片;音频应清晰、背景噪音尽量少;P-Video-Avatar 支持内置 TTS,无需单独生成语音;其输出宽高比与输入图像一致;用 pruna/p-image 生成肖像时可选 9:16 以制作竖版视频;OmniHuman 1.5 支持一张图像中有多人;LatentSync 最适合把已有视频同步到新音频。

相关技能安装命令 npx skills add inference-sh/skills@p-video-avatar npx skills add inference-sh/skills@infsh-cli npx skills add inference-sh/skills@text-to-speech npx skills add inference-sh/skills@speech-to-text npx skills add inference-sh/skills@ai-video-generation npx skills add inference-sh/skills@ai-image-generation

浏览视频应用:belt app list --category video

限制与未提供信息 资料未说明免费额度、订阅方式或除上述按秒计费外的其他定价细节;未给出各模型的分辨率上限、时长上限、并发限制或合规与版权条款;除示例参数外,是否支持其他参数、错误处理与结果获取方式(如流式进度)需参考其文档。上述未提及内容暂未提供。