SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场ai-avatar-video

ai-avatar-video

设计与创作

查看项目

更新于 10-16 10:39

技能介绍

本技能用于通过 inference.sh 命令行工具（belt CLI）创建 AI 数字人（avatar）与口播（talking head）视频。

【安装与准备】 先安装 belt CLI 技能：npx skills add belt-sh/cli 使用需要 inference.sh CLI（belt），并执行登录：belt login

【推荐模型】 推荐使用 P-Video-Avatar（应用 ID：pruna/p-video-avatar），资料称其为速度最快、成本最低，并内置 TTS，支持动态背景与 1080p。快速开始示例： belt app run pruna/p-video-avatar --input '{ "image": "https://portrait.jpg", "voice_script": "Hello, welcome to our product demo!", "voice": "Zephyr (Female)" }'

【可用模型】

  • P-Video-Avatar（pruna/p-video-avatar）：资料称为综合最佳（速度、成本、质量、控制力），内置 TTS（30 种声音、10 种语言）。
  • OmniHuman 1.5（bytedance/omnihuman-1-5）：适合多人、音频驱动；无内置 TTS，支持指定多人图片中驱动哪一个角色。
  • Fabric 1.0（falai/fabric-1-0）：图片配合唇形同步说话；内置 TTS。
  • PixVerse Lipsync（falai/pixverse-lipsync）：高度真实的口型同步；无内置 TTS。

【速度与成本对比】（资料提供）

  • P-Video-Avatar：约 1.83s/秒视频，$0.025/秒。
  • OmniHuman 1.5：约 28s/秒（慢 15 倍），$0.16/秒（贵 6.4 倍）。
  • Fabric 1.0：约 34s/秒（慢 18 倍），$0.14/秒（贵 5.6 倍）。

【主要能力与用法】

  1. P-Video-Avatar：可用肖像图 + 文本脚本配合内置 TTS 生成；可指定 voice、voice_language、resolution（如 720p/1080p）；可用 voice_prompt 控制语气（如热情有活力），用 video_prompt 控制画面（如舞台上演讲、戏剧化打光）；也可用音频文件替代 TTS。
  2. 完整工作流：先用 pruna/p-image 生成肖像（可设 aspect_ratio 为 9:16 用于竖屏），再用 P-Video-Avatar 生成口播视频。
  3. OmniHuman 1.5：输入 image_url 与 audio_url；支持多人图片中指定驱动角色。
  4. Fabric 1.0：输入 image_url 与 audio_url，实现图片说话。
  5. PixVerse Lipsync：输入 image_url 与 audio_url。
  6. 非内置 TTS 模型的完整工作流：先用 TTS 生成语音（示例用 inworld/text-to-speech-2，支持 voice_id、delivery_mode 等），再驱动 OmniHuman 或 PixVerse。资料提示：多数场景用 P-Video-Avatar 的内置 TTS 更简单。
  7. 多语言配音工作流：先用 infsh/fast-whisper-large-v3 转录原视频，再翻译文本，用 infsh/kokoro-tts 生成新语言语音，最后用 infsh/latentsync-1-6 对原视频做唇形同步。
  8. UGC 头像内容：用 pruna/p-image 生成生活化肖像，再用 P-Video-Avatar 配合 voice_prompt 与 video_prompt 生成 UGC 风格视频；资料称其一体化、无需单独生成音频、18 倍速度与 6 倍成本优势、支持 1080p 竖屏。
  9. 批量 UGC：可用 shell 循环为同一产品生成多个不同声音的讲述者。

【适用场景】 UGC 与营销（产品演示、AI 讲述者 UGC 广告）、教育（课程视频、讲解）、本地化（用一张图配音成 10 种语言）、社交媒体（稳定的虚拟网红内容）、企业（培训视频、公告）、游戏（角色头像、NPC 对话）。

【使用提示】 使用高质量正面、光照良好的肖像照片；音频应清晰、尽量无背景噪声；P-Video-Avatar 支持内置 TTS，无需单独语音生成步骤；其输出宽高比与输入图片一致；生成肖像时用 pruna/p-image 并选择 9:16 便于做竖屏视频；OmniHuman 1.5 支持一张图多人；LatentSync 最适合把已有视频同步到新音频。

【相关技能】

  • 专用 P-Video-Avatar 技能：npx skills add inference-sh/skills@p-video-avatar
  • 全平台技能（所有应用）：npx skills add inference-sh/skills@infsh-cli
  • 文本转语音：npx skills add inference-sh/skills@text-to-speech
  • 语音转文本：npx skills add inference-sh/skills@speech-to-text
  • 视频生成：npx skills add inference-sh/skills@ai-video-generation
  • 图像生成：npx skills add inference-sh/skills@ai-image-generation

【其它】 浏览全部视频应用：belt app list --category video 文档包含：Running Apps（如何通过 CLI 运行应用）、Content Pipeline Example（构建媒体工作流）、Streaming Results（实时进度更新）。