SuperAPI AI 工具集

video-toolkit

设计与创作

查看项目

更新于 10-15 02:08

技能介绍

用途

Video Toolkit 用于从一段文本简报自动创建专业解说视频。它结合云端 GPU 上的开源 AI 模型(配音、图像生成、音乐、说话头像动画)与 Remotion(React)进行合成和渲染,适合制作产品演示、营销解说、Sprint 回顾等视频。

主要能力

  • AI 配音:使用 Qwen3-TTS 按场景生成语音,支持多种说话人(Ryan、Aiden、Vivian、Serena、Uncle_Fu、Dylan、Eric、Ono_Anna、Sohee)和语气(neutral、warm、professional、excited、calm、serious、storyteller、tutorial),也支持基于参考录音的语音克隆。
  • 图像生成:使用 FLUX.2 生成场景图像,支持预设(title-bg、problem、solution、demo-bg、stats-bg、cta、thumbnail、portrait-bg)或自定义提示词与尺寸。
  • 背景音乐:使用 ACE-Step 生成音乐,提供 corporate-bg、upbeat-tech、ambient、dramatic、tension、hopeful、cta、lofi 等预设。
  • 视频片段:使用 LTX-2 生成 B-roll、动画背景或片头片尾,支持文生视频与图生视频。
  • 说话头像:使用 SadTalker 生成讲解员视频,需先生成人物肖像,再按场景生成片段。
  • 图像编辑与放大:使用 Qwen-Edit 修改图像,使用 RealESRGAN 放大图像。
  • 视频合成:基于 Remotion 的模板(product-demo、sprint-review、sprint-review-v2)进行场景编排与渲染。

使用方式

  1. 环境准备:工具包固定位于 ~/.openclaw/workspace/claude-code-video-toolkit,所有命令必须在该根目录执行。运行 python3 tools/verify_setup.py 检查状态,安装 Python 依赖 pip3 install --break-system-packages -r tools/requirements.txt。
  2. 配置云端 GPU:在 .env 中配置 Modal 端点 URL。若未配置,需安装 Modal(pip3 install --break-system-packages modal)、运行 python3 -m modal setup 认证,并部署各工具(如 modal deploy docker/modal-qwen3-tts/app.py 等),将输出的端点 URL 写入 .env。LTX-2 部署前需创建 HuggingFace 密钥并接受 Gemma 3 许可。可选配置 Cloudflare R2 用于文件传输。
  3. 创建项目:从模板复制,如 cp -r templates/product-demo projects/PROJECT_NAME,进入项目目录运行 npm install。
  4. 编写配置:编辑 src/config/demo-config.ts,定义产品信息、场景(title、problem、solution、demo、feature、stats、cta)及音频设置。时长估算公式为 ceil(word_count / 2.5) + 2。
  5. 编写配音脚本:创建 VOICEOVER-SCRIPT.md,每场景词数预算为 (durationSeconds - 2) * 2.5。
  6. 生成素材:在工具包根目录运行各工具命令,逐场景生成音乐、配音、图像,可选生成视频片段、说话头像、编辑或放大图像。
  7. 同步时长:用 ffprobe 获取实际音频时长,将每个场景的 durationSeconds 更新为 ceil(实际音频时长 + 2)。
  8. 检查与渲染:用 npx remotion still 检查静帧,然后在项目目录运行 npm run render,输出 out/ProductDemo.mp4。

适用场景

  • 产品营销与功能解说视频
  • Sprint 回顾视频
  • 需要 AI 配音、图像、音乐和讲解员头像的自动化视频制作

限制

  • 所有工具命令必须在工具包根目录执行,不能在项目目录内运行。
  • 配音必须按场景生成独立 MP3 文件,不能生成单个长文件。
  • SadTalker 必须使用 --preprocess full 和 --still,并按场景生成 6-15 秒片段。
  • Remotion 中必须使用 <OffthreadVideo>,不能使用 <video>。
  • LTX-2 每片段最长约 8 秒,宽高需被 64 整除,约 30% 生成可能带有训练数据痕迹,需用 --seed 重试。
  • 冷启动可能耗时 30-120 秒。
  • 成本:Modal 提供每月 30 美元免费算力,典型 60 秒视频约 1-3 美元。
  • 具体收费、价格、平台支持等以官方最新信息为准,本文未提供的细节暂未提供。