用途
Video Toolkit 用于从一段文本简报自动创建专业解说视频。它结合云端 GPU 上的开源 AI 模型(配音、图像生成、音乐、说话头像动画)与 Remotion(React)进行合成和渲染,适合制作产品演示、营销解说、Sprint 回顾等视频。
主要能力
- AI 配音:使用 Qwen3-TTS 按场景生成语音,支持多种说话人(Ryan、Aiden、Vivian、Serena、Uncle_Fu、Dylan、Eric、Ono_Anna、Sohee)和语气(neutral、warm、professional、excited、calm、serious、storyteller、tutorial),也支持基于参考录音的语音克隆。
- 图像生成:使用 FLUX.2 生成场景图像,支持预设(title-bg、problem、solution、demo-bg、stats-bg、cta、thumbnail、portrait-bg)或自定义提示词与尺寸。
- 背景音乐:使用 ACE-Step 生成音乐,提供 corporate-bg、upbeat-tech、ambient、dramatic、tension、hopeful、cta、lofi 等预设。
- 视频片段:使用 LTX-2 生成 B-roll、动画背景或片头片尾,支持文生视频与图生视频。
- 说话头像:使用 SadTalker 生成讲解员视频,需先生成人物肖像,再按场景生成片段。
- 图像编辑与放大:使用 Qwen-Edit 修改图像,使用 RealESRGAN 放大图像。
- 视频合成:基于 Remotion 的模板(product-demo、sprint-review、sprint-review-v2)进行场景编排与渲染。
使用方式
- 环境准备:工具包固定位于
~/.openclaw/workspace/claude-code-video-toolkit,所有命令必须在该根目录执行。运行python3 tools/verify_setup.py检查状态,安装 Python 依赖pip3 install --break-system-packages -r tools/requirements.txt。 - 配置云端 GPU:在
.env中配置 Modal 端点 URL。若未配置,需安装 Modal(pip3 install --break-system-packages modal)、运行python3 -m modal setup认证,并部署各工具(如modal deploy docker/modal-qwen3-tts/app.py等),将输出的端点 URL 写入.env。LTX-2 部署前需创建 HuggingFace 密钥并接受 Gemma 3 许可。可选配置 Cloudflare R2 用于文件传输。 - 创建项目:从模板复制,如
cp -r templates/product-demo projects/PROJECT_NAME,进入项目目录运行npm install。 - 编写配置:编辑
src/config/demo-config.ts,定义产品信息、场景(title、problem、solution、demo、feature、stats、cta)及音频设置。时长估算公式为ceil(word_count / 2.5) + 2。 - 编写配音脚本:创建
VOICEOVER-SCRIPT.md,每场景词数预算为(durationSeconds - 2) * 2.5。 - 生成素材:在工具包根目录运行各工具命令,逐场景生成音乐、配音、图像,可选生成视频片段、说话头像、编辑或放大图像。
- 同步时长:用 ffprobe 获取实际音频时长,将每个场景的
durationSeconds更新为ceil(实际音频时长 + 2)。 - 检查与渲染:用
npx remotion still检查静帧,然后在项目目录运行npm run render,输出out/ProductDemo.mp4。
适用场景
- 产品营销与功能解说视频
- Sprint 回顾视频
- 需要 AI 配音、图像、音乐和讲解员头像的自动化视频制作
限制
- 所有工具命令必须在工具包根目录执行,不能在项目目录内运行。
- 配音必须按场景生成独立 MP3 文件,不能生成单个长文件。
- SadTalker 必须使用
--preprocess full和--still,并按场景生成 6-15 秒片段。 - Remotion 中必须使用
<OffthreadVideo>,不能使用<video>。 - LTX-2 每片段最长约 8 秒,宽高需被 64 整除,约 30% 生成可能带有训练数据痕迹,需用
--seed重试。 - 冷启动可能耗时 30-120 秒。
- 成本:Modal 提供每月 30 美元免费算力,典型 60 秒视频约 1-3 美元。
- 具体收费、价格、平台支持等以官方最新信息为准,本文未提供的细节暂未提供。