SuperAPI AI 工具集

narrated-video

设计与创作

查看项目

更新于 10-16 13:08

技能介绍

用途

narrated-video 用于制作带旁白的产品视频,包括发布视频、产品演示和教程。它的核心思路是:由真人对着故事板录制一段完整讲述,智能体负责剪辑这段素材,并把产品的真实截图动画化以匹配旁白。视频服从旁白,而不是让旁白去迁就画面。

主要能力

  • 将真人讲述与产品真实截图合成为带旁白的视频。
  • 让每个场景按旁白开场,让每次点击落在命名它的词上,让每次搜索逐字被打出。
  • 整个视频以代码形式组织:一份 HyperFrames 合成加上一份剪辑清单。
  • 支持两种剪辑级别:默认的轻剪(Restart、误起、修剪静音)和按需的“更少填充词”剪辑。
  • 支持并行构建多个版本(不同讲述、不同剪辑、不同场景顺序)。

使用方式

环境准备

需要在 PATH 中具备 ffmpeg、uv、Node 20+(含 npx,HyperFrames 0.8.62 通过 npx 运行),以及带 Chromium 的 Playwright 用于截图。支持 macOS、Linux 和 Windows。

Whisper 本地运行:Apple Silicon 上使用 mlx-whisper,其他地方使用 faster-whisper,uv run installs 会安装合适的那个。

工作流程

  1. Brief(简短沟通):确认视频格式(发布视频、功能演示或教程)、受众、三到四个必须传达的要点、行动号召、示例数据、品牌元素(背景图、片尾卡、标题栏中显示的 URL)。

  2. Capture(截图):用基于 $SK/capture.mjs 的 Playwright 脚本,以 1440x900、2x 抓取产品真实截图,包括逐键帧、点击前后状态、长截图和测量后的点击目标。不绘制 UI,不编辑像素。

  3. Storyboard(故事板):编写 storyboard.json,每个场景一张卡。构建并展示后可迭代,直到讲述者准备好录制。

  4. Record(录制):讲述者录制一段包含网络摄像头和声音的文件(QuickTime、Photo Booth、Windows Camera、OBS 等均可)。口误无妨,可以重说。多段录制也可,每段一个文件夹。

  5. Edit the take(剪辑素材):通过 probe.py、transcribe.py、analyze.py、trace.py、splicetest.py、jump.py、edit.py、build.py、master.py 等脚本完成探测、转录、分析、定位剪辑、拼接测试、生成 EDL、构建剪辑后的旁白和摄像头视频、母带处理到 -16 LUFS。每个剪辑都落在房间残响上并通过拼接测试。

  6. Compose to the words(按词合成):用 cues.py 生成 cue sheet,编写 video.py(参考 examples/openseo-launch/video.py),设置场景开场、相机层和与词语绑定的编排。场景在其第一个词前 0.3 秒开始;每个动作落在命名它的词上;首帧即海报;每个节拍一个短标签。

  7. Render and verify(渲染与验证):渲染、合成 1080p、运行 check、生成 filmstrip。只有检查通过(每帧都有窗口、摄像头偏移为 0、音频中位数 0 ms、约 -16 LUFS)并读过转录和看过 filmstrip 后才交付。

  8. Review and iterate(审查与迭代):把 mp4 路径、剪辑内容和需要留意的地方给到用户,保持 NOTES.md 更新。

硬性规则

只用真实屏幕;隐藏不属于故事的部分(横幅、cookie 提示),但绝不涂抹像素。渲染前检查截图和录制中是否有机密和个人数据。用户的录制和登录会话留在其本机;未被要求不得发布任何内容。

适用场景

  • 产品发布视频(含片尾卡在 2 分钟内)。
  • 功能演示。
  • 教程。
  • 需要多版本变体的视频(不同讲述、剪辑级别、场景顺序)。

限制

  • 需要用户在本地录制讲述视频,并可能需要手动登录应用。
  • 需要安装 ffmpeg、uv、Node 20+、带 Chromium 的 Playwright 等环境。
  • 涉及真实截图的隐私检查,需要人工确认。
  • 视频的 cue 位置需针对每次剪辑重新锚定,不能直接沿用示例。
  • 收费、价格等信息暂未提供。