SuperAPI AI 工具集

video-use

智能体与模型

查看项目

更新于 10-29 04:36

技能介绍

用途 video-use 是 browser-use 开源的对话式视频剪辑工具(skill),供 Claude Code、Codex 等编程智能体调用,用自然语言对原始多take视频素材进行剪辑。它不把成千上万帧画面直接送进模型上下文,而是读取一份紧凑的词级转写文件 takes_packed.md(约 12KB,来自 ElevenLabs Scribe),仅在需要判断的节点通过 timeline_view(胶片条、波形与词标签合成的 PNG)查看画面。用户素材保持原样,所有输出写入 <videos_dir>/edit/。

主要能力

  • 通过自然对话完成多take素材的剪辑。
  • 剔除填充词(umm、uh、口误、起头重来)与take之间的空白。
  • 对片段自动调色,可用暖色电影感、中性有力或自定义 FFmpeg 链。
  • 在片段边界加 30ms 音频淡入淡出,避免爆音。
  • 生成并烧录自定义样式字幕(两词大写分块、卡拉OK、下三分之一等)。
  • 通过并行子智能体添加由 HyperFrames、Remotion、Manim 或 PIL 生成的动画叠加层。
  • 在 <videos_dir>/edit/project.md 中保存多轮剪辑上下文与决策。

使用方式

  1. 环境检查:确认 ffmpeg、ffprobe 在 PATH 中;设置 ELEVENLABS_API_KEY(环境变量或 video-use 仓库根的 .env);在 video-use 工作区内用 uv sync 或 pip install -e . 安装依赖;确认目标目录存在原始素材(ls -la /path/to/raw/videos)。
  2. 转录:python helpers/transcribe_batch.py /path/to/raw/videos 批量并行转录;python helpers/pack_transcripts.py --edit-dir /path/to/raw/videos/edit 打包成短语级 Markdown;阅读 takes_packed.md 查看口播take、说话人轮次与静音间隙。
  3. 对话与方案:与用户确认目标时长、画幅(16:9 或 9:16)、节奏、必须保留的片段与视觉风格,形成 4–8 句剪辑策略(take 选择、切点方案、字幕样式、叠加层位置),待用户确认后再生成剪辑清单或渲染。
  4. 执行剪辑:产出 edl.json 并渲染,需遵守硬性规则——字幕在滤镜链最后烧录;逐段提取调色后用 -c copy 无损拼接;每个片段边界加 30ms 音频淡入淡出;叠加层用 setpts=PTS-STARTPTS+T/TB 平移起点;主 SRT 时间戳对齐输出时间线;切点吸附到词边界,不在词中间切;切边加 30–200ms 余量吸收 ASR 漂移。预览命令:python helpers/render.py /path/to/raw/videos/edit/edl.json -o /path/to/raw/videos/edit/preview.mp4 --preview --build-subtitles。
  5. 自检:对渲染结果在切点附近(±1.5s)运行 timeline_view.py,检查跳切、波形尖峰(爆音)、字幕遮挡;用 FFmpeg ebur128 检查响度;修复后重渲染,自检最多 3 轮。

适用场景 多take口播或教程素材的对话式精剪、去口癖与空白、自动调色、样式化字幕、动画叠加、跨会话延续剪辑决策。

限制与不适用场景 播客、网络研讨会等长视频的 9:16 竖屏高光切片并跟踪说话人,应使用 autoclip;按主题或关键词用素材库与 TTS 从零生成短视频,应使用 moneyprinter-turbo;用 Remotion 从零构建代码优先的 React 视频合成,应使用 video-production;用 2.5D 页面相机配方卡制作产品发布宣传片,应使用 video-shotcraft;驱动原生 Rust 非线性视频编辑器 GUI 或 MCP 服务器,应使用 filmcraft 或 palmier-pro。本技能依赖 ffmpeg/ffprobe 与 ElevenLabs 转录,其他平台与收费细节暂未提供。