SuperAPI AI 工具集

watch-video

智能体与模型

查看项目

更新于 10-24 16:37

技能介绍

用途 watch-video 用于让 Claude 真正“观看”在线视频,而不仅是阅读转写文本。多数工具只读取字幕,会遗漏画面信息;该技能同时提供画面帧与语音文字,并按同一时间轴对齐,因此可以围绕剪辑、屏幕文字、演示和节奏进行推理。

主要能力

  • 从 URL 下载视频。资料称支持 YouTube、Instagram、X、Vimeo 以及 1000 多个 yt-dlp 站点。
  • 抽取采样画面帧,并生成转写文本。
  • 输出三部分内容:watch_out/frames/f000.jpg 等按索引命名的采样帧;watch_out/transcript.txt 口播文字;watch_out/index.json,格式为 [{frame, t, file}],把每一帧映射到时间戳。
  • 结合画面与音频进行回答,可用于摘要、拆解、钩子分析、学习笔记或重新撰写脚本。
  • 支持结构化拆解:钩子(开头约 3 秒的画面与台词及留人原因)、形式(口播、无人物动效、录屏、分屏等,以及字幕和屏幕文字用法)、叙事结构(逐段列出场景或想法、时间戳和画面变化)、节奏(平均节拍长度、剪辑节奏、加速或放缓位置)、视觉布局(构图、文字位置、图形技巧、b-roll 与演示)以及完整口播转写。
  • 批量分析:一次传入多个 URL,输出到 batch_out/v01、v02 等目录,每个视频包含帧、转写和索引,另有 batch_out/batch.json 清单;随后可跨视频比较,发现共同钩子形态、节拍长度、结构与视觉手法等模式。

使用方式 当用户给出视频 URL 时,运行: python scripts/watch.py "<VIDEO_URL>" --out watch_out 可用参数包括:--max-frames 60(限制帧数)、--no-whisper(仅用平台字幕,完全免费离线)、--every 0(按时长自动调整采样节奏)。随后用 Read 工具读取帧图片,并结合 transcript.txt,按 index.json 对齐每一帧与对应时间的口播内容,再回答用户请求。批量模式示例: python scripts/watch.py "<url1>" "<url2>" "<url3>" --out batch_out

适用场景 适合需要理解视频画面与语音的综合分析任务,例如视频内容摘要、逐段拆解、钩子分析、学习笔记、脚本仿写参考,以及多视频趋势对比。

限制与说明 平台有字幕时优先使用字幕(免费);否则回退到本地 faster-whisper(同样免费,运行于 CPU)。传入 --no-whisper 可完全跳过转写。对于长视频,帧会按时长稀疏采样,以控制视觉处理所需的帧数。资料未提供具体收费、价格、平台覆盖的完整列表或效果保证,这些事实暂未提供。