SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场watch-video

watch-video

办公与效率

查看项目

更新于 10-24 16:23

技能介绍

用途

watch-video 用于从视频中提取内容，替代并扩展了此前的 youtube-transcript 技能。YouTube 现在只是众多来源之一，深度由用户控制。它适用于需要把视频转成可读文本、关键时刻记录或摘要的场景。

支持的来源

  • YouTube：完整 URL、youtu.be/<id>、youtube.com/shorts/<id>、11 位原始 ID
  • Loom：loom.com/share/<id> 或 loom.com/embed/<id>
  • Vimeo：vimeo.com/<id>
  • Riverside：下载 URL 或本地文件
  • Zoom：下载的本地 .mp4 录制
  • X / IG / TikTok 视频：URL，元数据交给 social-fetch，文件用 yt-dlp
  • 本地文件：任意 .mp4 / .mov / .webm / .mkv 路径

技能会根据 URL 模式或文件扩展名检测来源，若无法判断会询问。

三种深度模式

  • /watch-video <url>：transcript（默认），输出干净文本、元数据、可选章节
  • /watch-video <url> transcript：与默认相同
  • /watch-video <url> visual：转录 + 按间隔抽帧 + Claude 视觉识别关键时刻
  • /watch-video <url> multimodal：视频原生交给 Gemini（若设置了 $GEMINI_API_KEY），否则用密集 Claude 视觉逐帧分析

若未指定深度且视频超过 10 分钟，会先询问再默认，因为长视频的 visual/multimodal 会产生实际费用。

使用方式

  1. 解析输入来源与深度模式。
  2. 拉取元数据：URL 来源用 yt-dlp 获取标题、上传者、时长、上传日期、描述、章节；本地文件用 ffprobe 获取时长。
  3. 建立工作目录：~/Documents/videos/<source>-<slug>-<date>/。
  4. 获取转录：优先使用平台自带转录（YouTube 自动字幕、Loom 页面元数据或 Loom API、Riverside 内置转录）；否则回退到本地 MLX-Whisper（Mac M 系列默认），再回退到 whisper.cpp。URL 来源会先用 yt-dlp 下载 720p 视频。
  5. transcript 模式到此结束，输出 transcript.txt、metadata.json 和一行摘要。
  6. visual 模式：用 ffmpeg 按来源类型抽帧（屏幕共享/Loom/演示每 5 秒一帧，口播/播客每 30 秒一帧，幻灯片每 10 秒一帧并对场景变化强制抽帧，不确定时默认 15 秒），将帧与同时间窗转录配对后批量发送给 Claude 视觉，生成 moments.md 和 summary.md。
  7. multimodal 模式：若设置 $GEMINI_API_KEY，通过 Files API 上传视频并等待 ACTIVE，再用 Gemini 生成内容；否则用每 3 秒一帧的密集 Claude 视觉回退。输出与 visual 相同的 summary.md 模板，并增加多模态观察部分。
  8. 可选：将结果捕获到 second-brain，按来源类型写入 call-、meeting-、note- 或 resource- 前缀文件。
  9. 在聊天中报告一行标题、工作目录路径、关键时刻、行动项/决策等。

适用场景

  • 从 YouTube、Loom、Vimeo、Riverside、Zoom 等视频中提取转录文本
  • 对屏幕共享、演示、播客、幻灯片进行关键时刻识别与摘要
  • 品牌审计、广告评审、演讲交付评审、客户通话解读等多模态分析
  • 与 social-fetch、second-brain、decide、pm、slide-deck、jab-hook、skillify from-video 等技能组合使用

限制与注意事项

  • 视频不可用/私密/区域锁定：报告并停止
  • 无字幕且未安装 Whisper：提示 pip install mlx-whisper（Mac）
  • 缺少 ffmpeg（visual/multimodal）：提示 brew install ffmpeg
  • 视觉分析返回空或不清晰：降低帧数、重试或回退到仅转录
  • 请求 multimodal 但无 $GEMINI_API_KEY 且视频超过 30 分钟：警告成本，提供回退到 visual 模式
  • 缺少 yt-dlp：提示 brew install yt-dlp
  • 长视频（>10 分钟）在 visual/multimodal 前始终确认
  • 平台转录优先，Whisper 其次；MLX-Whisper 本地是 Mac 上的快速路径
  • 720p 足够用于转录和帧分析
  • 幻灯片演示建议使用场景变化检测
  • multimodal 成本警告不可省略

暂未提供

关于收费、价格、平台支持范围、效果保证等具体信息，资料中未提供。