用途:把视频转成可用的文字与要点,支持 YouTube、Loom、Vimeo、Riverside、Zoom 录像、本地 mp4/mov/webm/mkv,以及 X/IG/TikTok 等 yt-dlp 支持的来源。先解析输入判断来源,再按用户指定的深度处理。
主要能力与三种模式:默认 transcript 输出干净文本、元数据与章节;visual 在转录基础上按间隔抽帧并用 Claude 视觉分析关键画面,输出 moments.md 与 summary.md;multimodal 将原生视频交给 Gemini(需 $GEMINI_API_KEY),否则退回密集抽帧视觉分析,并获得体态、节奏、视觉风格、音质等观察。长于 10 分钟的视频在使用 visual/multimodal 前会先确认,因为成本较高。
使用方式:/watch-video <url> 使用默认转录,或加 transcript、visual、multimodal 指定深度。元数据通过 yt-dlp --print 获取,本地文件用 ffprobe。工作目录建在 ~/Documents/videos/<source>-<slug>-<date>/。转录优先使用平台自带字幕,其次本地 MLX-Whisper(Apple Silicon,pip install mlx-whisper),其他平台用 faster-whisper 或 whisper.cpp。下载默认 yt-dlp -f "bv*[height<=720]+ba/b[height<=720]"。抽帧用 ffmpeg,演示类每 5 秒、口播类每 30 秒、幻灯片每 10 秒并用 select='gt(scene,0.3)' 捕捉场景切换,不确定时默认 15 秒。
限制:需要 yt-dlp、ffmpeg 等外部依赖,缺失时按提示安装;私有、区域受限或不可用视频会直接报错停止;无字幕且未装 Whisper 时会提示安装;视觉分析结果不清时可降低帧数或退回纯转录。资料未提供收费、平台账户要求或效果保证等信息。