SuperAPI AI 工具集

watch

智能体与模型

查看项目

更新于 10-16 03:14

技能介绍

用途:让没有视频输入的智能体获得视频输入能力,可处理 URL、直播流或本地路径的视频,并基于帧、OCR 与转录内容回答问题或做总结。它是 watch-skill CLI 的薄封装,逻辑都在引擎中,因此在 Claude Code、Codex、Cursor 等平台上表现一致。

主要能力:首次调用需先运行 watch-skill doctor --json 做预检,退出码为 0 则静默继续;非 0 时 JSON 会列明失败项与修复方法,doctor 可在 Windows/macOS/Linux 自动引导安装 ffmpeg 与 yt-dlp。若 watch-skill 不在 PATH,可用 pip install watch-skill 或 uv tool install watch-skill 安装后重跑 doctor。采集、转录、OCR、索引与搜索均无需 API key,转录回退到本地 faster-whisper。支持 1800+ 个 yt-dlp 支持的站点、直链媒体、HLS/DASH 清单(--duration 60 可界定直播流)和本地文件。

使用方式:watch-skill watch "<source>" [--start T --end T] [--max-frames N] [--transcript-only]。--start/--end 支持 SS、MM:SS、HH:MM:SS,用于对某窗口密集采样;--timestamps 可在转录标记的时刻固定帧;--transcript-only 跳过帧(最快,有字幕时不下载视频);--max-frames N 收紧 token 预算(默认按时长分级,硬上限 100,最高 2 fps)。报告会打印 Indexed: video_id 行、带时间戳的帧、OCR 文本和转录。随后应一次并行读取报告中列出的所有帧路径,再结合帧、OCR、转录并引用时间戳作答。

追问可复用索引:watch-skill ask <video_id> "<question>",watch-skill search "<phrase>" 可跨所有看过的视频搜索。ask 以文本优先回答,带时间戳证据、置信度和节省 token 数,不确定时会自动升级(密集重采样、缩放裁剪重新 OCR),并会在视频看不明时明确拒绝——不应越过该拒绝编造答案。用户纠正答案时,可用 watch-skill lessons add <video_id> "<question>" "<wrong answer>" "<correction>" 本地记录。

THE LOOP 用于迭代自身输出:watch-skill loop start "url-or-screen:-or-file" "<pass criteria>" [--script '<json steps>'],随后改代码,再 watch-skill loop iterate <loop_id>。critique 返回带时间戳的结构化问题与修复建议,循环只观察,代码由用户修改,通过后渲染前后对比 MP4+GIF。watch-skill capture "<target>" 只录制不评审。

限制与安全:视频文件永不离开本机;仅当显式使用 --cloud-stt 时才会把提取的单声道 16kHz 音频上传到云端 STT。不使用 cookie 和登录,只请求公开数据;API key 存于环境变量或 .env,不会被记录或回显;下载缓存位于 ~/.watch-skill/cache,按 LRU 且有大小上限。云 STT 为可选项,视觉合成与验证可使用用户已有的 Anthropic、OpenAI、Gemini 或 OpenRouter key,或可选的本地 Ollama 模型。除上述资料外,其他细节暂未提供。