SuperAPI AI 工具集

video-perception

设计与创作

查看项目

更新于 10-15 23:35

技能介绍

用途:通过 claude-video-vision MCP 服务器让 AI 理解视频,支持本地视频文件(.mp4、.mov、.avi、.mkv、.webm)和 YouTube URL,用于观看、分析、审阅视频内容。

主要能力:video_info 获取时长、分辨率、是否有音频等元数据;video_analyze 用 ffmpeg 滤镜分析场景切换、静音、运动、冻结、模糊、曝光、响度等结构信息;video_watch 提取帧并处理音频,支持按片段设置不同 FPS 与分辨率;video_detail 深入特定片段,分离提取与查看;video_configure 修改后端、分辨率、enable_index 等设置;video_setup 检查或安装依赖。

使用方式:先调用 video_info;YouTube URL 可直接作为 path 传入,服务器用 yt-dlp 下载,优先使用 YouTube 字幕或自动字幕转写,缺失时回退到配置的音频后端。超过 30 秒的视频必须先调用 video_analyze 再提取帧,并按用户意图选择滤镜,有音频时通常包含 transcription。随后用 video_watch 提取帧:短于 2 分钟用 fps: "auto" 且不设 view_sample;长视频按分析数据分段、使用可变 FPS 和 view_sample 控制初始帧数。需要细节时用 video_detail,从 3-5 秒窗口开始,view_sample: 3 预览首中尾帧,再按时间戳请求更多帧,避免一次查看全部帧。同一视频的追问应复用已有 manifest,不重复提取或请求相同分辨率的帧。

参数要点:fps 可用 auto、原始帧率、5-10 或 0.1-0.5;resolution 256-512 快速扫描,512-768 常规分析,1024+ 读取屏幕文字;segments 可覆盖全局 fps 与时间范围;view_sample 返回等间隔帧;skip_audio 仅需视觉时设为 true。

限制:依赖 ffmpeg、yt-dlp 等外部工具与 MCP 服务器环境;自动字幕可能存在识别错误;帧提取与查看需控制数量以避免上下文过载;具体安装命令、收费与平台支持资料暂未提供。