SuperAPI AI 工具集

video-analyzer

数据与分析

查看项目

更新于 10-26 17:18

技能介绍

video-analyzer 是一个面向视频文件分析的技能,重点在于从已有视频中提取结构化信息。其核心思路是先用 FFmpeg 完成机械性处理(抽帧、场景检测、音频分析),再用 AI 视觉模型完成语义理解(识别 UI 组件、读取文字、提取颜色、理解布局)。

用途

该技能适用于以下场景:按固定间隔或场景边界从视频中提取帧;分析视频元数据(分辨率、时长、编解码器、码率);检测场景变化并列出时间戳;从视频内容中提取色彩方案或设计系统;分析音轨(静音检测、音量水平、波形);分析运动或动画时序;使用 AI 视觉逐帧理解视频内容;生成缩略图或预览条。

不适合用于:从零创建或编辑视频、编写视频脚本或故事板、实时视频流处理、视频编码或转码分发。

主要能力

  1. 元数据检查:使用 ffprobe 以 JSON 格式输出视频的格式、流、分辨率、帧率、编解码器、总帧数等信息。
  2. 帧提取:支持按场景变化阈值提取关键帧、按固定间隔(如每秒一帧或每五秒一帧)提取、仅提取 I 帧、提取特定时间戳的单帧或首帧。
  3. 场景检测:通过像素差异评分(0.0 到 1.0)识别场景边界,可列出场景变化时间戳、输出每帧场景评分或统计场景变化次数。
  4. 音频分析:检测静音区间(可调噪声阈值和最短持续时间)、生成音频波形图、分析音量水平、生成音频频谱图。
  5. AI 视觉分析:提取帧后使用 Read 工具加载图像,逐帧分析颜色(主色、背景色、强调色)、排版(字号、字重、行高、标题层级)、布局(网格、间距节奏、边距)、组件(按钮、卡片、导航、表单)和动画状态,并汇总为结构化设计系统或内容分析。
  6. 设计系统提取:针对产品演示或 UI 走查视频,结合场景帧和固定间隔帧,输出包含颜色、排版、间距和组件清单的 JSON 设计系统。

使用方式

该技能以技能文件形式提供,包含操作说明和 FFmpeg 命令示例。核心工作流为:先用 ffprobe 探测视频属性,再用 FFmpeg 的 select 滤镜和 showinfo 滤镜按场景阈值抽帧,然后用 Read 工具逐帧加载图像进行 AI 视觉分析,最后汇总结果。技能强调始终先探测再处理、分离抽帧与语义分析、使用 JSON 输出、注意磁盘空间,并对 select 滤镜配合 -vsync vfr 以避免重复帧。场景检测阈值建议从 0.3 到 0.4 开始,根据内容调整;AI 视觉分析每轮限制在 10 到 20 个代表性帧以内。

技能附带参考文件(references/ffmpeg-recipes.md 和 references/vision-analysis-prompts.md),仅在任务需要时加载。首次激活时会检查配套技能安装情况,并提供安装命令:npx skills add AbsolutelySkilled/AbsolutelySkilled --skill <name>。

适用场景

适合需要从视频中提取设计规范、分析视频内容结构、生成视频预览素材、检测音频静音区间或逐帧理解视觉内容的开发者和设计人员。

限制

不处理视频创建、编辑、脚本编写、实时流或转码分发。场景检测阈值需根据内容调整,动画或屏幕录制可能需要更高阈值。ffprobe 精确计数帧较慢,长视频建议使用流元数据估算。批量抽帧可能占用大量磁盘空间,建议使用 JPEG 并清理临时文件。AI 视觉分析受上下文限制,应控制帧数量。