SuperAPI AI 工具集

analyzing-video

设计与创作

查看项目

更新于 10-16 05:02

技能介绍

用途:分析视频文件,抽取帧、检测场景变化,并可选转写音频,最终产出带时间线的结构化 Markdown 分析文档。

主要能力:按视频时长自适应抽帧(短<1分钟2帧/秒、中1-3分钟1帧/秒、长3-10分钟1帧/10秒、超长10分钟以上1帧/20秒且上限60),生成蒙太奇网格图,检测场景变化并提取关键帧,派发并行子代理分别做视觉与音频分析,最后合成分析文档。

使用方式:依赖 ffmpeg、ffprobe、python3、bc,转写需 whisper CLI,安装命令为 brew install ffmpeg && pip install openai-whisper。工作流为:获取视频信息、抽帧与音频、校验输出、并行分析、合成文档、清理临时目录。核心脚本包括 scripts/video-info.sh、scripts/extract-frames.sh、scripts/extract-audio.sh。支持从用户请求识别覆盖项,如自定义帧率("5fps"→fps_override=5)、时间段("from 0:10 to 0:30"→start_time=10 end_time=30)。转写模式有 auto(默认运行 Whisper)、user-provided(使用用户提供的转写)、skip(仅视觉)。

适用场景:需要快速理解视频内容、生成时间线摘要与场景分析时使用。

限制与注意事项:社交媒体下载的视频可能把 MJPEG 缩略图作为视频流 0,脚本会自动跳过 attached_pic 流;macOS grep 缺少 -P,脚本用 sed 和基础 grep;FFmpeg 会把输出文件名中的 . 当作图像序列模式,关键帧抽取用 -update 1;竖屏视频用 3x5 网格;场景检测阈值默认 0.3,静态内容可降至 0.1,快速动作可升至 0.4;派发分析代理前须确认抽帧已产出。其他细节暂未提供。