SuperAPI AI 工具集

video-understand

设计与创作

查看项目

更新于 10-15 18:31

技能介绍

用途:在本地理解视频内容,通过 ffmpeg 抽帧和 Whisper 转写,全程离线,无需 API 密钥。

主要能力:支持三种抽帧模式——scene(默认,按场景变化检测,阈值 select='gt(scene,0.3)')、keyframe(提取 I 帧)、interval(按视频时长与最大帧数均匀采样);scene 模式未检测到场景变化时自动回退到 interval。可限制保留帧数(默认 20),可选择 Whisper 模型(tiny、base、small、medium、large,默认 base),可跳过音频转写仅抽帧,可静默输出纯 JSON,也可将结果写入文件。输出 JSON 包含视频路径、时长、分辨率、模式、帧列表(路径、时间戳)、帧数、转写片段与全文。

使用方式:需先安装 ffmpeg 与 ffprobe(brew install ffmpeg);转写为可选,需 pip install openai-whisper。基本命令:python3 skills/video-understand/scripts/understand_video.py video.mp4。可选参数:-m/--mode 指定模式,--max-frames 限制帧数,--whisper-model 指定模型,--no-transcribe 仅抽帧,-o/--output 输出到文件,-q/--quiet 仅输出 JSON。可用 Read 工具查看抽出的帧图片进行视觉理解。

适用场景:需要离线分析视频画面与语音内容、生成帧与转写结构化结果的场合。

限制:依赖本地 ffmpeg 与可选 Whisper 环境;转写质量与速度受所选 Whisper 模型影响;具体性能与效果资料未提供。