用途:Claude 无法直接解析视频,本技能通过 vcsi(Video Contact Sheet Generator)从视频中采样帧并排成网格,将时序运动转换为可空间比较的静态图像,从而理解视频内容、追踪运动、识别对象并分析行为。
工具与安装:工具为 vcsi,位于 ~/.local/bin/vcsi,安装命令 pipx install vcsi(资料标注已安装)。
基本命令: 总览故事板(4x4 网格,全片 16 帧):vcsi /path/to/video.mp4 -g 4x4 -o output.png 密集时间缩放:vcsi /path/to/video.mp4 -g 4x4 -s 16 --start-delay-percent 0 --end-delay-percent 0 -o dense.png 聚焦时间窗口:vcsi /path/to/video.mp4 -g 4x4 -s 16 --start-delay-percent 40 --end-delay-percent 60 -o zoom.png
关键参数:-g 4x4 网格布局(4 列 × 4 行 = 16 帧);-s 16 采样数量;--start-delay-percent X 跳过开头 X%;--end-delay-percent X 跳过结尾 X%;-o filename.png 输出路径。
可追踪内容:总览间距(约 30 秒以上/帧)可看整体内容与活动模式、发现值得深入的时刻,但难以追踪具体动作;密集间距(约 4 秒/帧)可看主要移动、位置变化、物种识别与行为序列(进食、饮水、理毛);极密间距(约 1 秒或更短)可做细致动作与精细行为追踪。
两阶段工作流:先生成全片 4x4 总览网格,检视帧找到有趣活动;再对特定时间窗生成密集故事板做详细分析。
适用场景(已验证):野生动物摄像头素材中的物种识别、行为追踪、访客模式比较,例如通过总览发现花园鸟类访客,密集缩放显示知更鸟特征(修正最初“乌鸫”的判断),乌鸫片段显示在水盆中 8 帧后离开。
技巧:始终先做总览,再针对有趣片段密集采样;密度匹配内容(慢场景需低密度,快动作需高密度);比较各帧以识别跨时间模式;迭代执行总览→识别→缩放→分析。
技术说明与限制:输出为可用标准图像工具查看的 PNG;帧间距基于视频时长与采样数自动计算;支持 ffmpeg 支持的任意视频格式(mp4、webm、avi 等);可分段处理长视频以避免上下文过载。帧与帧之间的快速动作仍可能被遗漏。