SuperAPI AI 工具集

video-digest-slides

设计与创作

查看项目

更新于 10-16 09:29

技能介绍

用途:从视频摘要素材中提取并筛选幻灯片图像。输入为 <item_dir> 目录,内含 manifest.json 和 sessions/*.md(带时间戳的亮点)。需要 Pillow;缺失时可用 uv run --with pillow 安装。

主要能力与使用方式:先运行确定性脚本生成帧与拼图: python3 scripts/vd_frames.py <item_dir> 生成 frames/<stem>/hNN_{0,1,2}.jpg 与 highlights.json;帧宽 960px,每个亮点取 −5/0/+5 秒偏移。

python3 scripts/vd_montage.py <item_dir> 生成 montages/<stem>_pN.jpg 与 montages/index.json;拼图网格以亮点为行、3 列候选,标注 hNN:j HH:MM:SS,每页 8 行。

随后进行视觉 LLM 步骤(约 5 个演讲/智能体分发,使用便宜模型):Select 阶段依据 references/select-prompt.md(haiku/sonnet),读取拼图,为每个亮点选出属于本演讲且清晰可读的候选 j(0/1/2),否则 null(演讲者、观众、转场、赞助墙等),写入 frames/sel_<stem>.json,格式为 {"0": j|null, ...}。Verify 阶段依据 references/verify-prompt.md(sonnet),用全分辨率对照亮点文本复核每个选择,修正或置 null,并覆盖 sel_<stem>.json;不要跳过,因为便宜的 Select 容易多选。

适用场景:带亮点时间戳的视频摘要流程,尤其希望自动获取幻灯片截图时。限制:炉边谈话或无幻灯片演讲中全为 null 是正确的,摘要将只渲染文字要点;具体价格、平台支持与更多效果资料暂未提供。