SuperAPI AI 工具集

video-digest

设计与创作

查看项目

更新于 10-16 09:29

技能介绍

用途:把视频(YouTube 播放列表、文件、多场次长视频流等)转化为可发布的摘要站点:概览卡片网格进入每场详情(TL;DR、“带到工作中去”的要点、幻灯片配字幕),可选双语切换与综述文章。由 AIE WF2026 流程泛化而来。

主要能力(阶段技能可组合):1 摄取 video-digest-ingest:源(URL/播放列表/文件夹)→ video.mp4、转录文本、每项 30 秒时间线。2 分段 video-digest-segment:仅用于多场次长视频流,时间线 → talks.json;单个视频由摄取自动生成 1 场 talks.json。3 总结 video-digest-summarize:转录切片 → sessions/.md、.take.json,可选 zh.json。4 幻灯片 video-digest-slides:亮点 → 候选帧 → 拼图 → 视觉挑选帧(sel_*.json)。5 建站 video-digest-site:全部产物 → index.html/dist/(可选综述),通过 here-now 或 Artifact 发布。

按来源形态路由:YouTube 播放列表/视频文件夹则每个视频作为独立条目(跳过分段),每组对应一个播放列表/文件夹;多场次长视频流视为一个条目再分段;单场演讲视频视为一个条目并跳过分段。

项目结构:digest.json 为配置(标题、品牌、受众、语言、slide_cap、术语表 glossary、非语音 nonspeech 等);groups/<group>/group.json 与 <item>/(source.json、video.mp4、transcript/、talks.json、manifest.json、highlights.json、zh.json、sessions/、frames/、montages/、clips/);dist/ 为发布站点;narrative.json 与 narrative.zh.json 为可选综述。所有文本字段可写字符串(仅英文)或 {"en":..., "zh":...}。audience 引导要点提示;languages 加 "zh" 启用繁中切换并需翻译步骤;slide_cap 限制每场嵌入幻灯片数(here.now 超过 1000 个文件会发布失败)。glossary/nonspeech 用于转录修正,建议先为空,读完试跑转录后填写。

工作流:先探测来源(统计视频数与总时长);估算下载约每小时视频 2–5 分钟(≤720p),mlx-whisper large-v3-turbo 在 Apple Silicon 上约 10–15× 实时,磁盘约每小时 0.5–1 GB。批量处理前先对单个条目端到端试跑(摄取→总结→幻灯片→建站),检查输出并修正配置后再批量。摄取应串行(并发 Whisper 会耗尽内存);LLM 阶段可按约 5 场/代理展开。综述默认每份摘要都做:全部演讲处理完后运行建站技能的语料步骤,用最强模型写 narrative.json,双语时另写 narrative.zh.json。站点构建后在浏览器检查并发布(文件夹用 here-now,单文件 ≤8MB 用 Artifact)。已处理条目记录在 <project>/ingested.json,重跑时跳过。模型分档:分段与校验用强模型(易出错,草率会漏掉演讲);总结、要点用 sonnet;幻灯片选择用 haiku/sonnet;幻灯片校验用 sonnet;翻译用 sonnet(有质量投诉才用 opus);综述用最强模型。每阶段按条目幂等,可单独重跑任一 LLM 阶段后重新建站。持续更新的播放列表/频道:重新探测,仅摄取未登记条目,重建并复用同一 slug/URL 重新发布。

限制:资料未提供具体安装命令、收费或价格信息;需按上述阶段技能与配置使用,多场次长视频流才需要分段,其他形态跳过;转录自动生成,人名准确率约 95%(示例值)。