SuperAPI AI 工具集

Agentic video understanding

设计与创作

查看项目

更新于 10-15 21:38

技能介绍

用途:把视频或音频理解当作一层可按需调用的能力。模型接收一个目标,自行决定看什么、以什么速度、通过哪种模态(画面、音频、转写文本),只抓取需要的片段,产出时间戳、引语与置信度。

它不是视频编辑器,不负责剪切、叠加、烧字幕、渲染、排期、发布、发邮件或写CRM,这些交给调用方或其他工具处理。

适用场景:销售通话挖掘(买方异议、下一步、竞品提及)、短视频评分(找3秒独立钩子及其出入点)、长视频或播客研究(指定人物与对比时刻)、人才评估(Loom或试录中的达标证据)、客户审计(发现录音中某关键词的全部提及)。若已有干净转写文本、只需文本搜索,可跳过。

输入字段:source(必填,URL或本地媒体路径)、goal(必填,一句话检索目标)、keywords(可选,偏置检索的额外字符串)、max_moments(可选,默认5)、modality(可选,auto默认,或frames/audio/transcript)。

流程:先把目标改写为1至3条可证伪的检索查询;调用Gemini智能体视频理解(Gemini API或AI Studio),传入source、queries、max_moments与模态偏好;将结果规范化为输出结构,标注转述还是逐字,丢弃捏造的时间戳;最后交回调用方。

输出结构包含goal、source、moments数组(t_start、t_end、modality、quote、verbatim、why、confidence)、empty_reason、tokens_note。硬性要求:智能体路径可用时不得全量定帧读取;不得编造时间戳或引语;不得把完整转写或客户隐私写入公开产物;本技能不执行剪辑、渲染、叠加、排期、发布或发送。

配置:需要Gemini API密钥或Google AI Studio访问权限(https://ai.studio),环境变量为GEMINI_API_KEY或项目已有的Google AI凭据。供应商声称相比静态定帧全量读取可降低成本约66%、减少约88% token并提升准确率,具体效果以实际使用为准。