SuperAPI AI 工具集

analyzing-videos

通用与其它

查看项目

更新于 10-16 08:18

技能介绍

用途

该技能用于分析视频内容并提取精彩片段,基于 AI 多模态分析实现对视频的理解与高光时刻抽取。当用户需要分析视频、提取精彩片段、创建视频摘要、生成视频关键词与标签、从长视频制作预告片、理解剧情与故事线,或寻找适合社交媒体的爆款片段时,可使用本技能。

主要能力

分析能力覆盖多个模态:

  • 视觉分析:场景检测、物体识别、动作识别
  • 音频分析:语音识别、音乐检测、音效
  • 语言理解:对话分析、情感检测
  • 多模态融合:综合所有模态以获得全面理解

使用方式

工作流程分为以下步骤:

  1. 获取源视频:取得待分析视频的 URL。
  2. 提交分析任务:调用 submitAideoTask,并传入合适的提示词。例如,用于理解时提示词为“Analyze and summarize this video”;用于提取高光时提示词为“Extract the most exciting moments”。
  3. 轮询结果:首次检查需在提交后等待 210 秒,后续每次轮询之间等待 30 秒,调用 getAideoTaskStatus 检查进度。
  4. 超时处理:最大等待时间为 20 分钟,若任务超过 20 分钟则报告为超时失败。
  5. 返回结果:结果因任务类型而异。理解类任务返回摘要、关键词、剧情分析(JSON);高光类任务返回高光片段 URL 数组。

示例:

  • 提取高光:用户请求“Create a 30-second highlight reel from this video”,调用 submitAideoTask,prompt 为“Extract the most exciting moments from this video to create a 30-second highlight compilation”,multiInputs 为 ["source_video.mp4"]。
  • 视频理解:用户请求“Analyze this video and give me a summary”,调用 submitAideoTask,prompt 为“Analyze this video content and generate: summary, keywords, and plot analysis”,multiInputs 为 ["video.mp4"]。
  • 创建预告片:用户请求“Make a trailer from this long video”,调用 submitAideoTask,prompt 为“Extract the most engaging and exciting moments to create a compelling trailer”,multiInputs 为 ["long_video.mp4"]。
  • 寻找爆款片段:用户请求“Find the best clips for social media”,调用 submitAideoTask,prompt 为“Identify and extract the most viral-worthy moments from this video for social media”,multiInputs 为 ["content_video.mp4"]。

输出类型

高光提取:返回片段 URL 数组,每个片段包含精彩或吸引人的时刻,片段可直接使用或进一步编辑。

视频理解:返回摘要(视频内容的简要描述)、关键词(相关标签与主题)、剧情分析(故事结构与关键事件)。

适用场景

适用于视频内容摘要、高光时刻提取、关键词与标签生成、长视频预告片制作、剧情与故事线理解、社交媒体爆款片段发现等。

限制

  • 视频最大长度:2 小时
  • 最大等待时间:20 分钟
  • 高光提取返回多个片段 URL
  • 理解类任务返回包含摘要、关键词、剧情的 JSON
  • 处理时间:约每分钟视频 10 分钟