用途
该技能用于分析视频内容并提取精彩片段,基于 AI 多模态分析实现对视频的理解与高光时刻抽取。当用户需要分析视频、提取精彩片段、创建视频摘要、生成视频关键词与标签、从长视频制作预告片、理解剧情与故事线,或寻找适合社交媒体的爆款片段时,可使用本技能。
主要能力
分析能力覆盖多个模态:
- 视觉分析:场景检测、物体识别、动作识别
- 音频分析:语音识别、音乐检测、音效
- 语言理解:对话分析、情感检测
- 多模态融合:综合所有模态以获得全面理解
使用方式
工作流程分为以下步骤:
- 获取源视频:取得待分析视频的 URL。
- 提交分析任务:调用 submitAideoTask,并传入合适的提示词。例如,用于理解时提示词为“Analyze and summarize this video”;用于提取高光时提示词为“Extract the most exciting moments”。
- 轮询结果:首次检查需在提交后等待 210 秒,后续每次轮询之间等待 30 秒,调用 getAideoTaskStatus 检查进度。
- 超时处理:最大等待时间为 20 分钟,若任务超过 20 分钟则报告为超时失败。
- 返回结果:结果因任务类型而异。理解类任务返回摘要、关键词、剧情分析(JSON);高光类任务返回高光片段 URL 数组。
示例:
- 提取高光:用户请求“Create a 30-second highlight reel from this video”,调用 submitAideoTask,prompt 为“Extract the most exciting moments from this video to create a 30-second highlight compilation”,multiInputs 为 ["source_video.mp4"]。
- 视频理解:用户请求“Analyze this video and give me a summary”,调用 submitAideoTask,prompt 为“Analyze this video content and generate: summary, keywords, and plot analysis”,multiInputs 为 ["video.mp4"]。
- 创建预告片:用户请求“Make a trailer from this long video”,调用 submitAideoTask,prompt 为“Extract the most engaging and exciting moments to create a compelling trailer”,multiInputs 为 ["long_video.mp4"]。
- 寻找爆款片段:用户请求“Find the best clips for social media”,调用 submitAideoTask,prompt 为“Identify and extract the most viral-worthy moments from this video for social media”,multiInputs 为 ["content_video.mp4"]。
输出类型
高光提取:返回片段 URL 数组,每个片段包含精彩或吸引人的时刻,片段可直接使用或进一步编辑。
视频理解:返回摘要(视频内容的简要描述)、关键词(相关标签与主题)、剧情分析(故事结构与关键事件)。
适用场景
适用于视频内容摘要、高光时刻提取、关键词与标签生成、长视频预告片制作、剧情与故事线理解、社交媒体爆款片段发现等。
限制
- 视频最大长度:2 小时
- 最大等待时间:20 分钟
- 高光提取返回多个片段 URL
- 理解类任务返回包含摘要、关键词、剧情的 JSON
- 处理时间:约每分钟视频 10 分钟