SuperAPI AI 工具集

visual-analysis

设计与创作

查看项目

更新于 10-20 20:13

技能介绍

视觉分析插件用于以“新渲染出的像素”为依据判断视觉问题:某项编辑是否出现、动画在何时变化、裁剪或叠加如何合成、哪段源镜头更合适。

用途与能力:

  • 获取时间线合成画面:通过 preview_timeline 指定 viewer 视图,返回时间线帧,展示片段的放置、裁剪、字幕、叠加、特效与取景。
  • 获取源素材画面:通过 inspect_asset 获取原始视频、动态图形、图片或 SVG,可使用 sourceFrameCount 取总览,或用 sourceTimesMs 按毫秒定位源帧;图片与 SVG 使用默认图像预览,不包含时间线放置信息。
  • 读取本机可读原始文件时,可用宿主本地检查工具直接查看源字节,无需临时时间线或云端上传。
  • 支持对比与定位变化:先用变化前后的帧对比,再在两者之间采样若干时刻,最后细化到相邻帧或相邻源毫秒,以确定精确起点。
  • 支持生成带标签的拼接图:工具可返回已标注的拼接图;也可用附带的 concat-images 帮助脚本把宿主上已有图片拼成对照图。

使用方式与注意事项:

  • 当作用范围可能不明确时,指定 timelineId。viewer 元数据会报告实际帧、timelineTimeMs 与 FPS;源元数据报告 sourceTimeMs。不要把源时间戳标为时间线时间。在两类时间之间映射前,需读取已放置片段的起始、源偏移、播放速率与时间线 FPS。
  • 时间线范围是半开区间 [fromFrame, toFrame),即包含 fromFrame 但不包含 toFrame,位于 toFrame 或持续时间的帧在可渲染范围之外。托管工具可能跳过无效请求时刻并报告调整,若没有任何可渲染时刻则失败;应检查返回帧,而不是假定每个请求都已渲染。sourceTimesMs 与 sourceFrameCount 是互斥的替代参数,转录上下文使用单独的 transcriptRangesMs 字段。
  • 预览工具可能返回内联图片、临时的逐帧 resource_link URI,或写入工作区路径。托管插件没有后端工作区。宿主能显示内联图片时直接查看;对于图片链接,使用完整返回 URI 配合宿主支持的图片读取器,或允许下载到宿主自己的分析目录。不要从 timeline-frames/... 之类的名称推断本地文件,也不要把后端 workspacePath 当成用户电脑上的路径。
  • 如果渲染不可用,应读取其诊断信息。此连接器上的源帧请求需要目标项目在具备能力的编辑器中打开,没有自动云端回退。若对象是本地可读原始文件,可在本地检查;若需要合成证明,可返回编辑器 URL。仅读取元数据或工具调用成功但看不到像素,不能证明画面外观。
  • 对比时先看完整帧再裁剪,使用相同裁剪矩形与缩放,标注返回帧的时间及时间线或源身份;按从左到右、从上到下保持时间顺序。编辑后需重新渲染证据,旧拼接图只反映旧状态。

适用场景:核对剪辑合成效果、定位动画或视觉变化的发生时刻、验证裁剪与叠加、比较源镜头、检查调平或旋转修正及撤销后的实际画面,以及整理带标签的对照图用于分析。分析图片与项目媒体相互独立,只有用户希望保留或使用时,才通过 asset-import 导入。

限制:需要实际渲染返回的像素作为依据;托管插件没有后端工作区;源帧请求依赖编辑器环境;工具可能跳过无效时刻;拼接图脚本需要宿主已有图片,并依赖 Node 与可用的 ImageMagick 命令,若缺少则改用宿主已有图像工具或逐帧查看,本技能不要求新装软件包。