SuperAPI AI 工具集

reference-fragment-matching

设计与创作

查看项目

更新于 10-30 20:04

技能介绍

用途

该技能用于把参考视频重建为场景,但采用“一次一个片段”的逐段匹配方法,而不是一次性调好整段视频。它面向扁平背景的动态图形重建,例如应用和产品宣传中的卡片、条形、芯片、聊天界面和网格。

主要能力

  • 分割参考视频:使用 picsart_media_segment_shots 传入源视频和时间窗口 t0/t1,得到片段列表。每个片段被标记为 hold(保持一种排列不变)或 transition(发生变化),并给出 suggestedStep,表示观察该片段的密度。
  • 片段命名与顺序:按片段中发生的事命名(例如“主卡片缩小并停靠到输入栏”),不按编号称呼;按时间线顺序处理。
  • 清点元素:用 picsart_media_video_stills 按 suggestedStep 取静帧,列出每个元素的框、填充或强调色、文字、圆角半径等,不仅关注移动的元素。
  • 测量动作点:使用 motion-tracking-from-video 技能,在构建任何动作前写出测量表,记录每个动作点的起止时间、起止范围(位置、缩放、旋转)以及每个数字来源的跟踪结果。
  • 选择承载方式:因容器移动而移动的元素应作为一个整体组合承载动作,不能把相同关键帧复制到每个成员上。
  • 构建与检查:按 scene-building-basics 技能构建片段,按 quality-review 技能检查。导出片段的渲染结果,与参考在相同窗口内对比。

使用方式

  1. 用 picsart_media_segment_shots 分割参考视频,并用 picsart_media_video_stills 查看每个边界两侧的静帧,合并无可见变化的边界,拆分被遗漏的慢变化。
  2. 对每个片段按 suggestedStep 取静帧并清点元素。
  3. 用 motion-tracking-from-video 技能测量每个动作点,先写测量表再构建动作。
  4. 按 scene-building-basics 构建片段,按 quality-review 检查。
  5. 与参考对比:
    • 元素运动是否一致:用 picsart_media_track_motion 对双方跟踪,再用 picsart_media_track_motion_diff 得到每个元素和通道的 maxDev、meanDev、worstT。
    • 整帧运动是否一致(淡入或移动、方向、顺序、哪个区域何时移动):用 picsart_media_flow_diff,传入 a 为参考、b 为渲染、t0/t1 和 fps: "auto",返回评分和聚类发现。
    • 元素是否齐全、颜色尺寸位置是否正确:用 picsart_media_inventory_diff,传入 a、b 和每个片段 3–5 个时间点,返回缺失和多余元素、颜色、尺寸、位置、文字、圆角半径。
  6. 在 picsart-video-rules 允许的修复轮次内修复并再次检查,然后继续下一个片段,并说明仍有哪些偏差。

适用场景

  • 扁平背景的动态图形重建,如应用和产品宣传中的卡片、条形、芯片、聊天、网格。
  • 需要逐片段精确匹配参考视频的场景。

限制

  • 实拍、动态文字、粒子、3D 和角色动画超出能力范围,应在构建前明确说明,而不是交付看似合理但错误的复刻。
  • 不得使用参考视频自身的像素作为素材;应使用用户自己的素材或普通替代物,并预期在其内容上出现颜色差异。
  • 场景没有自动换行和最大宽度,长文本需用 \n 手动断行。
  • 时长恰好等于场景时长的帧会渲染为黑色,取静帧需严格在时长内部。
  • 同一媒体 URL 可以填充两个框,不要使其每次使用唯一。
  • 每次 inventory 运行会每侧报告一个 plate 发现,评分为 0,这是清点说明而非缺陷,读取但不要追踪。

暂未提供

该技能的具体收费、价格、平台要求、安装步骤等暂未提供。