SuperAPI AI 工具集

generate-clip

设计与创作

查看项目

更新于 10-27 12:52

技能介绍

用途

Generate Clip 是 remotion-superpowers 中的一个技能,专注于为 Remotion 项目生成 AI 视频片段。它的目标是创建并不存在于任何素材库中的独特镜头,作为对库存素材的补充或替代。

主要能力

  • 文本转视频:根据文字描述生成视频片段。
  • 图片转视频:将一张静态图片动画化;提供两张图片时,可在首帧与末帧之间做过渡。
  • 通过 remotion-media 调用 generate_video_from_text 或 generate_video_from_image 完成生成。
  • 在具备 REPLICATE_API_TOKEN 且用户需要指定模型时,可通过 Replicate MCP 创建预测任务、轮询状态并下载输出。

使用方式

  1. 明确需求:询问用户片段要展示什么、时长(通常为 3–10 秒)、风格(电影感、无人机镜头、特写、慢动作、延时等),以及来源(文本转视频或图片转视频)。
  2. 编写提示词:包含场景描述与动作、镜头运动(摇摄、变焦、推拉、升降、固定)、光线与氛围、速度。
  3. 通过 remotion-media 生成:
    • 文本转视频:指定 prompt 与 output_name。
    • 图片转视频:指定 prompt、image_urls(1 张用于动画化,2 张用于首末帧过渡)与 output_name。
    • 片段会保存到启动 agent 时所在目录的 public/ 下,因此应从 Remotion 项目根目录启动 Claude Code、Codex、Gemini CLI 等 agent。
  4. 可选:通过 Replicate MCP 生成。文档中给出的示例包括:
    • 文本转视频:wan-video/wan-2.5-t2v-fast,参数含 prompt、num_frames、resolution。
    • 图片转视频:kwaivgi/kling-v2.6-pro,参数含 image、prompt、duration。
    • 使用 replicate_get_prediction 轮询至 succeeded,再用 curl 下载输出到 public/footage/ 下的 mp4 文件。
  5. 在 Remotion 中使用:文档示例使用 OffthreadVideo 与 staticFile,可作全场景背景,或放入 Sequence 中裁剪使用。
  6. 与其他素材组合:可作为文字叠加的背景,与 Pexels 库存素材交叉剪辑,叠加旁白与音乐,或用 interpolate() 添加细微缩放与平移。

适用场景

  • 需要为 Remotion 项目制作定制化的短 AI 视频镜头。
  • 希望用文字描述直接生成镜头,或把已有静态图做成动态视频。
  • 需要把多个短片段按序列组合成更完整的视频。

限制与说明

  • 文档建议 AI 视频以 3–5 秒短片为佳,并建议从短片段开始。
  • 文档中关于模型速度、质量与费用的描述仅为原文中的示例说明;具体模型可用性、价格与效果暂未提供统一保证。
  • 通过 Replicate MCP 的路径需要用户具备 REPLICATE_API_TOKEN,并需要相应的 MCP 工具可用。
  • 生成片段保存到 public/ 的前提是从 Remotion 项目根目录启动 agent。