SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场ai-video-gen

ai-video-gen

设计与创作

查看项目

更新于 11-08 16:04

技能介绍

用途

本技能用于根据文本提示词生成 AI 视频，并可通过多个提供方网关调用不同的视频生成模型。它适用于两类场景：一是从文本描述直接生成视频；二是创建 AI 生成视频内容，包括基于参考图进行图生视频。

主要能力与网关

该技能支持四条 API 路径：

  • fal.ai：设置 FAL_KEY 后，可通过 seedance_video、kling_video、minimax_video、veo_video 等工具调用 Seedance 2.0（标准版+快速版）、Kling v3/v2.1、MiniMax、VEO。
  • HeyGen：设置 HEYGEN_API_KEY 后，可通过 heygen_video 调用 VEO 3.1、Kling Pro、Sora v2、Runway Gen-4、Seedance Pro / Lite（1.x）等模型。
  • Kling 官方：设置 KLING_API_KEY 后，可通过 kling_official_video 调用 Kling 官方 Classic、Turbo 及基础 Omni 视频。
  • Gemini API：设置 GEMINI_API_KEY 或 GOOGLE_API_KEY 后，可通过 gemini_omni_video 调用 Gemini Omni Flash，支持生成及对话式编辑。

资料特别提示：fal.ai 的 Kling（kling_video，provider="kling"）与 Kling 官方（kling_official_video，provider="kling_official"）是不同路径，不要混用队列 URL、FAL_KEY 或图片上传行为。

使用方式

资料强调应始终使用 video_selector 而非直接调用各提供方工具，因为选择器会处理可用性检查、成本比较和自动回退，其评分引擎在电影感意图下会偏向 Seedance 2.0。

在 HeyGen 路径下，默认工作流为：调用 POST /v1/workflows/executions，workflow_type 设为 "GenerateVideoNode" 并传入 prompt；收到 execution_id 后，每 10 秒轮询 GET /v1/workflows/executions/{id} 直到状态为 completed；最后使用返回的 output 中的 video_url。请求字段包括 workflow_type（必填）、input.prompt（必填）、input.provider（默认 "veo_3_1"）、input.aspect_ratio（默认 "16:9"，常用 16:9、9:16、1:1）、input.reference_image_url、input.tail_image_url、input.config。HeyGen 支持的 provider 值包括 veo_3_1、veo_3_1_fast、veo3、veo3_fast、veo2、kling_pro、kling_v2、sora_v2、sora_v2_pro、runway_gen4、seedance_lite、seedance_pro、ltx_distilled。

资料提供了 curl、TypeScript、Python 的调用示例，以及轮询等待完成的 generateVideoAndWait 示例。输出包含 asset_id，可用于在其他 HeyGen 工作流中引用生成的视频；输出 URL 是临时的，需及时下载或保存。

适用场景

  • 文本生成视频：如“A person walking through a sunlit park, shallow depth of field”。
  • 图生视频：使用 reference_image_url 将产品照片或静态图片动画化。
  • 社交媒体竖屏：aspect_ratio 设为 9:16 适用于 stories/reels。
  • 快速生成：可使用 ltx_distilled 或 veo3_fast（资料称仅在速度是硬性约束时使用）。
  • 对已有片段进行迭代编辑：如添加/移除物体、改变风格、调整光照或屏幕文字，Gemini Omni Flash 是资料中唯一支持有状态多轮编辑的提供方。

模型选择建议

资料指出 Seedance 2.0 是资料所述模型集合中唯一具备单次同步音频、多镜头生成、导演级镜头控制和引用对话口型同步的模型，并且在 2026 年初的 Artificial Analysis Elo 排名第一。对于电影感、预告片和高保真片段，当配置了 premium 网关（FAL_KEY 对应 seedance_video，或 HeyGen 的 Video Agent / Avatar Shots 路径）时，Seedance 2.0 是首选默认。仅在用户有特定理由时切换，例如预算、提供方偏好或风格契合（如 VEO 适合逼真风景、Kling 适合特定动漫风格）。

限制

  • 视频生成是最慢的工作流，资料建议允许最多 5 分钟，每 10 秒轮询一次。
  • 输出 URL 是临时的，需及时保存。
  • 不同网关需要对应环境变量和 API Key。
  • 资料未提供各网关/模型的收费与价格信息。
  • 不要将任何网关描述为默认或首选，除非先检查注册表和当前任务契合度；但资料同时说明选择器评分引擎会在电影感意图下偏向 Seedance 2.0。
  • 编写 Gemini Omni 提示词前，应参阅 Layer 3 gemini-omni 的权威提示指南（参考图标签、时间码语法、编辑提示词规则）。