SuperAPI AI 工具集

video-production

设计与创作

查看项目

更新于 11-08 20:17

技能介绍

用途 该技能把一份视频脚本制作成完成的、混音后的视频。脚本(通常来自 video-script)说明影片内容;本技能用生成媒体把它做出来,并保持从第一帧到最后一帧像同一部影片。

核心思路与流程 生成视频容易漂移:镜头之间人脸变化、服装走样、场景重排。稳定结果来自锚点——每次生成都固定到已批准的图像,这些图像又来自一小套参考静帧“圣经”。单靠文本提示无法保持角色稳定,已批准的图像可以。因此顺序始终是:圣经 → 关键帧 → 运动;当角色或场景重复出现时,任何片段都不只靠文本生成。

流水线: script ─▶ models ─▶ breakdown ─▶ voice ─▶ bible ─▶ keyframes ─▶ CHECKPOINT ─▶ shots ─▶ lock ─▶ score ─▶ mix ─▶ QC (发现模型)(plan.json)(定时)(参考)(锚点)(用户:外观+预算)(候选条)(edit.json)(音乐、音效)(assemble.py)

关键概念 Bible(圣经):全片已批准的参考静帧,包括风格帧、角色表、场景板和道具。每个关键帧都从它生成。 Anchor(锚点):视频生成固定到的已批准静帧(首帧、尾帧或参考图)。 Take(候选条):一个镜头的一次视频生成。一个镜头在磁盘上保留所有候选,选其中一条。 Chain(链):连续动作中的切点。下一镜头的首帧是前一选中候选的尾帧。 Lock(锁定):画面锁定,剪辑时间确定。音乐和音效在锁定之后制作,绝不提前。

输入与预检 脚本:video-script 文档,含五行、简介、声音计划,以及带 Shot、Visual、On-Screen、V/O、Dialogue、SFX、Music、Transition 字段的帧。若用户只有想法,先运行 video-script;若脚本较松散,映射到这些字段并在 plan.json 中把缺口记为假设。 格式:片长、画幅比、渠道来自脚本标题行和简介;脚本未确定时才询问。 环境:在不打印值的情况下检查 RUNWAYML_API_SECRET、ELEVENLABS_API_KEY、FAL_KEY(或 fal-ai MCP 服务器)、ffmpeg/ffprobe、python3。通过 scripts/runway.py get /v1/organization 读取 Runway 额度余额。 项目目录:在用户工作目录下的 production/<slug>/ 中工作,结构包含 plan.json、script.md、bible/、keyframes/、clips/、audio/(vo、dialogue、sfx、music)、gfx/、review/、edit.json、out/。plan.json 是制作记忆,记录每个决策、提示词、种子、任务 id、文件和成本,中途停止可从文件恢复。

工作步骤

  1. 发现模型:为图像、视频(终稿+草稿档)、语音、对白、音效、音乐各角色选择当前最佳模型。不从记忆或本技能中取模型名;目录每月变化。完成标准:plan.json 中每个角色写明模型 id、提供方、检查日期、胜出原因和关键约束(允许比例、时长、参考限制、关键帧位置),且约束从 API schema 读取。
  2. 拆镜:把脚本帧转为镜头,一个镜头一次视频生成。拆分超过模型时长或含两个动作/机位的帧;为每镜头选生成模式、决定哪些镜头链式连接、列出所需角色/场景/道具;时长对齐模型接受值并加 handles。
  3. 先录音:配音和对白决定时长,先于任何画面生成。为每行选或设计声音,生成一个文件,测量长度,过长则拉长镜头。
  4. 建圣经:生成风格帧,再生成角色表、场景板、道具。变体通过参考编辑从已批准图像派生,绝不从文本重新生成角色。完成标准:角色表显示固定服装的可识别人物,场景板为目标画幅比,每张图都实际查看并对照清单。
  5. 生成关键帧:从圣经合成每镜头首帧(模式需要时含尾帧),附带参考,按视频模型最终画幅比生成。链式镜头首帧暂留空,等上一步的候选条。
  6. 检查点:外观与预算:首次视频生成前的唯一审批点。向用户展示圣经和全部关键帧的缩略图总览(含镜头 id)、所选模型与视频花费估算(镜头×候选×秒数×费率,含草稿和音频)、任何假设或改动。获得同意后再生成;实际花费超出估算 25% 以上需再次询问。
  7. 生成镜头:先草稿,只对批准的草稿生成终稿。独立镜头并行提交,链式镜头按顺序。每条候选对照清单审查,失败时沿重试阶梯上升。完成标准:每镜头有通过清单的选中候选,链式镜头首帧来自前一条选中候选。
  8. 锁定画面:写 edit.json(片段顺序、修剪入出点、转场、V/O 锚定到片段 id)。用 scripts/assemble.py edit.json --timeline 检查时间,先渲染仅画面和语音的粗剪并审查。此后画面时间不再改变。
  9. 配乐与声音:针对锁定剪辑,按每帧 SFX 字段生成音效、按场景生成环境声、音乐和声音标识,加入 edit.json。
  10. 混音、渲染、质检:用 scripts/assemble.py edit.json 渲染;把字幕条和片尾卡作为 PNG 叠加,字幕作为附属文件;运行质检清单,全部修复后交付。
  11. 交付:报告最终文件路径、片长、按提供方分类的总花费、成片缩略图总览,以及有更多预算会重做的镜头;脚本列出时提供精简版或其他画幅比。

规则 所有产物落地:提供方输出 URL 数小时到数天过期,到达即下载到项目目录并记录到 plan.json。 先 schema 后请求体:请求体按第 1 步读取的当前 API schema 构建,比例、时长、字段名因模型而异。 查看一切:阅读生成的每张静帧;通过缩略图和抽帧审查每个片段。未查看的候选不算审查。 每次重试只改一件事,并在 plan.json 记录改了什么。 肖像与权利:真实人物需本人同意,真实品牌需所有者授权。Runway 审核失败会消耗额度,反复失败可能停用账号,被审核的提示词应重写而非重复提交。 回合稀缺:在一个回合中批量提交独立生成,每个文件只写一次,旁白保持简短。

脚本与参考 scripts/runway.py:Runway 客户端,支持 run(提交、等待、下载)、submit、wait、upload、get;请求体中的任何 “local:<path>” 字符串会自动上传;仅用标准库。 scripts/assemble.py:渲染 edit.json,支持修剪、剪切、xfade 转场、静帧、PNG 叠加、按片段 id 放置音频、音乐在语音下闪避、响度归一化;有 --timeline 和 --dry-run 模式;docstring 即 edit.json schema。 参考文档:Model Discovery(第 1 步)、Plan Format(第 2 步起,plan.json 形状与拆镜规则)、Look and Consistency(第 4、5 步)、Shot Generation(第 7 步:模式、运动提示、对白与口型、候选审查、重试阶梯)、Sound(第 3、9 步)、Assembly(第 6、8、10 步:缩略图、edit.json、叠加、字幕、质检)。

适用场景与限制 适用于已有或可形成脚本、需要生成式视频从分镜到成片全流程制作的场景。需要相应提供方 API 密钥与 ffmpeg/python 环境;模型能力、时长、画幅、参考限制以各 API 当前 schema 为准。真实人物和品牌需授权;生成输出需及时下载保存;费用按提供方定价估算,资料未提供具体价格。