SuperAPI AI 工具集

motion-video-production

设计与创作

查看项目

更新于 11-09 16:17

技能介绍

【用途】 该技能是一套面向智能体运行时的通用制作指引(Agent Skills格式),用于规划、制作并验证15–90秒的动态图形、宣传片和角色视频,例如单人角色出镜的30–90秒视频。它不绑定特定模型的API或生成工具,也不包含生成工具连接;只有在用户接入composio CLI账号时才使用语音自动化。

【产出物】 按流程可获得:参考分析(ref/ANALYSIS.md、ref/targets.json)、STORY.md、角色设定表、关键帧、分场视频、音乐与配音,以及最终mp4。画面由技能内置引擎(Remotion或HyperFrames)生成,成品mp4通过数值指标判定。

【环境与路径】 需要Python 3、ffmpeg、ffprobe;.sh脚本需要Bash(macOS/Linux或Windows的WSL);引擎需要Node.js 24以上;参考分析需在虚拟环境中安装scripts/requirements-ref.txt中的OpenCV。SKILL_ROOT由运行时提供的SKILL.md实际路径的上级目录确定,不假设固定安装路径。PROJECT_ROOT为产出物文件夹的绝对路径。引擎不在技能文件夹内安装,而是复制到项目后再安装:cp -R "$SKILL_ROOT/engines/<引擎>" "$PROJECT_ROOT/engine",然后在该目录执行npm ci。

【开工前需确认的6项】 在STORY.md顶部记录:公开方式(非公开样片或商业公开成片,决定成本规则)、长度与画幅(15–90秒,默认30–90秒,16:9)、可用工具与订阅状态、禁止元素(如logo、真实人物、可读文字)、参考视频(有则先做第0阶段)、引擎选择。

【六阶段流程与门禁】 0. 参考分析:用ref-analyze.py(OpenCV)把参考视频拆解为剪辑节奏、运动、模糊、景深、颗粒、质感等数值,填入ANALYSIS.md;gate.py ref通过后才能进入下一阶段。

  1. 故事·分镜规划:一句话梗概、分镜表(时间、地点、动作、台词)、音乐同步点;每个镜头只放一个动作。
  2. 角色设定表:将正面、侧面、表情、服装固定到一张基准图,并保存外观固定描述到character.txt,后续提示词原样粘贴。
  3. 关键帧:每场生成一张起始画面,需与设定表并排对照后才使用,并用哈希去重。
  4. 视频转换:以关键帧为起始画面、设定表为参考图生成3–6秒片段;用clipsheet.sh生成帧表人工检查,剔除有缺陷段落;绿幕素材用key-plate.sh抠像。
  5. 音乐·配音:先确定BPM,按拍数计算镜头长度;配音只用一个声线ID,生成后用听写(whisper)核对台词;不使用名人、政治人物或受版权保护角色的声音克隆模型。
  6. 组装:复制引擎并npm ci;以carry(跨节拍边界延续的元素)为基本转场;Remotion需在渲染前用probe.mjs测carry(低于0.5为FAIL)并查看静帧;wordcut模板用于单词在多镜头间传递的匹配剪辑,并有drift.mjs、frame0.mjs、focus.mjs等校验;音乐与混流用mix-mux.sh,最终用verify.sh检查。

【门禁与人工复核】 每阶段产出由harness/gate.py <阶段> "$PROJECT_ROOT"以退出码判定,报告写入qa/gate-<阶段>.txt,汇报时引用其中的BLOCK、WARN行。需目视的检查要求记录文件:qa/clips-review.md(含REVIEWED行与每个片段的ok|trim|redo|replace判定)、qa/review.md(须晚于final.mp4)。无法查看图片的运行时须请用户实际目检,不得代填未看过的记录。阈值可用环境变量调整(GATE_REF_TOL_SCALE、GATE_SSIM_START、GATE_LUFS、GATE_LUFS_TOL、GATE_TP_MAX)。修改门禁后需运行harness/selftest.sh并通过。

【引擎选择】 Remotion:以React逐帧计算,具备carry数值检查与wordcut模板;4名以上员工的营利组织需Remotion Company License。HyperFrames:用GSAP驱动普通HTML/CSS页面渲染为mp4,适合素材为网页或文档、需前端直接修改的场景,Apache-2.0许可;不提供carry评分,运动由gate.py ref从mp4测量。难以选择时先用Remotion,许可不符则用HyperFrames。

【时间线编辑器】 运行node "$SKILL_ROOT/timeline/serve.mjs" "$PROJECT_ROOT"可在浏览器中查看并编辑视频、文字、配音、音乐四条轨道,仅依赖Node标准库与ffmpeg。以edit.json为唯一基准,agent可用apply.mjs编辑,用build.mjs或编辑器Build按钮生成out/final.mp4,并输出out/captions.srt(烧录字幕需libass,macOS可brew install ffmpeg-full;缺失时仅作为字幕轨)。首次保存时将原edit.json复制到qa/timeline/。

【常见陷阱(节选)】 片段起始画面相同也可能在1–2秒后改变服装、眼镜或发型,须把0、1.0、1.5、2.0、3.0秒排成一行检查;SSIM等数值无法捕获人物变形;外观固定描述须从文件原样粘贴;镜头长度按拍数倍数而非秒,起始帧只在累计时间上取整一次;先量台词长度再定镜头长度;不要用管道截断检查输出,否则丢失退出码;读取帧数用ffprobe -of default=nw=1:nk=1;渲染完成不等于通过,须数帧并亲自查看帧表。

【验收原则】 未目视的内容不得报告为通过;可测的必须测(帧数、时长、LUFS、true peak、听写一致性);未亲耳听的音频不得声称听过,只报告以听写与响度验证;汇报包含测量数值、修正内容、遗留缺陷与产出物位置。

【脚本一览】 scripts/下:ref-analyze.py(参考/成品视频拆解为JSON)、dupcheck.py(重复镜头检测)、clipsheet.sh(帧表,6x5)、key-plate.sh(绿幕转透明PNG)、mix-mux.sh(混音与帧数门禁封装)、verify.sh(测量、重复帧、边缘色、帧表、听写、可选carry检查)、beat-grid.py(BPM节拍计算);harness/gate.py(阶段门禁);timeline/serve.mjs、apply.mjs、build.mjs(时间线编辑器、agent编辑CLI、edit.json→mp4)。

【其他参考】 术语表见references/glossary.md;全部29条陷阱见references/gotchas.md;参考指标含义与修正见references/reference-analysis.md;节拍计算见references/beat-grid.md;引擎对比与命令见references/engines.md;品牌介绍视频与首页配方见references/brand-intro.md;角色一致性七要素见references/consistency-7.md;成本规则见references/cost-rules.md与references/licensing.md;无门禁覆盖的错误见references/pitfalls.md;工具用法见references/providers.md。所有回答使用用户语言(默认韩语),不代替用户登录或付费,遇到登录、付费或大文件下载先询问用户。