SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场cinematic-video-gen

cinematic-video-gen

设计与创作

查看项目

更新于 10-13 16:18

技能介绍

用途

cinematic-video-gen 是一个 AI 视频生成质量增强引擎，用于解决 AI 视频生成中角色僵硬、表情空白、动作机械、手部僵硬、眼神空洞、同一角色跨 clip 不一致，以及唱歌时口型不对（假唱）等问题。其核心方式是通过高级 prompt 工程、角色卡、运镜指令、表情库和口型歌词指令，提升 AI 视频中角色的生动性与连贯性。触发词包括：视频质量、角色僵硬、灵动、表情、动作、cinematic video、视频生成增强、MV视频、角色动画。

主要能力

该技能以“五维灵动框架”加“维度6：口型歌词指令”为核心方法论，包含以下能力：

  1. 表情指令库（Expression Vocabulary）：按情绪类别提供英文指令与中文意境对照，涵盖忧伤、怅然、温柔、坚定、惊喜、释然等情绪。使用规则为每个 clip 的 prompt 必须包含至少一个表情指令。

  2. 肢体动作指令（Body Movement Vocabulary）：按手、头、身体、脚等部位区分微动作与大动作。使用规则为每个 clip 至少 1 个微动作 + 1 个大动作（大场景时）。

  3. 运镜与角色互动（Camera-Subject Interaction）：列举 slow push-in、tracking shot、crane up、orbit 360°、handheld close-up、pull back reveal 等运镜方式及其角色配合与效果。使用规则为 prompt 中必须指定运镜方式 + 角色对该运镜的自然反应。

  4. 角色一致性锚点（Character Consistency Anchor）：提供角色卡结构（含 Name、Appearance、Signature features、Build 等字段），要求在多个 clip prompt 中嵌入。使用规则为每个 clip prompt 开头插入角色锚点（缩减版即可），关键特征（发色、服装、配饰）必须每 clip 重复，语气可以变但外貌不能变。

  5. 动态连贯性（Temporal Coherence）：提供相邻 clip 之间的衔接类型及指令，包括延续动作、情绪转变、位置移动、时间流逝。

  6. 口型歌词指令（Lip-Sync Lyrics）：将歌词片段嵌入 prompt，提供歌唱状态词库（正常演唱、高音爆发、气声轻唱、停顿换气、情感爆发、吟唱/哼鸣）及歌词到时间轴的匹配规则，要求每个 clip 的 prompt 包含对应时间段的歌词文本与口型描述。

此外，该技能提供标准 prompt 构建模板、模型特定优化建议、质量检查清单，以及脚本：scripts/generate_cinematic_prompt.sh（输入场景描述、角色卡、上下文，输出优化后的 prompt）和 scripts/quality_check.py（输入生成的 mp4，输出质量评分，含运动量、表情变化、连贯性）。

模型特定优化针对 doubao-seedance-1-5-pro、sora-2、kling 系列给出了各自的支持项、注意事项与提示词权重建议。模型 fallback 顺序为：doubao-seedance-1-5-pro-251215（首选，支持首帧参考）、kling（xingjiabiapi，备选，动作生成强）、veo3.1（Google AI Studio，备选，质量高但渠道不稳定）。

使用方式

该技能可与其他技能协作，构成端到端 MV 生成工作流：

cinematic-video-gen（prompt增强 + 口型歌词）→ qingyun-api / video_generate（实际生成）→ video-lyrics-subtitle（字幕生成 + 烧录）→ lyrics-video-sync（歌词卡点匹配）→ ffmpeg-video-editor（后期合成）→ av-sync-workflow（音视频节拍同步）。

完整 MV 生成 Workflow（端到端）步骤：

输入素材准备：所有素材存放在规范目录结构中，包含 lyrics/lyrics.txt、audio/song_final.mp3、script/mv_script.json、frames/（每个场景的首帧 01_first.png 与尾帧 01_last.png）、script/chloe-card.json 等。

Step 1：歌词时间轴生成，使用 video-lyrics-subtitle 的 generate_srt.py，从 lyrics.txt 与 song_final.mp3 输出歌词 SRT。

Step 1.5：Phase 音频/字幕分段提取，使用 extract_phase.py，按 edit_plan.json 中每个 Phase 的时间范围，从完整素材截取分段音频（phaseN_audio.m4a）、分段字幕（phaseN_lyrics.srt，时间轴从 00:00:00,000 开始）与歌词文本片段（phaseN_lyrics.txt）。SRT 时间轴重置逻辑为：遍历 SRT 所有条目，保留与 Phase 时间范围重叠的条目，裁剪部分重叠条目的起止时间到 Phase 范围内，所有时间减去 Phase 起始偏移量。

Step 2：场景×歌词映射，使用 lyrics-video-sync，将场景/镜头与歌词时间轴对齐，输出 edit_plan.json（每clip的歌词+时间+场景）。

Step 3：Prompt 组装（六维增强 + 口型），使用本技能，对每个 clip 自动读取角色锚点、首帧参考图、运镜+动作+表情、歌词口型、场景氛围、动态连贯，输出完整 prompt。

Step 4：视频生成（首帧参考），使用 qingyun-api（doubao-seedance）的 qingyun-video-doubao-local.py，通过 --prompt 与 --first-frame 参数生成每个约 5 秒的 clip。

Step 5：字幕文件生成，使用 video-lyrics-subtitle 的 generate_ass.py，将 SRT 转为 ASS（KTV 高亮效果）。

Step 6：编译合成（使用分段素材），使用 ffmpeg-video-editor + video-lyrics-subtitle，以 FFmpeg xfade 拼接所有 clips + 分段音频生成无字幕版，生成分段 ASS 字幕，再用 burn_subtitles.sh 烧录分段字幕输出最终成片。

生成后质量检查：每个 clip 生成后检查角色外貌是否与参考帧一致、表情是否变化、肢体是否自然运动、歌唱时嘴巴是否有动作、与上一 clip 是否连贯、整体氛围是否契合音乐。不达标则调整 prompt 重生成（同一 clip 最多重试 3 次）。

适用场景

适用于 AI 视频生成中需要角色灵动表现的场景，包括 MV 视频、角色动画等。具体包括使用 doubao-seedance、kling、sora、veo 等模型生成视频时，需要增强角色表情、肢体动作、运镜互动、角色一致性、动态连贯性与口型歌词匹配的场景。

限制

资料中未提供关于收费、价格、平台兼容性、效果保证等方面的明确信息。技能的具体运行环境依赖、脚本可用性、各模型 API 渠道稳定性等细节暂未提供。