SuperAPI AI 工具集

video-storytelling

设计与创作

查看项目

更新于 10-27 12:33

技能介绍

用途

Video Storytelling 技能用于创建连贯的视频故事序列,将 AI 生成的图像与旁白音频结合,产出完整的 MP4 视频。它作为故事导演和视觉协调者,在所有场景中保持角色、视觉风格、光照和叙事基调的一致性。

主要能力

视觉一致性系统

  • 全局风格锁:固定宽高比、相机设置、光照;所有场景使用一致的调色板;统一的视觉风格和后处理;防止视觉不连续。
  • 角色锁:跨场景保持角色外观;相同的服装、颜色、面部特征;一致的配饰和显著特征;保持视觉身份。
  • 多轮图像生成:每个场景引用前一个场景的图像;通过序列建立视觉连续性;防止角色/风格漂移。

叙事系统

  • 角色声音:将角色映射到 ElevenLabs 声音;每个角色保持声音一致性;支持对话中的多个角色。
  • 情感标签:带有情感标记的表现力旁白;音效和停顿;自然的节奏和表达。
  • 叙事结构:每个场景 50-80 词(15-20 秒);中性旁白用于过渡;角色特定对话。

视频组装

  • 自动化流程:按顺序生成所有图像;创建角色声音旁白;组合成同步的 MP4 视频;根据总音频长度平均分配每个场景的时间。

使用方式

该技能通过以下步骤使用:

  1. 收集故事信息:需要故事概念、基调/类型;可选场景数量(默认 6)、角色描述、自定义风格锁。
  2. 定义角色:为每个角色创建档案,包括名称、物种、描述、颜色、服装、特征、性格、声音 ID 和声音名称。
  3. 规划故事序列:创建逐场景大纲,包括场景 0(标题场景)和场景 1-N(故事场景)。
  4. 构建风格和角色锁:准备全局风格锁和负面锁,为每个场景构建角色锁。
  5. 生成图像序列:使用多轮生成,每个场景引用前一个场景的图像,应用风格锁和角色锁。
  6. 生成叙事音频:使用 ElevenLabs 的 text_to_dialogue 为每个场景生成语音旁白。
  7. 拼接音频:使用 ffmpeg 将所有场景音频合并为单个音轨。
  8. 组装最终视频:使用 assemble_video.sh 脚本,根据总音频长度计算每个图像的等长时间,创建视频片段,确保所有图像为 1080×1080,拼接片段,与音轨混合,输出高质量 H.264 MP4。
  9. 交付结果:提供最终视频文件、场景分解、单独资产(如图像和音频文件)以及故事元数据(如角色档案和场景计划)。

适用场景

该技能应在用户要求以下内容时调用:

  • 创建视频故事或动画序列
  • 生成带视觉的旁白故事
  • 制作带角色的教育视频内容
  • 制作带旁白的视觉故事书
  • 创建角色驱动的视频叙事
  • 生成多场景故事视频
  • 制作带图片和旁白的儿童故事

限制

  • 依赖 image-generation 和 elevenlabs 技能。
  • 需要 Python 包(具体安装命令在资料中未完整提供)。
  • 默认配置为 1 个标题场景加 5 个故事场景,共 6 个场景,但用户可自定义场景数量。
  • 默认风格锁和声音映射可被用户覆盖。
  • 资料中未提供具体的收费、价格或平台限制信息。