SuperAPI AI 工具集

background-music

设计与创作

查看项目

更新于 10-30 20:04

技能介绍

用途

该技能面向已经基本剪完、但听起来干涩的说话类视频:台词之间没有能量、接缝处是死气沉沉的空白。它通过铺设一条始终位于人声之下的器乐音轨(music bed)来解决这一问题。

主要能力

  • 从视频已有信息中起草音乐简报,包含五个槽位:曲风(取自转录文本的语气而非主题)、乐器(由曲风推导)、速度与能量(取自画面节奏)、情绪(取自说了什么以及怎么说)、纯器乐表述(始终以正面措辞写明)。
  • 简报结尾需写明用途,例如“安静地置于说话声之下,不与其竞争”。
  • 从模型目录中选择输入类型为 music、用途为 generate 的模型,读取其参数,使用其器乐开关,并保持歌词字段为空。
  • 生成时长约为视频长度十分之一以上、向上取整到秒的音轨,且不超过模型自身限制。
  • 通过预检校验请求负载并获取价格估算,然后执行一次生成。
  • 通过脚本将音轨作为单一音频层铺在最终场景上:1 秒淡入、2 秒淡出,台词之间音量 30、说话时音量 15,在每个说话段之前开始闪避、之后用 0.6 秒恢复。

使用方式

  1. 在最终画面上起草简报,用两三行写完,确保生成前可整体通读。
  2. 从模型目录中挑选音乐模型,读取其参数,使用器乐开关,歌词字段留空。
  3. 请求比视频长约十分之一、向上取整到秒的时长。
  4. 用预检校验负载,其估算值即音轨价格,然后调用生成一次。
  5. 在最终场景上运行 python3 scripts/music_bed.py bed.json,配置文件包含场景、按资产 id 命名的各说话来源转录文件,以及音轨的托管 URL 和时长。
  6. 脚本会打印场景以及它做了闪避的说话段。

适用场景

  • 已完成剪辑的说话类视频,需要在不干扰人声的前提下增加能量与连贯感。
  • 包含画中画、气泡等嵌套面板的场景,脚本支持嵌套面板与气泡内的说话来源。

限制

  • 始终使用纯器乐,人声歌词会与说话声争夺听觉注意力。
  • 简报中应使用正面措辞,避免“无人声”“无歌词”等否定表述,因为音乐模型可能把否定句唱出来。
  • 每份简报只生成一次;未命中的音轨需要新简报并重新生成,不得为碰运气而批量生成变体。
  • 没有任何工具能回读混音的响度,因此无法测量音轨与语音的相对关系,只能由听者判断;调整时每次按约五个点同时移动音量与闪避,并在同一场景上重新运行脚本。
  • 不得丢弃语音,所有片段与画外音的原声保持原样,音轨铺在其下。
  • 更换音轨意味着新简报与新生成,绝不做静默重新生成。
  • 音轨只进入那一个视频,不会同时产出带音乐版与静音版。
  • 生成音轨的许可证需用户自行核查,尤其是在参加电影节或商业使用之前。
  • 生成失败或一次重试后仍无法铺设音轨时,场景保持原样,不添加音乐。