SuperAPI AI 工具集

sound

设计与创作

查看项目

更新于 10-28 21:24

技能介绍

该技能用于设计一部影片或动画的声音:决定播放什么、在何处播放、音量多大、来自哪个声源。脚本负责混音、电平调整与母带处理,宿主工具负责生成音频;语音、音乐、音效、转写等服务商调用只通过持有密钥的宿主工具进行,不应在沙箱内直接调用服务商 API 或查找密钥。

【主要能力】

  • 配音:generate_voiceover(text, voice_id, sandbox_path, ...),产出 mp3 以及带词级时间戳的 <name>.words.json。
  • 音效、环境声或循环:generate_sound_effect(prompt, sandbox_path, duration_seconds=..., loop=...)。
  • 音乐铺底:generate_music(sandbox_path, prompt=..., length_seconds=...) 或 composition_plan,也可使用用户提供的曲目。
  • 界面音效(无需密钥):node /workspace/skills/sound/scripts/synth-cue.mjs <recipe> <out.wav>(--list 可列出配方)。
  • 带词级时间戳的转写:transcribe_audio(sandbox_path)。
  • 混音、母带、混流与检查:node /workspace/skills/sound/scripts/score.mjs <jobDir> [plan.json];单文件母带:node /workspace/skills/sound/scripts/master.mjs <in> <out> [--target -14] [--true-peak -1]。
  • 生成文件存放在 <jobDir>/sound-assets/<music|sfx|vo>/<slug>.mp3|wav,供计划文件定位;每次生成都会消耗额度,应说明一次处理的花费。

【使用方式(建议流程,可按影片需要调整顺序)】

  1. 先做配音:有配音的影片应按配音剪辑,而非按音乐。先用 generate_voiceover 逐句生成,并传入前后句作为 previous_text 与 next_text;词级时间戳用于对齐剪切、字幕和音效,动画分镜确认后时间即锁定。
  2. 音乐铺底:生成或采用提供的曲目并裁到影片长度;若音乐需精确对齐段落,可用带段落长度的 composition_plan。不得提及艺人姓名或引用歌词。
  3. 提示表:在构建时为每个交互与节拍添加标记,在 HyperFrames 元素上设置 data-sfx-intent、data-sfx-start、data-sfx-dur,再用 node scripts/extract-edl.mjs <index.html> 输出提示列表;外部渲染的影片可逐帧查看(film-breakdown/scripts/grab.mjs)并标注每个时刻。
  4. 音效:小型界面音(滴答、确认、到达、滑动)用 synth-cue 合成,保证同类动作听感统一;更大或更特定的声音(标志性短音、精确长度渐强音、环境声)用生成方式,并在重复动作中复用同一声音。生成的音效可能形态不符(渐强音在剪切前衰减、短音无尾音),放置前应逐个试听。
  5. 混音、母带、检查:编写 <jobDir>/plan.json 后运行 score.mjs。它会解析所有文件,将每句配音电平调至 -16 LUFS,音乐铺底比配音低 3 dB 并在语音下再压低约 2 dB,使每个音效在增益 1.0 时峰值比配音低约 2 dB,根据音效意图推导铺底自动化(转场或闪光前下压、渐强与闪烁及短音下压低),母带处理至 -14 LUFS 积分电平且真峰值不超过 -1 dBTP,混流到无声渲染上,然后运行音频检查;任一阶段失败即停止。
  6. 试听并交付:核对配乐文件时长与画面一致,试听接缝;由人来决定,交付时用一句话说明所做处理。

【已自带旁白的影片】faceless-explainer、pr-to-video、general-video、website-to-video 等配方会替换其音频,因此需用 node scripts/vo-from-index.mjs <hyperframesDir> <jobDir> [voicePattern] 将旁白还原为配音行,并写出 vo-from-film.json 供计划使用;music-to-video 则把其曲目作为铺底传入(source: "supplied")。

【判断原则】

  • 配音优先:音效与音乐为其服务;若音效盖住字词,应降低增益或移开。
  • 密度随画面:声音落在眼睛关注的交互与节拍上,揭示处用更重的声音,画面静止处留白;每帧都有声音只是噪音。
  • 节奏来自文字:把语气写进文本(方括号音频标签、省略号、一个词大写),而非依赖速度设置;工具会报告每秒音节数以便核对。声音指导与计划格式见 references/voice-and-plan.md。
  • 母带是测出来的:master.mjs 会打印输入与结果;交付目标为积分电平 -14 LUFS(±1)且真峰值不超过 -1 dBTP;退出码 1 表示写出的文件未达目标,2 表示无法运行。

【限制与授权】生成音频遵循宿主密钥对应的服务商方案(商用通常需要付费方案);用户提供的音乐必须由用户有权使用,不清楚时应询问。分类表未提供与该技能匹配的具体分类标识,因此归入 other-ai-tools。