SuperAPI AI 工具集

seedance-audio

设计与创作

查看项目

更新于 10-16 09:16

技能介绍

用途

seedance-audio 是围绕 Seedance 2.0 视频生成中的音频环节展开的技能,主要覆盖:音频层设计、对白口型同步、多角色对白处理、以及音频相关失败模式的排查与修复。它服务于希望通过 Seedance 2.0 生成带声音视频的用户。

主要能力

Seedance 2.0 采用统一多模态音视频联合生成架构,音频与视频一起生成,而不是分两遍处理。模型会自动生成环境音、背景音乐、事件锁定音效,以及在提示词中角色说话时带口型同步的自然语音。在多数场景下,只需用自然语言描述想要的声音即可,例如“场景中只有风声”或“播放一首重金属曲目”。音频参考输入(上传 MP3 作为 @Audio1)用于影响视觉剪辑的节奏与速度、生成音频的情绪与音调、卡点剪辑时机,以及用于对白生成与口型同步的语音参考。需要注意,音频输入是参考信号,不保证模型原样播放上传的音频。

使用方式

命令行快速参考包括:启用原生音频生成使用 --audio-gen;音频驱动口型同步(上传 MP3 作为参考)使用 --audio 指定文件,并配合 --image、--audio-gen、--duration、--wait;音乐卡点使用多张场景图 --image 加音乐 --audio;多个音频参考时 --audio 可重复,最多 3 个(属于 Rule of 12)。关键参数为 --audio <file>(可重复,最多 3 个)和 --audio-gen(启用原生音频生成)。

对白口型有两条路径:文本驱动对白(最可靠)与音频驱动。可靠口型的关键规则包括:台词要短;对白用引号包裹;指定取景为中近景、固定机位;移除点头、转头、摇头等头面部运动标记;对停顿标注时间。

平台音频硬性限制:仅支持 MP3,WAV、AAC、OGG、FLAC、M4A 可能被接受但无口型且静默失败;单文件时长不超过 15 秒,最佳 3–8 秒;每次生成最多 3 个音频片段;建议码率 128–320 kbps,低于 64 kbps 会降低同步质量;单文件不超过 10 MB;音频中的背景噪声会降低音素识别,应使用干净录音。

多角色口型同步

该文档明确指出,多角色口型同步是 Seedance 2.0 官方承认尚未解决的问题。字节跳动官方发布博客写明仍需继续解决多人口型匹配与偶现音频失真问题。实际表现包括:可能只动一个角色的嘴、两个角色嘴部动作错乱、音频路由不可靠、同一提示词结果也不稳定。

实操方案是分离生成加合成剪辑:先按角色拆分的对白音频分段(每段不超过 8 秒,MP3,128–320 kbps);再分别为每个角色生成,提示词强调中近景、固定机位、口型精确匹配 @Audio1、不转头等;最后在剪辑软件中用画中画布局、线性蒙版、15–20% 羽化,说话方切换为生成视频、不说话方使用静态原图,从而在不要求模型同时处理两张嘴的情况下形成双向对话的观感。

已知失败模式与修复

文档列出八类失败:模型改写或替换上传音频(可通过显式保留指令、移除竞争性音频标记、把提示词简化到 50 词以内缓解);口型不同步(原因包括音频过长、音频有噪声、语速过快、提示词含头面部运动标记、上传多说话人音频;对应修复为裁剪到 3–8 秒、清理音频、以约自然语速的 80% 录制、移除运动标记、按说话人拆分音频);多角色口型损坏(使用上述分离生成与合成流程,不要在一次生成中尝试双角色口型);非 MP3 静默失败(先转换为 MP3);偶发音频失真(官方承认,可重新生成,社区测试中 4–6 秒短片段失真率更低);音频超过 15 秒导致失败或截断(按自然停顿切成 3–8 秒分段生成,保持同一角色参考图与一致取景、光照、机位,用零帧切点拼接);声音克隆与人脸转声音功能自 2026 年 2 月起暂停,可用外部 TTS 生成干净语音 MP3 再作为音频参考;真人面部上传自 2026 年 2 月 15 日起被阻止,可先由即梦图像生成 AI 角色插画再作为角色参考。

声音层级、混音意图与对白语法

声音层级结构包括:环境底噪、前景音效、音乐提示(进入时间与走向)、静音设计。文档给出紧凑写法示例。混音意图覆盖对白场景、音乐驱动、音效驱动、动作、氛围等不同类型下的优先级。对白提示词语法给出单角色、双角色(应分别生成)以及时间戳锚定的写法。

多语言与卡点

多语言生成支持普通话、英语、粤语、四川方言、日语、韩语等,文档称确认支持包括地方方言在内的 8 种以上语言,最佳实践是使用与提示词书面语言匹配的音频参考。卡点技巧方面,可通过多张场景图与音乐轨道让场景切换对齐音乐重拍,最佳实践包括使用 5–7 张场景图、选择节奏清晰的音频、使用 4–8 秒短片段,并强调卡点与对白同步在一次生成中互斥,不可混用。

适用范围与限制

本技能仅覆盖 Seedance 2.0 视频生成。数字人及其大师模式、快速模式、标准模式,以及 OmniHuman-1 引擎均属于另一个工具,不属于本技能范围。VFX 物理、音乐驱动镜头切换、版权执行分别属于其他技能。需要特别注意即梦平台上两个涉及口型同步的工具不能混淆。收费、价格等信息资料未提供。