SuperAPI AI 工具集

sync-captions-to-music

设计与创作

查看项目

更新于 10-15 21:54

技能介绍

用途:为音乐视频广告生成短促、踩在演唱节拍上的歌词字幕,是已渲染歌曲(含时间数据)与烧录字幕环节之间的桥接组件。它本身不重新实现ASS生成或ffmpeg烧录,而是把词级时间戳规范化为既有 add-captions-burn/make_klap_style_subs.py 脚本所需的格式,再以音乐视频预设调用该脚本。

主要能力:解析ElevenLabs music_metadata.json或Whisper词级 word-timestamps.json;缺失或不可靠时可加 --whisper-fallback 用Groq Whisper转写。将时间戳与锁定歌词对齐,丢弃歌词外词元、按锁定拼写重拼、词数漂移超20%时告警。按标点、>600ms静音间隔和 --chunk-size(默认3)分块,重音词单独成块或置于块尾。生成ASS并烧录,保留音频流。可选 --preview-strip 输出波形与分块对照PNG。

使用方式:python3 scripts/sync.py --video <成片> --lyrics <歌词> --timestamps <时间戳> --output <输出>,可加 --accent-words、--chunk-size、--placement、--font、--font-size、--style-preset、--preview-strip。歌词建议用 lyrics-plain.md(每行一句纯歌词);若传入 lyrics-locked.md 且存在同名 plain 文件,脚本会自动优先使用后者。

输出:带字幕mp4、同名.ass、chunks.json、可选preview-strip.png、manifest.json 与 verification.md。

适用场景:歌曲在 music-video-ad 的 MUSIC GENERATE 状态通过后;歌曲修订后重烧字幕;任何有演唱音轨与歌词、想要快节奏词块字幕的独立场景。

限制:不适用于旁白式VO广告(应直接用 add-captions-burn)或iMessage聊天、动态图形广告。ElevenLabs元数据结构未正式文档化,无法识别时会报错并提示改用 --whisper-fallback;歌词与音频漂移超20%会停止;字体缺失回退Georgia;窄画幅下3词块可能换行,需降到 --chunk-size 2。收费、价格与平台信息暂未提供。