用途:为 FrameVideo 项目生成旁白脚本,并在脚本中加入 SSML 风格标记,用于修正发音、控制停顿节奏、规范数字/日期/价格读法,并使旁白与画面字幕对齐。
主要能力:
- 从项目字幕、转录、AI 分析输出或已有旁白草稿中提取源文本,字幕优先。
- 将简略字幕扩展为自然口语旁白,同时保持与可见文字的时间对齐。
- 三类标记:<phoneme> 修正发音(alphabet 可为 ipa、py、x-sampa),<break> 插入停顿,<ttnumber> 控制数字读法。
- 提供回退策略:Kokoro 不支持 SSML,需先用 sed 's/<[^>]*>//g' script-marked.txt > script-fallback.txt 去除标签;Chanjing TTS 支持三种标记;ElevenLabs 支持部分标记。
使用方式:定位源文本,归一化为可朗读脚本,稀疏添加标记,选择 TTS 提供方后生成音频,再用 npx framevideo transcribe narration.wav --output transcript.json 转录回时间戳,最后在合成分中使用 audio 元素。项目建议同时保存 script-marked.txt 与 script-fallback.txt。
适用场景:品牌名或术语发音修正、戏剧性停顿、数字与价格朗读、字幕扩展、技术与多语言旁白。
限制:标记仅用于创作层;只有支持 SSML 的提供方才能透传。不得给每句都加标记,也不要用 break 替代改写不通顺的句子;硬编码音素前应先测试 TTS 输出。具体 voice-id 等参数暂未提供,价格与收费暂未提供。