SuperAPI AI 工具集

edgespeak-video-voice

设计与创作

查看项目

更新于 10-15 23:49

技能介绍

用途:给用代码渲染的视频(HyperFrames、Remotion、Canvas、Manim、网页动画)加上本地离线配音和逐词同步字幕,语音文本与音频都不离开本机。整条链路为:旁白稿经语音合成得到 WAV,再对齐出词级时间戳 words.json,最后转成 cues.json 或 timing.js 驱动画面。该技能组合另两个技能:edgespeak-broadcast(语音合成)与 edgespeak-align(词时间戳)。

主要能力:写旁白稿(按句末标点切句以驱动场景切换,写口语化、按每秒约 4 个汉字或 2.5 个英文词估算);用 edgespeak-cli speech 合成,推荐 BreezeBlue/Breeze-TTS-2(可选预设或克隆音色,支持 ≤60 字符演绎提示)或 Qwen/Qwen3-TTS-1.7B-VoiceDesign(需 ≤120 字符音色描述,仅 builtin:auto);用 edgespeak-cli align 对同一文本对齐,得到含 segments[].words[] 的词级时间;用 scripts/video_cues.py build 转换为句子/词 cue 表,可加 lead、fps 帧号、写 timing.js。

使用方式:先检查运行时 edgespeak-cli status 与 --version;命令行未安装时由用户按 https://edgespeak.com/docs/cli#install 自行安装。许可未激活可 login、activate <KEY> 或 trial。合成示例:edgespeak-cli speech "$(cat narration.txt)" -o narration.wav -m BreezeBlue/Breeze-TTS-2 --voice builtin:warm-neighbor --instructions "..." --seed 7。对齐用 -t 传内联文本(-T 本地路径在独立 serve 下不支持)。转换:python3 <skill-dir>/scripts/video_cues.py build words.json -o cues.json --lead 0.5 --fps 30 --timing-js timing.js。驱动画面时 lead 只应用一次,词在其 start 出现,按句子边界切场景,重改旁白需重跑合成与对齐。

适用场景:代码渲染视频的配音与卡拉 OK 式字幕,含 HyperFrames/GSAP、Remotion、Canvas/Manim 及网页动画。

限制:需 Python 3.9+,分块对齐路径另需 ffmpeg;合成慢于实时且首次可能加载/下载模型;单次输入上限 4096 字符;对齐失败不伪造时间戳,仅在错误提示 retry_recommended 时以 --search-effort extended 重试一次;脚本输出不覆盖已有文件除非加 --overwrite。模型 id 以 /v1/models 与 speech --help 为准,音色以 voices list 中对应模型 status 为 ready 的为准。其余价格、平台细节暂未提供。