SuperAPI AI 工具集

elevenlabs

设计与创作

查看项目

更新于 11-08 16:07

技能介绍

用途:该技能面向视频、播客、游戏等场景,提供基于 ElevenLabs API 的 AI 配音、音效与音乐生成能力,并给出与 Remotion 视频制作流程同步的集成方案。

主要能力:

  1. 文本转语音:使用 client.text_to_speech.convert 指定文本、voice_id、model_id 与 VoiceSettings(stability、similarity_boost、style、speed)生成并保存 MP3。文档列出 eleven_multilingual_v2、eleven_flash_v2_5、eleven_turbo_v2_5、eleven_v3 四种模型及其质量、SSML 支持与备注。
  2. 声音设置建议:按自然专业、对话、活力 YouTuber 三类风格给出 stability、similarity、style、speed 参考区间。
  3. 停顿与发音控制:flash/turbo 模型可用 <break> 与 <phoneme> 标签;multilingual_v2/v3 不支持 SSML,可通过段落分隔或 ffmpeg 后处理插入静音;文档明确告诫不要用省略号作为停顿手段。发音可用音标拼写或 IPA 音素标签调整。
  4. 声音克隆:Instant Voice Clone 使用 client.voices.ivc.create() 传入以二进制模式打开的文件对象,建议 2-3 段样本;Professional Voice Clone 需 Creator 计划及以上、30 分钟以上音频。
  5. 音效生成:单次最长 22 秒,使用 client.text_to_sound_effects.convert,可设 duration_seconds 与 prompt_influence。
  6. 音乐生成:时长 10 秒至 5 分钟,使用 client.music.compose(),可设 prompt、music_length_ms、force_instrumental。
  7. Remotion 集成:给出从配音脚本到逐场景音频生成、manifest.json 时长清单、按音频时长计算帧数、<Audio>/<Series>/<Sequence> 组件使用、淡入、延迟播放、配音与演示视频同步、错误处理等示例。
  8. 词级时间戳:直连 elevenlabs_tts 时传 with_timestamps: true 可获取 word_timestamps 与 alignment_path,用于字幕和动画提示对齐。
  9. 工具命令 /generate-voiceover:读取 VOICEOVER-SCRIPT.md、逐场景生成音频、保存到 public/audio/scenes/、生成 manifest.json 并更新 project.json。

使用方式:OpenMontage 集成中,应先检查注册表;优先使用 fal_elevenlabs_tts(可提供 Eleven v3、Multilingual v2、Turbo v2.5,无需单独 ElevenLabs 凭证),仅在注册表报告 elevenlabs_tts 可用时使用直连。共享安装环境中不应要求用户创建 .env、导出密钥或粘贴凭证,缺失直连权限应报为管理员配置请求。直连示例需要集中配置的 ELEVENLABS_API_KEY。

适用场景:视频配音与字幕同步、播客旁白、游戏音效与背景音乐、Remotion 程序化视频的音频轨道制作。

限制:音效单次最长 22 秒;音乐最长 5 分钟;Professional Voice Clone 有计划和音频时长门槛;eleven_v3 为 Alpha,可靠性不足需提示词工程与重试;multilingual_v2/v3 不支持 SSML;省略号不能可靠表示停顿。收费标准与具体价格暂未提供。