SuperAPI AI 工具集

create-audio

通用与其它

查看项目

更新于 10-29 01:56

技能介绍

Create Audio 是一个命令行文本转语音(TTS)工具,用于将文本生成为音频文件。它通过可扩展的提供方架构,整合了本地模型与云端 API 共 13 个 TTS 提供方,用户可在同一套命令下切换不同引擎。

用途 主要用于从文本生成音频,例如配音、旁白、多角色对白、多语言音频内容以及使用自定义音色生成品牌化音频。

主要能力

  1. 基础文本转语音:通过 --text 传入文本,--output 指定输出文件。
  2. 音色选择:使用内置音色,如 Pocket TTS 的 alba(默认女声)、marius(男声)及 javert、jean、fantine、cosette、eponine、azelma 等角色音色。
  3. 声音克隆:通过提供参考 WAV 文件(--voice /path/to/reference_voice.wav)克隆音色;部分提供方支持在参数中指定 speaker_wav 或 custom_voice_path。
  4. 提供方切换:使用 --provider 指定提供方,--list 列出所有可用提供方。
  5. 管道集成:支持从 stdin 读取文本、向 stdout 输出,可与其他命令行工具串联。
  6. 提供方专属参数:通过 --params 传入 JSON 字符串,例如语速 speed、语言 lang、ElevenLabs 的 stability、similarity_boost、style、language_code,以及 Coqui 的 speaker_wav、language、speaker_idx 等。
  7. 批量处理:可通过 shell 循环为多个音色批量生成音频。

提供方概览

  • Pocket TTS(默认,provider ID:pocket-tts):Kyutai Labs 的 100M 参数模型,仅需 CPU,英文,MacBook Air M4 上约 6 倍实时速度,首块约 200ms。安装:pip install pocket-tts 或 uvx pocket-tts。
  • MLX-Audio(Apple Silicon 优化,需 M1/M2/M3/M4 与 Python 3.9+,安装 pip install mlx-audio):包含 7 个模型——Kokoro(多语言,10 个内置音色并支持克隆与语速控制)、CSM(英文,对话语音模型,支持克隆)、Dia(英文,面向对话内容)、OuteTTS(英文,高效快速)、Spark(英文与中文)、Chatterbox(16 种语言,表现力强)、Soprano(英文,高质量)。
  • ElevenLabs(云端,provider ID:elevenlabs):32 种语言,Voice Library 中 10,000+ 音色,支持专业声音克隆、声音设计与情感控制;需设置 ELEVEN_API_KEY 环境变量;安装 pip install elevenlabs;提供免费额度,生产使用需付费方案。
  • Coqui TTS(开源,安装 pip install TTS,需 Python 3.10-3.14,CPU 或 GPU):包含 XTTS v2(17 种语言,最佳质量,3-10 秒音频即可克隆,流式延迟低于 200ms)、VITS(英文,快速单说话人)、YourTTS(英文、法文、葡萄牙文,多语言克隆与多说话人)、Bark(13 种语言,表现力强,多说话人)。

使用方式 基本命令:scripts/create_audio.py --text "Hello world" --output hello.wav 指定音色:scripts/create_audio.py --voice marius --text "Bonjour" --output greeting.wav 从 stdin 读取:echo "Hello from stdin" | scripts/create_audio.py --output output.wav 列出提供方:scripts/create_audio.py --list 指定提供方:scripts/create_audio.py --provider pocket-tts --text "Hello" --output audio.wav 传入参数:scripts/create_audio.py --provider mlx-audio-kokoro --voice af_nova --params '{"speed": 1.5}' --text "This will be faster" --output fast.wav ElevenLabs 示例:先 export ELEVEN_API_KEY="your_api_key_here",再 scripts/create_audio.py --provider elevenlabs --voice rachel --text "Professional quality voiceover" --output professional.wav Coqui XTTS v2 克隆示例:scripts/create_audio.py --provider coqui-xtts_v2 --voice custom --params '{"speaker_wav": "/path/to/reference.wav", "language": "en"}' --text "Cloned voice with XTTS v2" --output xtts_cloned.wav

扩展方式 工具采用可扩展提供方架构。新增提供方需在 scripts/<provider>_provider.py 中创建继承 TTSProvider 的类,实现 name、supported_voices、default_voice、generate_audio()、get_provider_params() 等接口,并在 scripts/provider_registry.py 中注册,随后即可通过 --provider 使用。可参考 scripts/pocket_tts_provider.py 的完整实现。

输出格式 格式为 WAV(未压缩),采样率因提供方而异(Pocket TTS 为 16kHz),单声道,16 位 PCM。

适用场景 配音生成、多角色内容、多语言内容、自定义音色品牌化、语速调整、ElevenLabs 生产级质量输出、Coqui 声音克隆等。

限制与注意事项

  • 各提供方对平台、语言、依赖有不同要求:Pocket TTS 仅英文且需 CPU;MLX-Audio 仅限 Apple Silicon Mac;ElevenLabs 需 API Key 且生产使用需付费;Coqui 需 Python 3.10-3.14。
  • 首次运行需下载模型,耗时较长,之后会缓存。
  • 自定义音色文件需为有效 WAV,建议使用绝对路径并检查文件权限。
  • 若出现导入错误,可尝试 pip install pocket-tts scipy。
  • 关于各提供方的具体收费价格、更多平台支持与效果细节,资料中暂未提供。