用途
AudioMind 是一个智能音频调度器（smart audio dispatcher）。当用户提出生成语音、朗读文本、制作旁白、创作音乐或生成音效等需求时，该技能会分析请求内容，将其路由到当前可用的最佳模型，并返回一个可直接使用的音频 URL。
主要能力
AudioMind 覆盖以下几类音频生成任务，并按请求类型选择对应模型：
- 旁白 / 配音（Narrate text / Voice-over）：使用 elevenlabs-tts-v3，延迟约 3 秒。
- 低延迟 TTS（实时场景）：使用 elevenlabs-tts-turbo，延迟小于 1 秒。
- 背景音乐（Background music）：使用 cassetteai-music，延迟约 15 秒。
- 音效（Sound effect）：使用 elevenlabs-sfx，延迟约 5 秒。
- 声音克隆（Clone a voice from audio）：使用 elevenlabs-voice-clone，延迟约 10 秒。
模型参考如下：
| 模型 ID | 类型 | 提供方 | 说明 |
|---|---|---|---|
| eleven_multilingual_v2 | TTS | ElevenLabs | 最佳质量，支持 29 种语言 |
| eleven_turbo_v2_5 | TTS | ElevenLabs | 超低延迟，适合实时场景 |
| eleven_monolingual_v1 | TTS | ElevenLabs | 仅英语，速度最快 |
| cassetteai-music | 音乐 | fal.ai | 稳定、快速的音乐生成 |
| elevenlabs-sfx | 音效 | ElevenLabs | 高质量音效（最长 22 秒） |
| elevenlabs-voice-clone | 克隆 | ElevenLabs | 从短音频样本克隆任意声音 |
使用方式
1. 启动 AudioMind 服务器（每个会话一次）
bash {baseDir}/tools/start_server.sh
该命令会在端口 8124 上启动 ElevenLabs MCP 服务器，技能通过它完成所有音频生成。
2. 路由请求
分析用户请求，并通过 MCP 服务器调用相应工具：
文本转语音（TTS）
当用户要求“朗读”“念出”“说出”或“制作旁白”时：
使用 MCP 工具：text_to_speech
text: "<要朗读的文本>"
voice_id: "JBFqnCBsd6RMkjVDRZzb" # 默认："George"（专业、中性）
model_id: "eleven_multilingual_v2" # 低延迟场景使用 "eleven_turbo_v2_5"
音乐生成
当用户要求“作曲”“创作背景音乐”或“制作配乐”时：
使用 MCP 工具：text_to_sound_effects（通过 fal.ai 上的 cassetteai-music）
prompt: "<音乐描述，例如 'upbeat lo-fi hip hop, 90 seconds'>"
duration_seconds: <时长>
音效（SFX）
当用户要求特定声音（例如“门吱呀作响”“雨打窗户”）时：
使用 MCP 工具：text_to_sound_effects
text: "<声音描述>"
duration_seconds: <1-22>
声音克隆
当用户提供音频样本并希望克隆声音时：
使用 MCP 工具：voice_add
name: "<声音名称>"
files: ["<音频文件 URL>"]
示例对话
用户：“Voice this text for me: Welcome to our product launch”
→ 路由到：text_to_speech
text: "Welcome to our product launch"
voice_id: "JBFqnCBsd6RMkjVDRZzb"
model_id: "eleven_multilingual_v2"
用户：“Generate 60 seconds of relaxing background music for a podcast”
→ 路由到：cassetteai-music（fal.ai）
prompt: "relaxing lo-fi background music for a podcast, gentle piano and soft beats, 60 seconds"
duration_seconds: 60
用户：“Generate a sci-fi style door opening sound effect”
→ 路由到：text_to_sound_effects
text: "a futuristic sci-fi door sliding open with a hydraulic hiss"
duration_seconds: 3
配置
必需项
在 ~/.openclaw/openclaw.json 中设置 ELEVENLABS_API_KEY：
{
"skills": {
"entries": {
"audiomind": {
"enabled": true,
"env": {
"ELEVENLABS_API_KEY": "your_elevenlabs_key_here"
}
}
}
}
}
密钥获取地址：elevenlabs.io/app/settings/api-keys。
可选项（用于 fal.ai 音乐与音效模型）
"FAL_KEY": "your_fal_key_here"
密钥获取地址：fal.ai/dashboard/keys。
自托管代理
cli.js 默认连接托管代理。如需完全控制，或需要为 vercel.app 被屏蔽地区的用户提供服务，可从 proxy/ 目录部署自己的实例。
快速部署（Vercel）
cd proxy
npm install
vercel --prod
环境变量
在 Vercel 项目（Dashboard → Settings → Environment Variables）中设置：
| 变量 | 用途 | 获取地址 |
|---|---|---|
| ELEVENLABS_API_KEY | TTS、SFX、声音克隆 | elevenlabs.io/app/settings/api-keys |
| FAL_KEY | 音乐生成 | fal.ai/dashboard/keys |
| VALID_PRO_KEYS | （可选）限制访问 | 逗号分隔的允许客户端密钥列表 |
将 cli.js 指向你的代理
export AUDIOMIND_PROXY_URL="https://your-domain.com/api/audio"
或在 ~/.openclaw/openclaw.json 中设置：
{
"skills": {
"entries": {
"audiomind": {
"env": {
"AUDIOMIND_PROXY_URL": "https://your-domain.com/api/audio"
}
}
}
}
}
自定义域名（推荐）
如果用户位于中国大陆，建议在 Vercel Dashboard → Settings → Domains 中绑定自定义域名，以避免 vercel.app 的 DNS 问题。
适用场景
- 为产品发布、视频、播客等制作旁白或配音。
- 为播客、视频等生成背景音乐。
- 生成特定场景音效，如科幻门开启声、雨声等。
- 从短音频样本克隆声音，用于个性化语音生成。
限制
- 音效时长限制为 1 至 22 秒。
- 使用前必须配置 ELEVENLABS_API_KEY；音乐与音效模型需可选配置 FAL_KEY。
- 默认连接托管代理，如需自托管需自行部署 proxy 目录。
- 中国大陆用户建议绑定自定义域名以规避 vercel.app 的 DNS 问题。
- 关于收费、价格、具体平台支持范围等信息，资料中暂未提供。