用途:构建生产级对话式 AI 语音智能体。平台整合四个核心组件:ASR(语音转文本,32+ 语言,亚秒级延迟)、LLM(推理与回复生成,支持 GPT、Claude、Gemini 及自定义模型)、TTS(文本转语音,5000+ 声音、31 语言、低延迟)、专有轮次模型(处理对话时机与打断)。
主要能力:多声音动态切换(每次切换约增加 200ms 延迟)、发音词典(IPA、CMU 或词替换)、语速 0.7x–1.2x、32+ 语言自动检测;知识库 RAG(上传 PDF/TXT/DOCX 供语义检索,每次查询约增 500ms,文档须先索引);四类工具:客户端工具(浏览器内执行)、服务器工具(Webhook,后端执行)、MCP 工具、系统工具(end_conversation、transfer_call、mute_microphone、press_digit)。轮次模式分 Eager(快速响应)、Normal(默认,平衡)、Patient(等待较久,适合信息收集/教学)。还含测试评估、分析、隐私合规(GDPR/HIPAA/SOC 2)与成本优化等能力。
使用方式:三条路径。React SDK:bun add @elevenlabs/react zod,使用 useConversation() 钩子,配置 agentId 或 signedUrl、clientTools、onEvent、serverLocation。CLI(Agents as Code):bun add -g @elevenlabs/agents-cli,依次执行 elevenlabs auth login、elevenlabs agents init、elevenlabs agents add "Support Agent" --template customer-service、编辑 agent_configs/support-agent.json、elevenlabs agents push --env dev、elevenlabs agents test "Support Agent"。API:用 ElevenLabsClient(apiKey 取自环境变量)调用 client.agents.create 创建智能体,配置 conversation_config 中的 prompt、first_message、tts.model_id/voice_id。其他 SDK:@elevenlabs/client(JS)、@elevenlabs/react-native、Swift,以及可嵌入 Widget。
系统提示词建议采用 6 组件结构:Personality、Environment、Tone、Goal、Guardrails、Tools。
限制与注意:2025 年 8 月起 @11labs/react 与 @11labs/client 已废弃,须改用 @elevenlabs/react 与 @elevenlabs/client,并更新导入路径。常见问题包括 Android 首条消息截断(可设 connectionDelay.android 为 3000ms)、CSP 拦截 blob URL(需自托管 worklet 文件并配置 workletPaths)。知识库与多声音切换会带来额外延迟。资料未提供具体收费与价格信息。