用途:在 ElevenLabs Agents(品牌名 ElevenAgents,原名 Conversational AI)平台上构建、配置并上线生产级语音与文本智能体,例如电话机器人、网站语音组件、应用内语音助手、WhatsApp/聊天智能体、外呼活动及自定义 SDK 集成。不适用于一次性文本转语音、有声书旁白、配音、音效或音乐,这些属于 ElevenLabs 其他产品与 API。
主要能力与管线:一次对话是四段组件编排的循环——语音识别(ASR)、轮流发言/打断模型(基于 VAD 与深度学习信号判断话轮结束与插话)、LLM(托管模型或自定义端点)、文本转语音(TTS)。文档称 ElevenAgents 2.0 首轮延迟约 500ms 以内;各阶段典型延迟:ASR 小于 100ms,LLM 首 token 因模型而异,Flash v2.5 语音约 75ms,同区网络 200ms 以上,电话线路 500ms 以上。第三方监测显示中位话轮约 1.7s、P95 约 3.2s。官方与第三方均指出模型 ID、价格与限额多变,引用前需重新核实。
使用方式:配置系统提示(强制简短口语化、禁用 Markdown 与列表、设定人设与边界)、首条消息、选择 LLM 与语音模型(如 eleven_flash_v2_5)、调节稳定性与相似度、设置轮流发言激进度与超时。可挂载知识库做 RAG;工具分服务端/Webhook、客户端与系统工具(结束通话、转接智能体或人工)。可用动态变量做个性化,或用 Workflows 编排多智能体转接。渠道含 React、JS、Swift、Kotlin、React Native 及服务端 SDK、CLI、可嵌入网页组件、Twilio 原生集成与 SIP 中继。认证上禁止把 API 密钥放入客户端:WebSocket 用服务端签发的签名 URL,WebRTC 用会话 token。平台内置测试与仿真框架,可从控制台或 CLI 运行。
限制:知识库非企业版上限 20MB/30 万字符,单文件 21MB,URL 导入不抓取链接页;嵌入模型与分块细节未公开;VAD 在噪声环境可能误打断;多语言需确认 ASR、LLM、TTS 三段均支持。资料未提供具体价格与完整参数,暂未提供。