SuperAPI AI 工具集

elevenlabs-agents

智能体与模型

查看项目

更新于 10-16 07:46

技能介绍

用途

ElevenLabs Agents Platform 用于构建生产级对话式 AI 语音智能体。平台协调四个核心组件:ASR(自动语音识别,32+ 语言,亚秒级延迟)、LLM(推理与回复生成,支持 GPT、Claude、Gemini 及自定义模型)、TTS(文本转语音,5000+ 音色,31 种语言,低延迟)以及专有的轮次模型(处理对话时机与打断)。

适用场景包括:语音客服智能体、交互式语音应答(IVR)系统、对话式 AI 应用、电话集成(Twilio、SIP 中继)、Web/移动端语音聊天、通过 CLI 实现“智能体即代码”、为智能体搭建 RAG/知识库、集成 MCP(模型上下文协议)服务器、构建 HIPAA/GDPR 合规语音系统,以及通过缓存策略优化 LLM 成本。

主要能力

设计与配置:可视化构建器支持多步骤工作流;系统提示词工程(6 组件框架);5000+ 音色覆盖 31 种语言;发音词典(IPA/CMU 格式);语速控制(0.7x–1.2x);RAG 知识库;动态变量与个性化。

连接与部署:React SDK、JavaScript SDK、React Native SDK、Swift SDK(iOS/macOS)、可嵌入组件、电话集成(Twilio、SIP)、Scribe 实时语音转文字(Beta)。

运营与优化:自动化测试(场景、工具调用、负载)、对话分析与评估、分析仪表盘(解决率、情绪、合规)、隐私控制(GDPR、HIPAA、SOC 2)、成本优化(LLM 缓存、模型切换、突发定价)、CLI 支持“智能体即代码”工作流。

使用方式

包更新(2025 年 11 月):ElevenLabs 已于 2025 年 8 月迁移至新的作用域包。已弃用(请勿使用):@11labs/react、@11labs/client。当前包:

npm install @elevenlabs/react@0.9.1        # React SDK
npm install @elevenlabs/client@0.9.1       # JavaScript SDK
npm install @elevenlabs/react-native@0.5.2 # React Native SDK
npm install @elevenlabs/elevenlabs-js@2.21.0 # Base SDK
npm install -g @elevenlabs/agents-cli@0.2.0  # CLI

如已安装旧包,先卸载:

npm uninstall @11labs/react @11labs/client

路径 A:React SDK(嵌入式语音聊天)

npm install @elevenlabs/react zod

使用 useConversation 钩子,可配置 agentId(公开智能体)、apiKey(私有智能体)或 signedUrl(服务端生成,最安全);支持客户端工具(clientTools)、事件处理(onConnect、onDisconnect、onEvent)以及区域合规(serverLocation:'us' | 'global' | 'eu-residency' | 'in-residency')。

路径 B:CLI(“智能体即代码”)

npm install -g @elevenlabs/agents-cli
# 或
pnpm install -g @elevenlabs/agents-cli

工作流:

elevenlabs auth login
elevenlabs agents init
elevenlabs agents add "Support Agent" --template customer-service
elevenlabs agents push --env dev
elevenlabs agents test "Support Agent"
elevenlabs agents push --env prod

项目结构包含 agents.json、tools.json、tests.json 及 agent_configs/、tool_configs/、test_configs/ 目录。

路径 C:API(程序化智能体管理)

npm install elevenlabs

通过 ElevenLabsClient 调用 client.agents.create 创建智能体,可配置 conversation_config(agent.prompt、first_message、language、tts.model_id、voice_id 等)。

智能体配置

系统提示词架构(6 组件):Personality(身份、角色、性格)、Environment(沟通语境)、Tone(正式程度、语言模式、幽默、冗长度)、Goal(目标与成功标准)、Guardrails(边界、禁止话题、伦理约束)、Tools(可用外部能力及使用时机)。

轮次模式:Eager(快速响应,适合快节奏支持、快速下单)、Normal(平衡,默认,适合一般客服)、Patient(等待更久,适合信息收集、心理辅导、教学)。配置项为 conversation_config.turn.mode。

工作流(可视化构建器):支持子智能体节点(覆盖基础配置)与工具节点(保证工具执行),通过条件边进行分支路由。适用于多部门路由、决策树、角色扮演、升级路径。注意:每个节点转换增加约 100–200ms 延迟;边若未充分测试可能造成无限循环。

动态变量与个性化:使用 {{var_name}} 语法注入运行时数据。系统变量包括 {{system__agent_id}}、{{system__conversation_id}}、{{system__caller_id}}、{{system__called_number}}、{{system__call_duration_secs}}、{{system__time_utc}}、{{system__call_sid}}。自定义变量在启动对话时提供。密钥变量({{secret__...}})仅用于请求头,不会发送给 LLM 提供商。缺失变量会触发“Missing required dynamic variables”错误。

认证模式:公开智能体(无需 API 密钥)、私有智能体(API 密钥,警告:切勿在客户端代码中暴露 API 密钥)、签名 URL(生产环境推荐,服务端生成)。

语音与语言功能

多音色支持:可在单次对话中动态切换音色,适用于多角色故事、语言教学、角色扮演、情绪化智能体。注意:每次切换增加约 200ms 延迟。

发音词典:支持 IPA、CMU 格式及词替换。注意:仅 Turbo v2/v2.5 模型支持基于音素的发音,其他模型会静默跳过音素条目但仍处理词替换。

语速控制:0.7x–1.2x,建议使用 0.9x–1.1x 以获得自然效果,极端值会降低质量。语速按智能体设置,而非按语句。

语音设计:可通过 Voice Library → Create Voice 使用 Voice Design(文本转语音)或 Voice Cloning(样本克隆)创建自定义音色。

限制

资料中未提供具体收费与价格信息;部分功能(如 Scribe 实时语音转文字)标注为 Beta;工作流节点转换、音色切换会引入额外延迟;发音词典的音素支持受模型限制;动态变量缺失会导致启动错误。