用途
Tavus CVI Persona 配置技能用于深度配置 Tavus 对话式视频交互(CVI)中 persona 的行为,涵盖 LLM、TTS、感知与轮次检测等层级。适用于自定义 AI 行为、接入自有 LLM、配置语音与感知能力的场景。
主要能力
完整 Persona 结构
通过 POST 请求创建 persona,可设置 persona_name、pipeline_mode、system_prompt、context、default_replica_id,以及 layers 下的 llm、tts、perception、stt 各层。
LLM 层
- 内置优化模型:tavus-gpt-4o、tavus-gpt-4o-mini、tavus-llama。
- 自带 LLM(Bring Your Own LLM):任何 OpenAI 兼容 API,支持 OpenAI、Anthropic(通过代理)、Groq、Together 及具备 OpenAI 兼容端点的本地模型,可配置 model、base_url、api_key,并支持 speculative_inference。
- 函数调用/工具:可在 tools 中定义 function,工具调用通过 Interactions Protocol 发送。
TTS 层
支持三种 TTS 引擎:Cartesia(默认)、ElevenLabs、PlayHT,各自配置 voice_id,ElevenLabs 和 PlayHT 需 api_key。
感知层(Raven)
启用 replica 的"视觉"能力,通过 perception_model(raven-0)与 ambient_awareness 配置。可用于对用户表情/情绪做出反应、查看共享屏幕、分析用户环境。
STT 层与智能轮次检测(Sparrow)
可开启 smart_turn_detection,并设置 participant_pause_sensitivity(用户停顿多久后 replica 响应)与 participant_interrupt_sensitivity(用户打断 replica 的难易程度),取值均为 low、medium、high。
管线模式
- full(默认):包含所有层的完整管线。
- echo:绕过 LLM,replica 直接说出你发送的内容,配合 Interactions Protocol 可控制语音。
- audio only:仅语音、无视频(audio_only: true)。
管理与语言
支持通过 PATCH 更新已有 persona、列出(GET)与删除(DELETE)persona。通过 Cartesia 及 ElevenLabs 回退支持 30 多种语言,包括英语、法语、德语、西班牙语、葡萄牙语、中文、日语、印地语、意大利语、韩语、荷兰语、波兰语、俄语、瑞典语、土耳其语、印尼语、菲律宾语、阿拉伯语、捷克语、希腊语、芬兰语、克罗地亚语、丹麦语、泰米尔语、乌克兰语、匈牙利语、挪威语、越南语等。
使用方式
通过 Tavus API(tavusapi.com/v2/personas)以 HTTP 请求(curl)方式操作,请求头包含 Content-Type 与 x-api-key。
限制
资料未提供收费、价格、性能指标或具体使用步骤的更多细节;部分能力(如自定义 LLM 的代理配置、Interactions Protocol 具体用法)仅给出概念,未展开说明。