SuperAPI AI 工具集

architect-create-tool-test

测试与质量

查看项目

更新于 10-15 21:37

技能介绍

用途:为 ElevenLabs 智能体创建工具调用测试(tool-call test),验证智能体在给定 chat_history 后,下一步动作是否为预期的工具调用,或是否未调用某工具。单轮回复测试用 LLM-test 技能,多轮角色扮演用 simulation-test 技能。

主要能力:通过 POST /v1/convai/agent-testing/create 创建 type 为 tool 的测试;用 tool_call_parameters 指定 referenced_tool(需真实 id 与 type,type 为 webhook/client/code/system 之一)与 parameters 数组;eval.type 支持 anything、exact(需 expected_value,数字与布尔需转字符串)、regex(需 pattern)、llm(需 description);path 用点号表示嵌套参数,如 customer.id、items.0.sku;verify_absence 为 true 时断言不调用该工具;check_any_tool_matches 为 true 时只断言调用了某工具而不限定具体工具。

使用方式:先并行收集上下文——列出智能体工具(GET /v1/convai/tools 或从 agent config 的 tool_ids 获取)、读取智能体配置(GET /v1/convai/agents/$AGENT_ID?branch_id=$BRANCH_ID)、列出已有测试避免重名;如需基于真实调用,可读取会话(GET /v1/convai/conversations/{conversation_id})。创建后需附加并运行:POST /v1/convai/agents/$AGENT_ID/testing/attach-test 附加测试,POST /v1/convai/agents/$AGENT_ID/run-tests 运行(可传 repeat_count 2-50 检查稳定性),轮询 GET /v1/convai/test-invocations/{suite_id} 读取 condition_result。请求头使用 xi-api-key: $API_KEY,主机为 https://api.elevenlabs.io。

适用场景:需要回归验证智能体是否按预期调用工具、参数是否正确,或设置“不应在此处调用某工具”的防护。

限制:chat_history 每轮为 {role, message},role 只能是 user 或 agent,且须以触发工具调用的用户轮结尾;referenced_tool 的 id 与 type 必须与真实工具一致,否则报 not_found 或校验失败;parameters 必须是数组而非扁平对象;不支持 contains 或语义类型;workflow_node_transition 仅适用于 workflow 智能体;读取会话可能含客户 PII,需遵守零保留模式等要求。创建测试仅注册,需附加并运行才会生效。