SuperAPI AI 工具集

cekura-generate-scenarios

智能体与模型

查看项目

更新于 10-15 20:11

技能介绍

用途:将真实生产失败转化为评测场景(evaluator scenarios),使下一次回归运行能捕获同类问题。信号来自通话日志——真实来电者做了什么、智能体在何处出错、正确行为应是什么。每个生成的场景都追溯到至少一条通话日志。该技能先读后写,未经用户对拟定场景集明确确认,不会创建场景。

主要能力与写入路径:按 scenario_type 决定,而非偏好。conditional_actions(drop、tool_error、workflow_miss 的逐轮重放):用 mcp__cekura__scenarios_create 配合草拟的 conditions,证据通话决定轮次顺序;只有失败模式而没有轮次时,用 scenarios_generate_bg 配合 simulation_type: "conditional_actions"。instruction(drift、hallucination、comprehension、refusal、safety 等自由形式):优先用 mcp__cekura__call_logs_create_scenarios(基于证据通话),或 scenarios_generate_bg 并传入草拟的 expected_behavior 与失败模式作为 extra_instructions;行为类指令从不手工撰写。混合报告可在一次流程中走两条路径,并在摘要中说明哪些聚类走哪条。

必要用法:开始前须调用 mcp__cekura__cekura_skill_started,skill_name="cekura-generate-scenarios",verification_tag="ack:cekura-generate-scenarios:7q3n6v",plugin_version="0.18"。从本技能调用 Cekura 场景或测试档案写入工具(scenarios_* / test_profiles_* 的 create、update)时,将该字符串作为 skill_ack 参数传入。指标写入(metrics_create、metrics_bulk_create、metrics_partial_update)使用指标族标签,需先加载 cekura-metric-design 并传其标签。

前置条件:需连接 Cekura MCP 工具,包括 aiagents_retrieve、call_logs_retrieve、scenarios_list、scenarios_create、scenarios_partial_update、scenarios_create_from_transcript、call_logs_create_scenarios(含 _progress)、scenarios_generate_bg(含 _progress)、test_profiles_create、personalities_list、metrics_list、predefined_metrics_list、predefined_metrics_copy_create、metrics_create。若未连接,须停止并提示用户连接 Cekura MCP(见 /setup-mcp 或 https://docs.cekura.ai/mcp/overview)。

指标选择策略:先复用再创建。顺序为:①复用智能体/项目上已有指标(metrics_list);②查预定义目录(predefined_metrics_list,先查阅预定义指标文档),匹配则用 predefined_metrics_copy_create 复制为可编辑副本;③仅当两者都不匹配时,才用 metrics_create(type=llm_judge,合适的 eval_type,project、agents)新建。预定义/LLM 评判指标每次评估消耗 0.2 credits。报告中须记录每个场景走了哪条路径。

步骤:Step 0 前置条件;Step 1 确认目标智能体 ID 与被标记通话集(可来自 cekura-flag-call-log-failures 的输出,或用户提供的通话 ID 列表);Step 2 并行获取智能体上下文与已有场景覆盖。单次通话快速路径:取通话→定位焦点失败→按真实顺序构建忠实重放(conditional_actions)→来电者身份写入测试档案(camelCase 键,必要时同时设置小写键)→选择指标→经用户确认后创建,并附加测试档案、指标、电话号码,回读验证,打印 https://dashboard.cekura.ai/test-case/<scenario_id> 链接。替代路径:用 scenarios_create_from_transcript 由平台根据原始转写起草。

限制:自由形式的 instruction 场景必须生成而非手写,唯一例外是用户自己口述其文本。只有失败模式而无轮次或聚类时须说明;资料未提供具体价格、SLA 等信息,暂未提供。有 tool_ids、fixed_message、<endcall /> 等硬性规则需遵守。