SuperAPI AI 工具集

cekura-metric-improvement

测试与质量

查看项目

更新于 10-15 20:11

技能介绍

用途:引导 Cekura 指标改进循环,从初稿指标迭代到可用于生产的质量。适用于用户要求“improve a metric”“run labs”“leave feedback on a metric”“fix metric accuracy”“review metric results”等场景。

主要能力与流程:一是识别错位结果(假阳性、假阴性、异常 N/A、相似通话结果不一致),可手动或模拟 labs 引导方式;二是通过 mark_metric_vote 提交带具体转写证据和推理的反馈,避免“This is wrong”这类模糊反馈;三是累计至少 6 条反馈以获得统计显著性;四是调用 POST /test_framework/metric-reviews/process_feedbacks/ 触发自动改进,并用 GET /test_framework/metric-reviews/process_feedbacks_progress/?progress_id=<uuid> 轮询进度,结果不会自动应用,需 PATCH 指标;五是用 POST /observability/v1/call-logs/rerun_evaluation/ 在同批通话上验证修改并检查回归;六是可选将验证后的提示词转为 Pythonic custom_code 投产。

关键顺序:指标存在系统性高误判时,先读失败解释、归类根因、手写提示修复并 PATCH,再抽样 20-30 条通话复评,最后才用 labs 处理手工修复未能覆盖的边缘案例,避免浪费 labs 迭代。

必要用法:创建指标写入工具时需传 skill_ack 为 ack:cekura-metric-improvement:6t4d5m;行动前调用 mcp__cekura__cekura_skill_started,skill_name="cekura-metric-improvement",verification_tag="ack:cekura-metric-improvement:6t4d5m",plugin_version="0.18"。场景/测试配置写入需先加载 cekura-eval-design 并使用其标签。

限制:批量评估前必须先查通话数量并报告;超过 100 条须获得明确批准;每次评估都会产生真实费用。使用 page_size(上限 200)和服务端过滤减少分页。create_from_call_log 的 metrics 必须为对象数组 [{"metric": <id>, "feedback": "<text>"}],传裸 ID 会返回 500。

其它暂未提供。