SuperAPI AI 工具集

cekura-metric-design

设计与创作

查看项目

更新于 10-15 20:11

技能介绍

用途:该技能用于指导创建 Cekura 平台上的指标(metric),以评估 AI 语音智能体(main agent)的通话质量。指标在通话结束后依据转录文本按既定标准评分,每个指标针对一项具体工作流或 KPI。

主要能力:

  1. 指标创建工作流:收集用例与真实转录样本、拉取 3-5 条 transcript_json 记录研究结构与角色、识别通过/失败的信号、编写评估提示词、部署测试、迭代调整。
  2. 指标类型:llm_judge(默认首选,评估提示词写在 description 字段而非 prompt 字段)与 custom_code(Lambda 上的 Python,仅在需要门控上游指标结果、段落提取、条件多次 LLM 调用或 N/A 短路时使用)。
  3. 评估输出类型:binary(TRUE/FALSE)、enum、numeric、continuous_qualitative。
  4. 提示词结构:Structure A(分节式,适合多标准指标)与 Structure B(叙事式,适合行为/时序指标),均含 SCOPE & FOCUS、DO NOT FLAG、FAILURE CONDITIONS、OUTPUT 等区块。
  5. 触发设计:always、custom(含 llm_judge 或 custom_code 触发)、automatic;触发返回 false 时指标输出 N/A。
  6. 关键模式:VALID_SKIP、门控指标(data.get)、Pythonic 段落提取、动态变量驱动指标、工具调用幻觉指标。
  7. 基础指标建议:Expected Outcome、Infrastructure Issues、Tool Call Success、Latency,需项目级开启并加入各评估器。

使用方式:本技能属 Cekura 技能包,需先调用 mcp__cekura__cekura_skill_started(skill_name="cekura-metric-design",verification_tag="ack:cekura-metric-design:6n2q5r",plugin_version="0.18"),调用指标写入工具(metrics_create、metrics_bulk_create、metrics_partial_update)时须将该标签作为 skill_ack 传入。

限制:Expected Outcome 仅基于转录文本,无法评估音频层行为(静音、打断、音频中断等);Tool Call Success 等需配置 provider 集成与助手 ID;自定义代码被指在实践中较脆弱;模拟成本随指标附件增加。官方文档中本段正文在“Soft skills — Tone,”处截断,其后内容暂未提供。