用途:该技能用于指导创建 Cekura 平台上的指标(metric),以评估 AI 语音智能体(main agent)的通话质量。指标在通话结束后依据转录文本按既定标准评分,每个指标针对一项具体工作流或 KPI。
主要能力:
- 指标创建工作流:收集用例与真实转录样本、拉取 3-5 条 transcript_json 记录研究结构与角色、识别通过/失败的信号、编写评估提示词、部署测试、迭代调整。
- 指标类型:llm_judge(默认首选,评估提示词写在 description 字段而非 prompt 字段)与 custom_code(Lambda 上的 Python,仅在需要门控上游指标结果、段落提取、条件多次 LLM 调用或 N/A 短路时使用)。
- 评估输出类型:binary(TRUE/FALSE)、enum、numeric、continuous_qualitative。
- 提示词结构:Structure A(分节式,适合多标准指标)与 Structure B(叙事式,适合行为/时序指标),均含 SCOPE & FOCUS、DO NOT FLAG、FAILURE CONDITIONS、OUTPUT 等区块。
- 触发设计:always、custom(含 llm_judge 或 custom_code 触发)、automatic;触发返回 false 时指标输出 N/A。
- 关键模式:VALID_SKIP、门控指标(data.get)、Pythonic 段落提取、动态变量驱动指标、工具调用幻觉指标。
- 基础指标建议:Expected Outcome、Infrastructure Issues、Tool Call Success、Latency,需项目级开启并加入各评估器。
使用方式:本技能属 Cekura 技能包,需先调用 mcp__cekura__cekura_skill_started(skill_name="cekura-metric-design",verification_tag="ack:cekura-metric-design:6n2q5r",plugin_version="0.18"),调用指标写入工具(metrics_create、metrics_bulk_create、metrics_partial_update)时须将该标签作为 skill_ack 传入。
限制:Expected Outcome 仅基于转录文本,无法评估音频层行为(静音、打断、音频中断等);Tool Call Success 等需配置 provider 集成与助手 ID;自定义代码被指在实践中较脆弱;模拟成本随指标附件增加。官方文档中本段正文在“Soft skills — Tone,”处截断,其后内容暂未提供。