用途:为某个具体产品判据设计和配置可解释的 Coval 指标,让客户能理解其数值含义,并产生可行动的信号。
主要能力与选择原则:先定义测量——确认组织/工作区、目标智能体和需求,检查相关对话或书面政策,记录判据、正反例、排除项、缺失证据处理、输出极性和该数值支持的决策。可用 coval --agent metrics list --include-builtin 和 coval --agent metrics get <id> 查找已有定义,检查成功与分页后再判断是否已有合适指标;仅当定义、单位、证据来源和范围都匹配时才复用,仅名称相同不够。按需选最简指标:精确转写模式或结构化字段优先确定性/正则/元数据检查;响应时间、静音或声学属性用对应计时/音频指标;业务判据语义满足用聚焦文本 LLM 判分;语音质量用音频/多模态指标;实际工具动作或检索证据用关联 trace 证据;多条独立逐例期望用带 expected_behaviors 与明确聚合的 Composite。二元决策用二元判分;有意义的数值和分类法保留原样,不要强行二元化;适用性/证据覆盖要与质量分开;缺失录音或工具结果应视为未知而非自动通过。
用法:编写 Coval 兼容 rubric,明确助手/客户角色、证据与精确判据,包含清晰正反边界和简短示例,不要使用留出验证数据。可用命令:coval metrics create --help、coval --agent metrics create --input-json @metric.json。改动前先取现有版本,优先新建独立候选以便比较;不要因当前结果差而放宽阈值。测试接线:coval --agent metrics test <metric-id> --simulation-output-ids <id1,id2>,该操作异步且可能部分失败,逐条检查响应并记录 simulation_output_id 与 metric_output_ulid,轮询对应输出(simulated-conversations metric-detail 或 GET /v1/conversations/simulated/{simulation_id}/metrics/{metric_output_id}),有限轮询并报告待处理/失败项。
适用场景:需要为具体业务判据建立可解释、可复现的 Coval 评测指标时。
限制:本技能只做指标选择与配置、创建候选与接线测试,不替代人工标注的独立校准;人工标签验证和留出测量应使用 coval-calibrate-metric,无标签时保持临时状态并给出复核样本。具体费用、价格、平台性能等暂未提供。