用途:分析开发集上人工标注与单个 Coval 文本 LLM 评判器之间的分歧,提出最小化的提示词修订,以改进指标。仅用于开发调优,不能据此宣称评判器已校准;若目标是信任或发布声明,应使用 coval-calibrate-metric(如已安装)。
主要能力与用法:先确认组织/工作区与一个文本评判器指标,读取其定义、版本、项目和已完成的人工标注。二值、分类和数值文本评判器需采用不同错误分析,不可静默混用类型。收集真实完成的人工标签、评审备注、精确机器输出 ID/版本及相关记录;CLI 无法证明完整性时对公开 reviews API 分页。零是有效标签,null 或 pending 为缺失;AI 建议标签不是人工真值;同一调用多个评审者需裁决而非重复计数。调优前将相关调用分为训练(提示示例)、开发和未触碰测试组,仅检查开发分歧与一致样本。二值评判器需包含失败检测与通过召回,数值评判器需先固定容差,分类评判器需展示实际混淆计数。逐条对照评分标准阅读分歧,人工或评判器均可能出错,争议人工标签须由领域专家裁决,不得以“让所有人工标签匹配机器”为捷径,并保留原始标签与备注。
修订与验证:起草有观察证据支持的最小提示词改动,保留标准、输出类型和成功边界,仅含训练示例,绝不泄漏留出示例。在寻求更新授权前展示新旧提示词与受影响失败模式,优先使用独立候选指标以保留生产默认与历史对比。获授权时可用有界请求 coval --agent metrics test <candidate-id> --simulation-output-ids <ids> 对现有输出评分,检查逐项响应并用 simulated-conversations metric-detail <simulation-id> <output-ulid> 或 GET /v1/conversations/simulated/{simulation_id}/metrics/{metric_output_id} 轮询每个返回的 metric_output_ulid。API 会暴露 explanation;不要打印凭据或使用虚构的嵌套 outputs 路由。重新评分计入约定指标预算,遇歧义应停止而非重复入队。
限制:报告开发变更与剩余错误;在未触碰的人工标注组上测量前冻结候选。若无该证据,只能说“提示候选在开发示例上有所改进”,不能说“已验证评判器”。不自动重模拟、不编辑人工标签、不默认附加或通知。