用途：衡量某个 Coval 指标版本在其目标人群上是否与领域专家判断一致。指标执行成功或在提示调优样本上一致，都不构成独立验证。
主要能力：确认组织/工作区、单一指标 ID、评分规则、输出类型与决策，读取定义和输出版本；检查已有评审项目与已完成标注，或使用人工提供的带标签导出；保留标注 ID、输出/会话 ID、评审人、完成状态、标签值和评分规则来源。标签中的 0 是有效值，null 表示缺失。需区分模拟与上传会话，从对应 CLI 集合或公共 API 取原始指标，不能猜测集合；不得把待处理、延期或 AI 生成的标签当作已完成的人类真值。
使用方式：可用 CLI 获取指标、评审项目和标注： coval --agent metrics get <metric-id> coval --agent review-projects get <project-id> coval --agent review-annotations list --filter 'project_id="<project-id>" AND metric_id="<metric-id>" AND completion_status="COMPLETED"' --page-size 100 若 CLI 无法证明完整性，用公共 reviews API 分页检查。无人工标签时，用 coval-discover-failures 生成待评审样本和准则，并返回“尚未校准”。
数据划分：将相关调用归入稳定 group_id（同一原始会话、近重复场景、同一来电/客户线程或重模拟），每个组只进入一个划分，few-shot 示例也一样；小数据集不要强套百分比。train 允许示例进入 judge 提示，dev 用于查看分歧并优化提示，test 在冻结候选前不动、只测一次。由领域专家按评分规则裁决冲突标签，不覆盖以迎合 judge。
测量：二分类 pass=1/fail=0 时报告 pass recall（TPR）、failure detection（TNR）、false-pass rate、混淆计数、各自分母与不确定性；某类无样本时其比率未知，不是 0 或完美。阈值需与客户按后果共同确定，没有通用 90% 认证。离线计算器用法： python3 scripts/calibration.py --input calibration.json --split dev python3 scripts/calibration.py --input frozen-test.json --split test 它检查分组、重复会话、标签来源和指标版本，排除不可用结果，计算 Wilson 95% 区间，但无法验证标签是否真由人类提供。分类指标保留类别并报告混淆矩阵与各类别错误数；数值指标需预定义容差/决策阈值，报告绝对误差和边界分歧，计算器仅支持二分类。
限制与收尾：调优时只看 development 分歧，不看保留测试；查看最终测试结果后该集合不再未动。返回指标/版本、评分规则、标签来源、划分/分组清单、计数、错误、不确定性和目标人群，区分开发证据、保留测量与证据不足。不要把富集失败的验证样本自动当作生产通过率。评分规则、模型、输入或人群变化后需重新验证。