SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场validate-evaluator

validate-evaluator

测试与质量

查看项目

更新于 10-13 20:08

技能介绍

用途

validate-evaluator 用于对 LLM 评判器进行校准与验证，使其判断结果尽可能贴近人类专家判断。它属于评估流程中的验证环节，通常在完成评判提示词编写之后使用，用于回答一个关键问题：这个自动评判器到底准不准。

主要能力

  • 数据拆分：将人工标注数据分为训练集（10-20%）、验证集（40-45%）和测试集（40-45%）三个互不重叠的部分。训练集只放入清晰的通过/失败案例，作为评判提示词中的 few-shot 示例；验证集不进入提示词，用于反复迭代；测试集在开发期间不查看，只在最后运行一次。

  • TPR / TNR 度量：TPR 衡量人类判通过时评判器也判通过的比例，TNR 衡量人类判失败时评判器也判失败的比例。资料明确指出应使用 TPR/TNR，而不是精确率、召回率或原始准确率，因为 TPR 与 TNR 可直接对应到偏差校正公式。Cohen's Kappa 只用于衡量两个人类标注者之间的一致性，不用于评判器对比真实标签。

  • 分歧检查与迭代：对验证集上评判器与人类标签不一致的每一个案例进行检查。False Pass（评判器判通过、人类判失败）说明评判器过松，需要加强失败定义或补充边界示例；False Fail（评判器判失败、人类判通过）说明过严，需要澄清通过定义或调整示例。可选处理方式包括：澄清提示词措辞、从训练集替换或增加 few-shot 示例、为边界情况添加明确规则、把判定标准拆分为更具体的子检查。

  • 停止条件：迭代目标是 TPR 与 TNR 均超过 90%；最低可接受为均超过 80%。若对齐停滞，可根据情况选择更强大的 LLM 作为评判器、专门检查偏低的那一项指标的分歧、把标准拆解为更小的原子检查、添加针对特定输入类型的 few-shot 示例，或重新审视人类标签本身是否一致。

  • 测试集最终测量：在留出的测试集上只运行评判器一次，记录最终的 TPR 与 TNR。看过测试集结果后不再继续迭代；如需继续改进，应使用新的验证数据回到分歧检查步骤。

  • 偏差校正：生产数据上未经标注的评判器原始分数是有偏差的。若需要准确的总体通过率，可使用 Rogan-Gladen 校正公式：theta_hat = (p_obs + TNR - 1) / (TPR + TNR - 1)，其中 p_obs 是评判器判为通过的比例，TPR、TNR 来自测试集测量结果，theta_hat 为校正后的真实成功率估计。结果需裁剪到 [0, 1]；当 TPR + TNR - 1 接近 0（评判器与随机无异）时公式无效。资料给出的示例：TPR = 0.92、TNR = 0.88、500 条生产数据中 400 条判通过（p_obs = 0.80），则 theta_hat = (0.80 + 0.88 - 1) / (0.92 + 0.88 - 1) = 0.85，即真实成功率约为 85%，而非原始 80%。

  • 置信区间：仅有点估计不够，需计算 bootstrap 置信区间。资料提供了完整的 bootstrap_ci 函数代码，返回 2.5% 与 97.5% 分位数。也可使用 judgy 库（pip install judgy），通过 estimate_success_rate 返回 theta_hat 及上下界。

前置条件

  • 一个已构建好的 LLM 评判提示词（来自 write-judge-prompt）。
  • 人类标注数据：每个失败模式约 100 条 trace，带有二值 Pass/Fail 标签。
  • 尽量达到约 50 条 Pass 与 50 条 Fail（保持平衡，即使真实分布倾斜）。
  • 标签必须来自领域专家，而非外包标注人员。
  • 从已标注数据中得到的候选 few-shot 示例。

使用方式

按步骤依次执行：创建数据拆分（资料提供了基于 sklearn 的 train_test_split 示例代码）、在验证集上运行评判器、计算 TPR/TNR（资料提供了基于 confusion_matrix 的示例代码）、检查分歧、迭代、在测试集上做最终测量、可选地估计真实成功率、计算置信区间。资料还提供了数据拆分比例提示：目标是在验证集与测试集合计中有 30-50 条每类（Pass 和 Fail）的示例，即使真实世界发生率倾斜也要使用平衡拆分，因为需要足够的 Fail 示例才能可靠测量 TNR。

适用场景

  • 已写好 LLM judge 提示词，需要验证其是否可靠。
  • 需要将自动评估结果与人类专家判断对齐。
  • 需要在生产数据上报告经过偏差校正的通过率与置信区间。
  • 更换评判模型、修改评判提示词，或生产环境置信区间异常变宽后的重新验证。

限制与实践指导

  • 应为 LLM 评判器固定确切的模型版本（使用带日期的快照 id，而非浮动别名），因为提供商会未经通知更新模型，导致静默漂移。
  • 建议使用约 100 条带标签示例（50 Pass、50 Fail）；低于 60 条会使置信区间变宽。
  • 一位可信的领域专家是最高效的标注路径；若不可行，可让两位标注者独立标注 20-50 条 trace 并先解决分歧。
  • 提高 TPR 比提高 TNR 更能收窄置信区间，因为校正公式除以 (TPR + TNR - 1)，低 TPR 会缩小分母并放大估计误差。
  • 反模式：不经验证就假设评判器可用；使用原始准确率或一致百分比；把验证集/测试集示例当作 few-shot 示例（数据泄漏）；把验证集性能当作最终准确率；报告未校正的原始评判分数；只给点估计而不给置信区间。
  • 资料中未提供该技能的收费、价格或平台限制信息。