用途：帮助开发者验证 LLM 评判器与人工判断的对齐程度，并在不一致时定位与修复。属于评估工作流第 5 步（前一步 llm-judge-creator，后一步 llm-golden-dataset-builder）。开始前先检查项目中是否存在 CLAUDE.md、product-marketing-context.md 等上下文文件并阅读。
主要能力：
- 收集输入：需要一个评判器提示词，以及至少 20–30 条带人工通过/失败标注的输入输出对，且需混合通过与失败样本。若评判器用 1–5 分制，需先定义通过/失败阈值。只有通过样本（如 golden dataset）时，可用三种方式补充失败样本：A 用标注数据中的失败样本（最佳）；B 依据问题报告构造或查找触发失败的输入（较好）；C 人工合成降级通过输出（快速兜底）。
- 分离测试集：把已嵌入评判器提示词中的 few-shot 示例剔除，测试集必须是提示词未见过的样本。
- 测量对齐：计算通过一致率 =（评判器判通过且人工判通过）/（全部人工通过）；失败捕获率 =（评判器判失败且人工判失败）/（全部人工失败）。目标两者均高于 90%，最低可接受 80%；低于 80% 不应依赖该评判器。
- 检查分歧：区分假通过（评判器漏判）与假失败（评判器过严），形成假设：标准是否含糊、评分锚点是否偏移、few-shot 示例是否误导、是否混淆了两个维度。
- 修复：做最小化修改，如补充缺失特征、收窄标准、替换极端锚点、增加针对性示例，或拆分为两个评判器；改后回到测量步骤重测。若停滞，可考虑标准过于主观、换用更强模型或拆成更原子的检查。
- 可选偏差校正：用公式 corrected pass rate = (observed pass rate + failure catch rate - 1) / (pass agreement rate + failure catch rate - 1) 校正生产指标，或用 judgy 库（pip install judgy）计算并返回置信区间。
使用方式：按步骤执行，先确认输入齐备，再分离测试集、测量、检查分歧、修复并重测。
适用场景：需要评估 LLM 评判器可靠性、判断其是否可投入生产使用的开发者。
限制与注意事项：样本少于 20 条测量噪声大；golden dataset 只有通过样本，无法衡量失败捕获能力；需固定模型版本（如 claude-sonnet-4-6、gpt-4o-2024-05-13），供应商静默更新会改变结果；提示词变更、输出格式变化或用户行为变化后需重新验证，建议每 4–6 周或重大变更后复测；单一领域专家标注优于多人猜测，多标注者需先解决分歧。具体收费、价格与平台信息暂未提供。