用途：用强 LLM 评估另一个 LLM 的输出，适合规模化评测、开放式输出（摘要、代码质量、有用性）度量、成对模型比较（同一输入下 A 与 B）以及智能体输出的 CI 检查。不适合高风险决策（医疗、法律）、评判模型与生成模型相同、可用规则判定的极短输出，以及评判者自身无法完成的任务。
主要能力与三种模式：一是评分标准打分，按明确标准对单个输出 1-5 分，返回 JSON；二是成对比较，展示两个输出让评判者选更优，最可靠，为控制位置偏差需交换顺序各跑一次并取平均；三是基于参考，将生成答案与金标准参考比较是否事实一致，比评分标准便宜但需好参考。
已知偏差与缓解：位置偏差（随机化、交换顺序两次）、长度偏差（评分标准加入简洁性、按长度归一化）、自我偏好（用不同模型家族作评判者）、冗长偏差（明确惩罚含糊）、格式偏差（评分标准针对内容而非格式）。在提示中命名偏差可减少偏差。
校准：抽样 50-200 条输出由人工标注，评判者跑同一集合，计算 Cohen's kappa 或 Pearson 相关；kappa>0.6 可靠，<0.4 需重写提示。可用 from sklearn.metrics import cohen_kappa_score 与 kappa = cohen_kappa_score(human_labels, judge_labels)。每季度或更改提示/模型后重新校准。
提示设计：先定角色、明确标准、约束输出格式（JSON 或固定标签集）、包含 reasoning 字段、给 2-3 个少样本示例。结构化输出可用预填 "{" 引导合法 JSON，聚合前用 schema 校验。
规模化聚合：按标准均值、成对胜率、分数分布（检测尾部回归），报告自助法置信区间。成本管理：抽样、便宜评判者初筛加贵评判者处理分歧、缓存判断、对评判提示做提示缓存。
反模式：评判者等于生成者、无校准、成对比较不控制位置偏差、评分标准含糊、单次运行判断。最佳实践：用更强且不同模型家族的评判者、有成对输出时优先成对比较、始终控制位置偏差、校准到 kappa>0.6、提示中命名偏差、返回带 reasoning 的结构化 JSON、报告置信区间、缓存与抽样控制成本。