用途：面向生产级 LLM 输出评估，将 LLM 用作评委，整合学术研究与工程实践，构建可靠的评估系统。适用于搭建 LLM-as-judge、比较多个模型回复、统一质量口径、调试评分不一致、为提示或模型变更设计 A/B 测试、编写评分标准、分析自动评分与人工评分的相关性。
主要能力：提供评估方法分类——直接评分（存在客观标准时用，如事实准确性、指令遵循、毒性）与成对比较（主观偏好时用，如语气、风格、说服力）。梳理常见偏差及缓解：位置偏差（交换位置评估两次并做一致性检查）、长度偏差、自我增强偏差、冗长偏差、权威偏差。给出指标选择框架：二分类用 Recall/Precision/F1 与 Cohen's kappa；序数用 Spearman's rho、Kendall's tau；成对偏好用一致率与位置一致性；多标签用 Macro-F1、Micro-F1。说明评分量级选择（1-3、1-5、1-10）与提示结构，要求先给出证据再给分。成对比较流程为先做确定性预检，再两次交换位置评估并做一致性校验，不一致则判为平局并降低置信度。还介绍评分标准生成（等级描述、特征、示例、边界情况、评分指引）与宽松/平衡/严格校准。规模化策略包括 LLM 评审团、分层评估、人在回路。
使用方式：可作为技能在满足激活条件时启用，构建“标准加载→主评分器→偏差缓解→置信度打分→输出”的评估流水线。决策框架：有客观真值用直接评分，主观偏好用成对比较，否则考虑基于参考的评估。
适用场景与限制：适合评估流程设计、偏差诊断、评分标准编写与统计指标选择。不适用于通用确定性检查、回归套件、生产质量门禁与结果指标（属 evaluation），自主循环治理与回滚边界（属 harness-engineering），评估工具的 API 契约（属 tool-design）。需注意评分需附理由、成对比较必须交换位置、标准过载不可取、边界情况需明确、需校准置信度、定期复核评分标准、对评估提示做版本控制与回归测试，并与人工判断验证相关性。资料未提供具体价格、部署平台或安装命令。