用途：该技能用于生产级 LLM 输出评估，核心是用 LLM 作为评判者（LLM-as-a-Judge），并针对不同评估场景选择合适方法、缓解已知偏差。
主要能力：区分直接打分与成对比较两类方法。直接打分适用于存在客观标准的场景（事实准确性、指令遵循、毒性），由单个 LLM 按定义量表评分；成对比较适用于主观偏好（语气、风格、说服力），由 LLM 比较两个回答并选出更优者。技能还涵盖偏差缓解（位置偏差、长度偏差、自我增强偏差、冗长偏差、权威偏差）、指标选择框架（二分类、序数、成对偏好、多标签对应不同统计指标）、评分标准（rubric）生成与置信度校准。
使用方式：直接打分需定义清晰标准、校准量表与结构化输出，提示中要求先给出证据再给分数；成对比较需先做确定性预检，再进行两次位置互换的评判，若结果不一致则返回平局并降低置信度。评分标准生成包含等级描述、特征、示例、边界情况与评分指南，并可按宽松、平衡、严格进行严格度校准。
适用场景：构建 LLM 评判系统、比较多个模型回答、统一评估团队质量标准、调试结果不一致的评估系统、为提示或模型变更设计 A/B 测试、分析自动评估与人工判断的相关性。
限制与边界：通用确定性检查、回归套件、生产质量门禁与结果指标属于 evaluation 技能；自主循环治理、锁定评分标准、回滚与 PR 审批边界属于 harness-engineering；评估工具的 API 契约属于 tool-design。技能强调需用人工判断验证自动评估、监控系统性偏差、定期复核评分标准，并注意评估提示词敏感性。具体实现细节与外部研究引用见原文。