用途：该技能面向生产级 LLM 输出评估，核心是用 LLM 作为评判者（LLM-as-a-Judge）建立可靠的自动化评估系统。适用于搭建自动化评估流水线、比较多个模型回答、统一评估质量标准、排查评估结果不一致、为提示词或模型变更设计 A/B 测试、创建人工或自动评估评分标准，以及分析自动评判与人工判断的相关性。
主要能力：区分两类评估方法。直接打分由单个 LLM 按既定量表给一个回答评分，适合客观标准（事实准确性、指令遵循、有害性），可靠性中等偏高，风险是分数校准漂移与量表理解不一致。成对比较由 LLM 比较两个回答并选出更好者，适合主观偏好（语气、风格、说服力），可靠性高于直接打分，风险是位置偏差与长度偏差。资料引用 MT-Bench 论文（Zheng 等，2023）指出，在偏好类评估中成对比较与人工评判的一致度更高，而直接打分更适合有明确标准答案的客观标准。
偏差缓解：位置偏差可用交换位置评估两次、多数投票或一致性检查缓解；长度偏差可用明确提示忽略长度、长度归一化评分缓解；自我增强偏差可用生成与评估使用不同模型缓解；冗长偏差可用针对具体标准的评分规则惩罚无关细节；权威偏差可要求引用证据并加入事实核查层。
指标选择：二分类任务用召回率、精确率、F1，辅以 Cohen's κ；有序量表用 Spearman's ρ、Kendall's τ，辅以加权 Cohen's κ；成对偏好用一致率、位置一致性，辅以置信度校准；多标签用 Macro-F1、Micro-F1，辅以各标签精确率/召回率。关键点在于系统性的分歧模式比绝对一致率更值得关注。
使用方式：直接打分需定义标准（名称、描述、权重）、校准量表（1-3、1-5、1-10）并规定结构化输出；提示词要求逐条标准先找证据、再按量表打分、给出理由与一条改进建议，并以结构化 JSON 输出。所有打分提示必须要求先给理由再给分数，资料称这比先给分数可提升 15-25% 的可靠性。成对比较部分资料在“Pairwise Comparison Implementation”处截断，具体实现细节暂未提供。
限制：资料未提供安装命令、平台支持、收费或价格信息；成对比较的完整实现步骤、具体代码示例与效果数据暂未提供。