用途：该技能面向 LLM 输出的自动化评估，适用于搭建评估流水线、比较多个模型回答、建立统一质量标准、调试结果不一致的评估系统、为提示词或模型变更设计 A/B 测试、生成人工或自动评估量表，以及分析自动判断与人工判断的相关性。
主要能力：区分两类评估方法。直接评分适用于存在客观标准的场景（事实准确性、指令遵循、有害性），由单个 LLM 按定义量表打分；成对比较适用于主观偏好（语气、风格、说服力），由 LLM 比较两个回答并选出更优者。技能还提供偏差缓解（位置偏差、长度偏差、自我增强偏差、冗长偏差、权威偏差）、指标选择框架（二分类用 Recall/Precision/F1，序数用 Spearman's rho、Kendall's tau，成对偏好用一致率与位置一致性，多标签用 Macro-F1、Micro-F1）、评分量表生成、置信度校准与评估流水线设计。
使用方式：直接评分需定义标准、校准量表并规定结构化输出，提示中要求先给出证据与理由再给分数；成对比较需进行两次位置互换评估，若结果不一致则判为平局并降低置信度。量表粒度建议 1-3、1-5，1-10 仅在具备逐级详细量表时使用。高并发场景可采用多模型评审团、分层评估或人工介入。
适用场景：模型输出质量评估、提示词与模型变更的回归测试、评估标准制定与人工标注对齐。
限制：资料未提供具体安装命令、收费、价格或平台信息；评估提示词措辞变化可能造成 10-20% 分数波动，量表会随标准演进漂移，需定期复核并以人工标注重新锚定。