Comparative Evaluation 是一套用于评估 AI 输出质量的方法论技能，核心思路是：绝对质量分数虽然有用，但存在局限；把多个输出并排比较、询问哪个更好，往往能揭示评分量表（rubrics）遗漏的质量差异。
用途与适用场景
该技能适合在需要于多个方案之间做选择、检测细微质量差异、进行模型选型时使用。资料明确指出：比较式评估最适合“在备选方案之间选择、检测细微质量差异、模型选择”；绝对式评估最适合“对照标准衡量、跟踪长期进展、认证”。
主要比较方法
技能列出多种比较方法：
- A/B 测试：向不同用户展示不同版本并比较结果。
- 并排评估（Side-by-side evaluation）：向评估者展示同一输入的两个输出，询问哪个更好。
- 偏好排序（Preference ranking）：向评估者展示多个输出，从最好到最差排序。
- 成对比较（Paired comparison）：比较每一对选项，以构建完整排序。
- Elo 评分：使用锦标赛式比较，生成连续的质量分数。
为 AI 设计 A/B 测试的注意事项
资料强调，对 AI 做 A/B 测试与对 UI 做 A/B 测试不同，原因包括：
- 方差高：同一提示词可能产生不同输出，因此需要更多样本。
- 上下文重要：同一改动可能对某类任务有帮助，却损害另一类任务。
- 指标滞后：AI 质量变化可能需要时间才能在用户行为中显现。
- 交互效应：对话中某一部分的改动会影响其后所有部分。
设计 A/B 测试时应做到：
- 样本量足够大，以应对输出方差。
- 按任务类型和用户经验水平进行分层。
- 使用多个指标（不要为优化某一个指标而牺牲其他指标）。
- 设置护栏，快速捕捉严重的质量回退。
并排评估设计
针对 AI 输出的人工评估，资料给出以下要点：
- 盲评：评估者不应知道哪个版本是哪个。
- 输入一致：比较基于同一输入生成的输出。
- 结构化标准：给评估者具体的比较维度，而不只是问“哪个更好”。
- 多名评估者：每次比较至少使用 3 名评估者以保证可靠性。
- 输入多样：在具有代表性的真实用户输入样本上进行测试。
设计产物
资料列出的设计产物包括：A/B 测试设计模板、并排评估协议、评估者说明与评分量表、AI 实验的样本量计算器、比较结果分析框架。
限制与未提供信息
资料未提供该技能的具体安装命令、代码示例、平台支持情况、收费或价格信息、实际效果数据，也未说明其具体实现形式与使用步骤，这些内容暂未提供。