用途
Benchmark and Baseline Selector 面向研究场景：当用户提出一个方法、主张或结果时，该技能返回使该主张可信所需的最小基线/基准集合，以及使其更强的补充集合。交付物始终是两层对比计划，而非单一列表：
- Minimal（必要）：如果方法在此打平或落败，主张即告失败。遗漏其中任何一项会招致拒稿或“缺少基线”的评审意见。
- Suggested（补充）：增加外部有效性（规模、迁移、鲁棒性），但对核心主张不是决策关键。
一个基线/基准只有在能够改变结论时才值得占位；方法显然会赢的装饰性对比属于噪声。
主要能力
0. 上下文收集（推荐前的门槛）
不基于信息不足的提示生成计划。先检查对话是否提供以下上下文；已有的直接采用，必需但缺失的向用户询问——不猜测、不含糊。错误的现有方法或未归属的自消融会让整个计划产生误导，因此先问总是更划算。
必需（缺失则询问）：
- 精确主张——什么属性、对比什么参照、在什么条件下。若只有模糊想法，请用户给出可证伪的表述。
- 领域/任务/学科——否则“强现有方法”和“最接近的先前方法”无从得知。
- 创新点——哪个组件是贡献所在，决定自消融基线。
- 记录指标——该子领域报告该主张所用的指标。若未说明，从主张类型推断并明确写出假设。
有帮助（有则采用，否则写明假设）：
- 目标会议/受众（校准 Minimal 的严格程度）。
- 算力/数据/时间预算（保持 Minimal 可运行，把昂贵对比推入 Suggested）。
- 已运行过哪些基线/基准。
- 数据可用性 + 污染风险。
- 当前 SOTA 数字/先前工作——该技能不含内置基准列表，当前现有方法必须来自对话、用户或文献检索，需在定稿前落实，而非引用过时基线。
必需问题一次性简洁提出。得到回答（或记录假设）后继续。所有被迫做出的假设必须在最终输出中呈现，不得埋没。
1. 重述主张并分类
将用户提案改写为一条可证伪主张： “[方法] 在 [条件] 下，相比 [参照]，以 [指标] 衡量，达到 [属性]。”
然后分类主张类型——这决定后续一切：
| 主张类型 | 必须控制/展示的内容 |
|---|---|
| 精度/SOTA | 在相同预算与协议下击败当前强现有方法 |
| 效率（算力/参数/延迟/成本） | 以更低成本匹配质量，或同等成本下质量更好——需要成本轴 |
| 样本效率 | 在有限数据下更好——需要学习曲线/数据预算协议 |
| 泛化/迁移 | 在不同于调优所用的分布、领域或任务上成立 |
| 鲁棒性 | 在偏移、噪声、对抗或长尾条件下成立 |
| 机制（“为何有效”） | 增益来自所声称的组件而非混杂因素——需要自消融 |
若提案混合多种（如“更快且更准”），每个子主张各得一套最小集。
2. 构建基线分类
针对主张强制填满每个相关槽位。遗漏下界或自消融是最常见的评审抱怨。
- 平凡下界——随机/多数类/空操作/最简单启发式。证明任务与指标非退化，方法越过底线。
- 强现有方法——从业者已在使用的显然方法（经过良好调优，而非稻草人）。击败弱基线证明不了什么。
- 最接近的先前方法——最直接竞争的已发表方法。这是评审最关心的对比。
- 自消融基线——你自己的方法去掉/替换所声称组件后的版本。用于把贡献与周边机制隔离开。
每个基线附一行理由：它排除了什么结论。
3. 选择匹配主张的基准/数据集
按“能让你推断什么”而非流行度来选基准。
- 最小基准——能证伪主张的最小设置，协议匹配主张类型（如样本效率用学习曲线、效率用成本轴、泛化用 OOD 划分）。一个选对协议的好基准胜过五个测同一件事的基准。
- 建议基准——增加不同轴：第二个领域（迁移）、更大规模（增益是否存活？）、偏移/长尾划分（鲁棒性）、或更难/无污染的变体。
- 优先选择强现有方法数字已公开的基准，使对比廉价且无可争议。
4. 指标与主张匹配
标记任何不匹配：效率主张只报精度、鲁棒性主张没有最坏情况/尾部指标、校准主张用精度衡量。说明主指标及使主张可读所需的任何次指标。若主张隐含权衡（质量 vs 成本），要求两轴一起报告。
5. 切分 Minimal 与 Suggested
对每一项应用一个测试：
如果方法在此打平或落败，核心主张是否被推翻？
- 是 → Minimal。
- 否，但能拓宽结论 → Suggested。
保持 Minimal 真正小——通常是平凡下界、最接近的先前方法（或强现有方法）、一个自消融，在一个协议正确的基准上。
6. 标记反模式
明确点出适用的项：
- 弱/过时/未调优的基线（稻草人）。
- 基准挑选——只报方法获胜的划分。
- 协议/指标不匹配——基准实际无法测试该主张类型。
- 泄漏/污染——训练-测试重叠，或基准在预训练数据中。
- 预算不对等——用调优过的方法对比欠调优的基线。
- 缺少自消融——增益未归因于所声称组件。
使用方式
该技能以对话方式使用：用户提出方法/主张/结果，技能先检查上下文是否充分，缺失必需信息时一次性提问；随后按上述步骤重述主张、分类、构建基线分类、选基准、核对指标、切分两层，并输出固定格式。
输出格式：
Claim (falsifiable): <one sentence>
Claim type(s): <from the table>
Primary metric: <metric> | Secondary: <metric, if the claim needs it>
MINIMAL (necessary — claim dies if it fails here)
Baselines:
- <baseline> — rules out: <what>
- <self-ablation> — isolates: <your component>
Benchmark(s):
- <benchmark> + <protocol> — can falsify: <which part of the claim>
SUGGESTED (complementary — strengthens, not decision-critical)
Baselines: - <stronger SOTA / extra lower bound> — adds: <inference>
Benchmark(s): - <2nd domain / scale / shift> — adds: <axis of external validity>
Anti-patterns to avoid: <only the ones that apply>
Assumptions made: <any required context that was inferred rather than given — omit if none>
保持可扫描。先给 Minimal 集——那是对“我实际需要什么”的回答；把 Suggested 集作为升级路径。
适用场景
- 需要为研究主张确定必要与补充的基线/基准对比计划。
- 需要把模糊提案改写为可证伪主张并分类。
- 需要检查指标与主张类型是否匹配、识别常见评审反模式。
限制
该技能不适用于以下情况：
- 设计实验运行、控制或成功阈值 → experiment-design。
- 在单一方法内做内部消融以隔离机制 → hypothesis-and-ablation-planner。
- 不存在合适基准、需从零设计测量 → experiment-design。
- 运行后解释结果/误差分析 → model-eval-error-analysis。
- 对结果数字做显著性检验 → statistical-testing-guide。
该技能不含内置基准列表，当前现有方法必须来自对话、用户或文献检索。