SuperAPI AI 工具集

ablation-planner

写作与研究

查看项目

更新于 10-16 10:10

技能介绍

用途

ablation-planner 用于在机器学习研究项目中系统性地设计消融实验,目标是回答论文审稿人必然会提出的问题。它的典型触发条件包括:主结果已通过 /result-to-claim 检验且 claim_supported = yes 或 partial;用户明确要求进行消融规划;或在 /auto-review-loop 中审查者指出缺少消融实验。

主要能力

该技能采用分工模式:Codex 以严格的 ML 审稿人视角主导消融设计,Claude Code(CC)负责评估可行性与实现。设计覆盖四类消融:组件消融(隔离每个新颖组件的贡献)、审稿人问题消融、关键超参数敏感性测试,以及针对自然替代设计选择的比较。输出内容结构化,包含每项消融的名称、what_it_tests、expected_if_component_matters、优先级(1 必须运行到 5 可选),并提供 coverage_assessment、unnecessary_ablations、suggested_order 和 estimated_compute(总 GPU 小时估算)。

使用方式

工作流分为五步。第一步,CC 读取项目文件收集上下文,包括方法描述与组件(来自 docs/research_contract.md 或项目 CLAUDE.md)、当前实验结果(来自 EXPERIMENT_LOG.md、EXPERIMENT_TRACKER.md 或 W&B)、已确认与预期声明(来自 result-to-claim 输出或项目笔记)、以及可用算力资源(来自 CLAUDE.md 服务器配置)。第二步,调用 mcp__codex__codex,配置 config 为 {"model_reasoning_effort": "xhigh"},并按文档中的 prompt 模板传入方法、组件、当前结果与声明。第三步,将 Codex 响应规范化为结构化消融计划表格,分为组件消融(最高优先级)、超参数敏感性、设计选择比较,并附覆盖度评估等。第四步,CC 在运行前检查算力预算、区分需改代码与仅改配置的消融、识别可并行项,预算紧张时提出裁剪并请 Codex 确认。第五步,为每项消融创建配置/脚本(先做仅配置改动),全量运行前做冒烟测试,按建议顺序以描述性名称(如 ablation-no-module-X)运行,并在 EXPERIMENT_LOG.md 中追踪结果,全部完成后更新 findings.md。

适用场景

适用于论文投稿前需要系统性补足消融实验的 ML 研究项目,尤其是主结果已基本验证、需要以审稿人视角补齐证据链的阶段。

限制与规则

Codex 主导设计,CC 不得在 Codex 看到列表前预筛选或引入偏差;每项消融必须有明确的 what_it_tests 与 expected_if_component_matters,不接受“先试试看”类实验;仅配置改动的消融优先于需改代码的消融;算力超预算时须提出裁剪并请 Codex 重新排序,不得静默丢弃;组件消融优先于超参数扫描;不得为与基线相同的组件生成 no-op 消融;所有结果(包括负结果,如移除组件无影响)均需记录在 EXPERIMENT_LOG.md。