Experiment Design Planner 是一个用于在运行实验之前进行规划的 AI 技能,目标是把一个研究主张转化为真正能够回答该主张的实验计划。该技能定位为「运行前规划」,而非「已完成结果的报告」。
用途
当用户准备运行一个新实验或消融实验、某个论文主张需要证据支撑、基线/指标/控制变量/数据集尚不清晰、用户一次改变过多变量、不希望把集群或计算时间浪费在目标模糊的运行上,或者需要在投稿前准备经得起审稿人质疑的证据时,可以使用该技能。
技能描述中建议与以下技能配合使用:当实验计划应成为项目级证据、风险与行动记忆时,配合 research-project-memory;设计就绪后执行时,配合 run-experiment;结果产生后配合 experiment-report-writer;用于压力测试证据能否满足审稿人时,配合 paper-reviewer-simulator;在最终确定实验矩阵且需要更深入审查基线选择、公平性或抗审稿人比较时,配合 baseline-selection-audit;在已有绘图或列表结果并需要主张支撑审查时,配合 figure-results-review。
主要能力
技能以 SKILL.md 与 references/ 目录组织,参考文档包括 ablation-matrix.md、evidence-standards.md、metrics-and-controls.md 和 report-template.md。加载策略为:始终阅读 evidence-standards.md 与 metrics-and-controls.md;当计划比较变体、组件、基线、超参数、数据集或模型规模时,阅读 ablation-matrix.md;当保存或返回较完整的实验计划时,使用 report-template.md。如果目标仓库有 memory/ 目录,则按 research-project-memory 约定更新计划的证据、实验族、风险与行动。如果实验依赖当前基线、基准或排行榜惯例,应通过网络搜索核实当前来源。
核心原则
该技能列出的核心原则包括:从主张而非命令行出发;在运行实验前陈述假设;在引入新方法前先有基线;除非明确为析因实验,否则一次只改变一个变量;在解释结果前先定义控制变量与干扰变量;通过定义证伪与回退决策让负面结果也有用;在运行实验前先设计表格或图形;设定停止条件,明确什么结果足以继续推进。
使用方式
技能按十个步骤展开:
-
明确主张与问题:提取论文或项目主张、研究问题、目标受众(内部调试、导师汇报、论文证据、反驳、基准主张)、预期输出(Markdown 计划、LaTeX 实验章节大纲、运行矩阵或保存文件)以及实验模式(single 单一受控比较、ablation 组件或变量隔离、benchmark 跨数据集/任务比较方法、theory 为理论预测提供经验支持、diagnostic 理解失败模式或意外结果)。并将模糊目标改写为可检验问题。
-
陈述假设:写出主要假设、替代解释、预期指标方向与大致效应量、证伪条件、决策规则。如果用户无法陈述证伪条件,说明实验尚未就绪。
-
定义证据标准:阅读 evidence-standards.md,决定所需证据(一张表、一条曲线、一次消融、一个定性示例、一个与定理对齐的诊断或一个基准套件)、数据集/任务数量、随机种子或重复次数、所需基线、可接受方差、是否需要统计检验或置信区间,以及结果是必须支撑论文主张还是仅指导下一步。
-
选择基线与控制:识别主要基线、最强先前方法或当前 SOTA(如相关)、简单基线、消融基线、oracle 或上界(如有用)、受控变量与干扰变量。如果不存在基线,则把第一个实验设为建立基线的实验。
-
选择指标与日志:阅读 metrics-and-controls.md,对每个指标指定定义、方向、聚合方式、划分、方差报告、失败解释以及为何它能回答该问题。同时定义所需日志:命令、配置路径、git 提交、数据集版本、随机种子、超参数、硬件/运行时长、指标,以及产物(表格、图形、检查点、日志)。
-
构建运行矩阵:当有多个运行时阅读 ablation-matrix.md,创建包含运行 ID、改变的变量、固定控制、数据集/划分、指标、种子/重复、预期结果、状态、输出路径的运行表。如果一个运行改变了多于一个概念性变量,应拆分实验。
-
定义停止条件与后续决策:写明什么结果足以支撑主张、什么结果证伪或削弱主张、什么结果触发进一步消融、什么结果意味着停止并撰写/报告,以及计算预算上限和截止时间约束。
-
审稿人风险检查:在定稿前自问基线是否会被审稿人认为太弱、比较是否公平、种子/重复是否足够、实验是否隔离了所主张的机制、指标是否与主张对齐、是否存在可解释结果的混杂因素、负面结果是否仍能提供信息。如果暴露出重大弱点,应在执行前更新设计。
-
撰写实验计划:使用 report-template.md。如果保存到项目且未给出路径,使用 docs/experiments/experiment_plan_YYYY-MM-DD_<short-name>.md;如果在 init-python-project / new-workspace 创建出的代码仓库或 worktree 中工作,优先使用 docs/reports/experiment_plan_YYYY-MM-DD_<short-name>.md。最终计划应可被 run-experiment 运行,并可由 experiment-report-writer 后续报告。
-
回写项目记忆:如果项目使用 research-project-memory,更新 memory/evidence-board.md 中计划的 EVD-### 条目与 EXP-### 实验族;memory/provenance-board.md 中计划的来源类别、预期 CSV/报告输出与聚合要求;memory/claim-board.md 中关联主张并如实标记 planned、evidence-needed 或 provisional 状态;memory/risk-board.md 中设计暴露的基线、机制、指标、种子、计算与审稿人风险;memory/action-board.md 中可运行的后续行动,包括先启动哪个实验;当计划可运行时,在 memory/handoff-board.md 中创建到 run-experiment 的就绪交接;更新 memory/phase-dashboard.md 中活跃的实验设计或证据生产关口;若涉及分支/worktree,更新相关 worktree 的 .agent/worktree-status.md 实验目的与退出条件。尚未运行的实验使用 planned 状态,不得将预期结果记录为已观察证据。
最终检查
定稿前的最终检查项包括:主张与假设明确、基线已定义、自变量被隔离、控制与干扰变量已列出、指标与研究问题挂钩、运行矩阵具体、日志要求足以复现、停止条件与决策规则明确、审稿人风险已陈述、当仓库有 memory/ 时项目记忆已更新。
限制
资料未提供该技能的具体收费、价格、平台限制或效果保证等信息,暂未提供。该技能的内容以规划流程与文档模板为主,实际执行需配合 run-experiment 等技能。