用途:在开始任何实验前,将研究假设转化为可证伪的预测,并形成一份结构化的实验设计文档,避免“跑了三个月实验却没有意义”的问题。核心原则是能回答:实验支持或反驳什么具体主张、什么能说服怀疑的评审者、哪些问题会使结果失效。
主要步骤:一是精确陈述假设,模板为“若[干预/方法],则[可测量结果],因为[机制]”,并明确零假设;二是识别变量,包括自变量(操纵项与水平)、因变量(测量指标与理由)和控制变量(固定值与原因);三是选择基线,涵盖随机、简单、标准、当前最优及去掉关键组件的自消融基线,并记录来源、超参数、是否重跑等;四是设计消融,逐一移除组件以验证其必要性;五是处理混杂因素,如调参优势、算力优势、数据泄漏、随机种子运气、基线实现错误和样本挑选;六是统计严谨性,包括多种子(至少3个,建议5个以上)、均值±标准差、置信区间、显著性检验,并列出对应检验方法(如t检验、Mann-Whitney U、ANOVA、Kruskal-Wallis、Wilcoxon符号秩检验),避免p-hacking和多重比较问题;七是估算算力预算并做可行性判断,预留1.5至2倍缓冲;八是可选预注册,提前写下假设、主指标、分析计划与成功标准。
输出为实验设计文档,包含假设、变量、基线、消融、混杂缓解、统计计划、算力预算、成功标准、时间线与已知风险。适用场景:需要设计、规划实验或搭建实验设置的机器学习与实证研究。限制:资料未提供具体安装命令、平台支持、收费信息或运行环境要求。