SuperAPI AI 工具集

experiment-design

数据与分析

查看项目

更新于 10-15 17:22

技能介绍

用途:在设计 ML/AI 实验、评估协议或研究基准时,提供一套先于写代码的检查流程,帮助产出可信、可复现的结果。

主要能力:按八个部分逐项推演。1)假设:要求写成可证伪声明,格式为“We claim that [method X] achieves [metric Y] on [dataset Z] because [mechanism]”,假设模糊时先帮助用户收窄。2)自变量与因变量:明确改变什么(如架构、损失函数、数据增强)、测量什么(如准确率、FID、wall-clock 时间),并列出全部受控变量。3)基线:分三层选择——朴素(如多数类、均值预测)、标准(最常用现有方法)、强基线(所选基准上的当前最优),要求说明理由,避免稻草人基线。4)数据集与划分:注明名称、版本、来源,指定训练/验证/测试划分,优先用标准划分,标注数据泄漏风险与数据集局限(偏差、领域覆盖、规模)。5)指标:选择与任务目标一致的指标,优先语义明确的既有指标,必要时报告多个指标,并说明统计显著性(N 个随机种子下的均值 ± 标准差)。6)算力预算:说明硬件、预计运行时间和种子数。7)消融:每次只移除或替换一个组件,以隔离各自贡献。8)失败模式:至少给出两种可能产生误导结果的方式及检测或缓解方法。

使用方式:按上述检查清单逐节推演,输出为已填写各部分的 Markdown 实验计划文档,并标出需要用户先做决策的部分。

限制:官方资料未提供具体平台、收费或安装命令等信息。