用途:设计能有效降低不确定性的最小实验,目标不是刷最高基准分数,而是判断所声称的机制是否成立;同时用于诊断已经出问题的训练运行。
主要能力:以可证伪形式陈述假设;定义最小实验、公平基线、主次指标;识别混杂因素与控制项;加入强制健全性检查;在运行前定义决策标准;按从最便宜到最昂贵的顺序推荐运行顺序。设计字段包括假设、数据集/环境、干预、基线、指标、混杂因素、决策标准。健全性检查包括:在小批量或平凡案例上过拟合、验证指标实现、检查随机性下的种子稳定性、确认基线可复现已知行为、检查代表性成功与失败样本。
训练异常诊断:先分类症状(发散、过拟合、欠拟合、崩溃、训练停滞、验证噪声),再对照配置与数据;优先审计数据路径(划分、重复、污染、标签语义、预处理、增强、训练/测试不匹配),可疑的收益比可疑的损失更需查泄漏;之后才按机制调参(优化、正则、容量、数据/采样、调度),一次只改一个机制,优先有依据的局部扫描而非盲目网格;为保留的每个数字记录来源,不把不同配置的运行合并成结论。
规模问题:用脚本拟合而非目测对数图。python scripts/fit_scaling_law.py --x 1e6 2e6 4e6 8e6 1.6e7 --y 3.10 2.84 2.63 2.48 2.37 --metric "val loss" --lower-better --extrapolate 6.4e7;自检命令 python scripts/fit_scaling_law.py selftest。一次只变一个轴,固定架构族与评估;超出最大运行约 10 倍的外推应视为待验证假设;R² 低于约 0.9 时不应远外推。
限制:资料未提供具体平台、收费、价格与效果数据;详细清单见 references/experiment-design-checklist.md。