用途
该技能用于指导可复现机器学习实验的设计,帮助研究者在规划消融实验、基线对比和受控实验时遵循一套明确的最佳实践。它面向需要产出可信、可比较实验结果的机器学习研究与工程场景。
主要能力
该技能以规则清单的形式给出实验设计规范,涵盖以下方面:
- 基线设置:始终包含有意义的基线,而非仅使用随机基线。要求至少包含一个经典方法基线、一个近期SOTA方法基线,以及一个简单但强力的基线(例如线性探针、k-NN)。
- 随机种子:使用多个随机种子,最少3个,理想为5个;报告跨种子的均值±标准差。
- 消融实验设计:设计能够隔离每个关键组件的消融实验,每次只移除一个组件;每个消融实验必须与基线有实质差异。
- 控制变量:每次比较只改变一个因素。
- 数据划分:使用标准的训练/验证/测试划分,绝不在训练数据上进行测试。
- 资源报告:在报告准确率的同时,报告实际运行时间(wall-clock time)和内存占用。
使用方式
资料中未提供该技能的具体安装命令、调用方式或代码示例。其内容以最佳实践清单形式呈现,可在规划实验时作为检查项逐条对照执行。
适用场景
适用于需要设计可复现机器学习实验的场合,包括规划消融实验、选择与构建基线、设计受控对比实验等。
限制
资料中未提供该技能的运行环境、依赖条件、平台支持或收费信息。该技能本身为实验设计规范,不包含自动化执行实验的功能说明。