用途:把研究问题变成一个有用的对比,设计、运行或评审有界的研究实验或模型训练比较,适用于测试想法、改进模型、复现结果或解读结果。结论允许是负面发现或有界未决问题;训练出 checkpoint 或分数提高不等于有用结论。
主要能力:选择下一个有信息量的实验。在提问前恢复问题、已有结果、相关模型与数据以及约束;说明下一次观察能区分哪些选项及其如何改变工作。改进性能时识别预期收益与可信当前基线;复现时识别原始主张与条件。选择能回答本轮问题的最小比较,指定变化因素、基线、比较条件、有意义的输出以及该比较为何有信息量。当干扰设置与研究因素交互时,应公平调参;设置完全相同不一定公平。区分探索性选择与确认性比较。后续实验保持以发现为条件。使用项目已有计划或简短实验记录,不新建强制跟踪框架。注意模糊基线、交互、方差或不确定结果。
使用方式:设计或评审请求不授权训练。被要求执行时,检查实际运行器、模型/checkpoint、预处理、数据划分、目标、优化器、调度、算力分配和结果记录,遵循项目实现与框架版本文档。昂贵运行前,经授权做小检查:数据到达预期计算、损失与梯度合理、checkpoint 保存/加载可用、所需度量可恢复;冒烟测试只表示就绪。同一研究问题与授权资源内的快速跟进可继续;改变方向或启动两三天以上的长新工作前,先向用户呈现观察与拟议变更,除非已授权。成本、数据访问、共享硬件与外部提供商限制仍适用。保留足够标识以关联结果与实际输入和配置,使用现有日志与 checkpoint,保留失败尝试,重启前检查实时状态。评估活动使用 evaluation-operations 处理调度、恢复、评分状态与尝试,不建第二个活动注册表。
适用场景与限制:用于训练对比、复现、模型改进与结果解读;不授权训练、不自动产生研究结论。检查实际输出、比较条件与错误,区分测量观察与解释及未测预期,排查表面改进的其他可能原因(数据变化、验证集选择、算力预算不同、评分器损坏)。相关数据或测量问题用 credo-dataset 或 credo-evaluation。按结果支持强度报告;重复或不确定性估计应回答真实决策问题并考虑观测依赖,不把每次实验变成固定种子数仪式;不确定差异不等同于等价。记录项目认知变化、决定性结果位置与下一步动作或建议。问题解决到要求程度或确认剩余限制时结束本轮。更大方向变更由用户决定。方法的维护与限制见来源。