Result Diagnosis 是一个研究辅助技能,核心用途是在实验产生结果之后,诊断该结果对项目意味着什么,重点是决策而非写作。资料说明,它适用于结果有效但令人意外、为负面、不稳定或含糊的场景,用于决定采取调试、重跑、消融、修改、搁置等动作;明确不适用于类似工程失败的问题,也不用于撰写精炼报告,后者应在诊断清晰后配合 experiment-report-writer 完成。
在主要能力上,该技能提供了一套结构化的诊断流程:先定义结果与预期行为,提取实验问题、关联论点、方法与基线、数据集与划分、指标与预期方向、观察结果、种子与重复次数、配置与日志等信息,并将模糊输入改写为“预期某方法在某设置下相对某基线改善某指标,但在某控制条件下观察到某结果”的形式;若预期行为从未定义,则路由回 experiment-design-planner。随后对症状进行分类,包括无改善、回退、不稳定或高方差、指标冲突、可疑的巨大提升、基线意外强劲、诊断与性能不匹配、训练失败或发散、可复现性失败、图表不一致、结果与论文叙事矛盾等,并归类可能的诊断类别,如实现缺陷、指标或评估缺陷、数据或划分或预处理问题、不公平基线或调参问题、种子方差或重复不足、优化或超参数问题、方法机制失败、规模或情境不匹配、论点与证据不匹配、预期中的负面结果等。
接着进入证据收集与分诊环节。技能强调优先使用一手材料,如配置差异、运行命令、git 提交、日志与标准错误、指标文件、检查点、种子、数据集版本与划分哈希、图表、先前的基线运行、实现变更等,并将缺失证据明确标出而非猜测。分诊顺序为:可复现性与来源(提交、配置、数据、种子、输出路径是否正确)、指标与评估(指标方向、聚合方式、划分、泄漏、后处理)、基线公平性(同一预算、调参、检查点规则、数据、采样器与代码路径)、实现合理性(特性开关、张量形状、梯度流、损失缩放、训练与评估模式)、统计稳定性(种子、方差、置信区间、离群值)、机制诊断(预期机制是否发生变化)、论点一致性(结果支持、削弱还是证伪论文论点)。只有在发现阻塞性缺陷或无效对比时才应提前停止。
之后,技能要求构建竞争性解释,对每种可能的解释说明支持证据、反对证据、可用于区分的最廉价测试以及若成立时的决策,至少考虑缺陷、错误指标、薄弱实验设计、基线过强或调参不足、超参数问题、机制不成立、论点过宽等。然后选择一个主要决策:调试(在缺陷或来源问题解决前结果不可信)、重跑(结果可信但检验力不足或缺少对照)、消融(需要隔离机制)、修改方法(机制可能需要设计变更)、收窄论点(证据支持更小或不同的论点)、撰写(证据已足够可信可供报告)、搁置(结果不确定且不值得立即消耗算力)、终止(在公平对照下论点或方向被证伪)。资料特别指出,在基本来源或公平性未解决时不应选择撰写。
使用方式上,技能以 SKILL.md 与 references 目录为结构,包含 diagnosis-taxonomy.md、evidence-audit.md、next-decision-rules.md、report-template.md、triage-protocol.md 等文件。要求始终阅读 diagnosis-taxonomy、triage-protocol 与 next-decision-rules;在检查日志、配置、指标、图表、运行或代码状态时阅读 evidence-audit;完整诊断报告使用 report-template。若结果依赖当前 SOTA、基准惯例或近期基线表现,需通过网络搜索或用户提供的论文核实当前来源。
适用场景为机器学习研究中的结果解释与后续决策,包括方法未优于基线、结果跨种子变化剧烈、一个指标改善而另一个恶化、基线意外胜出、图表可疑、结果可能由实现或指标缺陷或数据问题或对比不公导致、早期实验提示需要修改算法或论文论点,以及用户询问“这个结果意味着什么”或“下一步该做什么”。限制方面,该技能不用于撰写精炼报告,也不用于处理工程失败类问题;若预期行为未定义则需回到实验设计环节。收费与价格信息暂未提供。