用途
analyze-results 是一个面向机器学习实验的分析技能,用于在完成一组或多组实验后,对结果进行系统化的整理、统计与解读。它的典型触发场景是用户提出“analyze results”“compare”或表达需要对比实验结果时。
主要能力
该技能按照一个固定的工作流执行分析:
1. 定位结果:查找所有相关的结果文件,通常为 JSON 或 CSV 格式,检查 figures/、results/ 或项目特定的输出目录,并将 JSON 结果解析为结构化数据。
2. 构建对比表:按自变量与因变量组织数据。自变量包括模型类型、超参数、数据配置等;因变量包括主要指标(如困惑度、准确率、损失)和次要指标。表格中始终计算相对基线的提升(delta vs baseline)。
3. 统计分析:如果实验使用了多个随机种子,则报告均值与标准差,并检查可复现性;如果正在扫描某个参数,则识别趋势,例如单调、U 形或平台期;同时对异常值或可疑结果进行标记。
4. 生成洞察:对每一条发现,按四个层次结构化呈现:观察(数据展示了什么,附带具体数值)、解释(可能的原因)、意义(对研究问题意味着什么)、下一步(什么样的实验可以检验该解释)。
5. 更新文档:如果发现足够重要,会建议更新项目笔记或实验报告,并起草一段一到两句话的简洁结论陈述。
使用方式
通过用户指令触发,例如说出“analyze results”或“compare”。技能内部以 $ARGUMENTS 的形式接收分析目标参数。
输出格式
该技能要求输出始终包含三部分:原始数据表、编号且简洁的关键发现,以及(如有)建议的后续实验。
适用场景
适合在机器学习研究过程中需要快速汇总多组实验结果、评估相对基线的改进、检查可复现性、排查异常结果,或为后续实验方向提供依据时使用。
限制
当前资料未提供该技能所依赖的具体平台、版本要求、文件路径约定之外的运行限制,以及任何收费或价格信息。