SuperAPI AI 工具集

analyze-results

通用与其它

查看项目

更新于 10-15 20:05

技能介绍

用途:分析机器学习实验结果,计算统计指标,生成对比表与结论,适用于用户提出“analyze results”“compare”或需要比较实验数据的场景。

主要能力与流程:

  1. 定位结果:在 figures/、results/ 或项目特定输出目录中查找相关 JSON/CSV 结果文件,并将 JSON 解析为结构化数据。
  2. 构建对比表:按自变量(模型类型、超参数、数据配置)与因变量(主指标如 perplexity、accuracy、loss,以及次要指标)组织结果,并始终计算相对基线的提升幅度。
  3. 统计分析:若存在多个随机种子,报告均值 ± 标准差并检查可复现性;若在扫描某参数,识别趋势(单调、U 形、平台期);标记异常或可疑结果。
  4. 生成洞察:每条发现按“观察(含数字)—解释—对研究问题的意义—下一步验证实验”的结构组织。
  5. 更新文档:若发现显著,建议更新项目笔记或实验报告,并起草 1-2 句简洁的结论陈述。

输出格式:始终包含原始数据表、编号的关键发现,以及建议的后续实验(如有)。

使用方式:该技能以 $ARGUMENTS 接收分析目标参数,具体调用命令与安装方式暂未提供。

限制:资料未说明支持的指标类型、文件格式细节、依赖环境或平台范围,暂未提供。