SuperAPI AI 工具集

light-result-analysis

智能体与模型

查看项目

更新于 10-16 06:23

技能介绍

用途:在实验跑完或需要解读数据、回答“这些结果说明什么”时,对指标、模型输出与图表做逐层深入分析,从描述、解释、诊断到洞察与后续行动,而非仅判断好坏。

主要能力:统计推断方面要求多随机种子、报告均值±标准差,按正态性与组数自动选择 Welch t、Mann-Whitney U、ANOVA+Tukey 或 two-proportion z-test,并给出 p 值、效应量与置信区间,跨比较用 BH-FDR 校正;支持配对设计识别,方法在同一批种子/折/样本上评测时用配对 t 或 Wilcoxon 符号秩。还包括切片分析防聚合指标盲区、消融自洽性检查、失败案例与 SHAP 可解释性分析、train/val/test 差距与特征泄漏排查、数据漂移监控及网络关系分析。工具链涉及 statsmodels、SHAP、matplotlib/seaborn、plotly/altair、Evidently、deepchecks 与 networkx。

使用方式:提供即用脚本 analyze_results.py 分析结果 csv,用法为 python scripts/analyze_results.py results.csv --group method --metric acc f1,共享种子时加 --paired-by seed;significance_test.py 提供统计函数库;make_figs.py 产出出版级图形;leakage_overfit_check.py 检查泄漏与过拟合;explain_shap.py 生成 beeswarm、bar、waterfall 三图;examples/worked_example.py 演示端到端流程。产出包括 claim↔证据对应表、亮点清单、异常清单、待补实验清单和推荐图表清单。

限制:资料未说明完整运行环境与全部依赖安装细节;SHAP 反映模型非因果;KernelExplainer 计算昂贵;强相关特征会稀释贡献;小样本切片不应下强结论;Evidently 等接口对版本敏感;部分能力依赖第三方库,缺失时会降级处理。