SuperAPI AI 工具集

model-evaluator-validator

数据与分析

查看项目

更新于 10-15 23:59

技能介绍

用途:该技能让智能体充当质量保证与统计验证角色,审查已训练模型的预测结果,判断模型性能优势是否有统计证据支撑,而非仅凭指标均值差异下结论。依赖 data-scientist-analyst。

主要能力:读取含真实值(y_true)与预测值(y_pred)的输出文件,识别任务类型(分类、回归、时间序列预测);用 Python 独立复算 Accuracy、F1、ROC-AUC、RMSE、MAE、R-Squared 等指标,防止训练方报告偏差;与朴素模型或多数类基线对比;执行统计显著性检验,如回归误差用 Paired T-Test 或 Wilcoxon Signed-Rank Test,分类用 McNemar,ROC-AUC 比较用 DeLong's Test,预测用 Diebold-Mariano Test;对回归做残差分析,包括 Shapiro-Wilk 正态性、Breusch-Pagan 异方差、Durbin-Watson 自相关检验;输出 validation_report.md,含 p 值汇总表与学术化结论,并说明异常或假设失败。

使用方式:示例指令为“使用 model-evaluator-validator 评估 predictions.csv 的预测结果,并用 McNemar test 检验 Model A 相对 Model B 的统计显著性”。结果需提交给写作智能体用于综合阶段。

限制与注意:不得只报告性能而不做统计检验;不得对非正态数据误用参数检验;回归分析不可忽略经典假设;不可直接采信训练方指标而不独立复算。具体安装命令、价格与平台支持暂未提供。