Model Evaluator 是 SpecWeave 提供的机器学习模型评估工具,旨在按 ML 最佳实践给出全面、无偏的评估,而不只看准确率。
用途:在模型训练完成后进行多维度评估,为部署决策提供依据;也可在同一增量(increment)内对比多个候选模型。
主要能力:
- 分类指标:Accuracy、Precision、Recall、F1、ROC AUC、PR AUC、混淆矩阵、多分类的每类指标,并处理类别不平衡。
- 回归指标:RMSE、MAE、MAPE、R²、调整 R²,以及残差分析和预测区间覆盖率。
- 排序指标(推荐场景):Precision@K、Recall@K、NDCG@K、MAP@K、MRR,以及覆盖率与多样性。
- 统计验证:K 折、分层与时间序列交叉验证,置信区间,显著性检验,校准曲线。
使用方式:通过 Python 导入 ModelEvaluator,传入 model、X_test、y_test 和 increment 编号,调用 evaluate_all() 生成评估报告(Markdown)与可视化(混淆矩阵、ROC 曲线等)及统计检验结果。也提供 compare_models(),传入多个模型与指标列表,输出包含准确率、AUC、F1、推理时间和模型大小的对比表,并给出推荐结论。
SpecWeave 集成命令:/ml:evaluate-model 0042、/ml:compare-models 0042、/ml:evaluation-report 0042,评估结果会自动写入 increment 的 COMPLETION-SUMMARY.md。
适用场景:分类、回归、推荐排序等模型的训练后评估、基线对比、过拟合检查与部署前审查。
限制:资料未提供支持的框架、依赖版本、安装命令、性能上限或收费信息。评估需要提供测试集数据;具体指标可用性取决于任务类型,部分能力(如排序指标)仅适用于相应场景。