用途:在机器学习系统部署前、中、后评估模型,回答决策依据、数据分布、失败成本、指标编码以及改进是否真实等问题。
主要能力:提供评估设计清单、划分策略、数据泄漏防范清单、按任务选指标(分类、回归、排序、检索、预测、生成、嵌入/RAG)、统计比较方法(自助法置信区间、McNemar 检验)、温度缩放校准、结构化错误分析、负责任 AI 与鲁棒性评估、生产评估建议及常见失败模式。
使用方式(必要示例保持原样):
- 划分前拟合:仅在训练子集上 scaler.fit()、imputer.fit()、encoder 拟合,不得在全量数据上拟合。
- 分组隔离:共享患者 ID、公司 ID、会话 ID 等分组因子的数据点不得同时出现在训练集和测试集。
- 无划分前增强:类别过采样(如 SMOTE)或数据增强须在划分之后进行。
- 统计比较:使用成对比较,模型在同一批样本上评估;可用自助法置信区间与 McNemar 检验。
- 阈值与校准:在验证集上优化阈值,在测试集报告锁定阈值性能;当决策使用概率时进行校准。
适用场景:分类、回归、排序/检索、预测、生成、嵌入/RAG;高代价决策、生产上线前后、公平性与鲁棒性评估。
限制:离线指标必要但不充分,需影子评估、回放、金丝雀或 A/B 测试;须制定监控与回滚计划。资料未提供具体安装命令、收费、价格、平台与效果保证。