用途:在模型训练完成后进行性能评估、多模型比较、过拟合/欠拟合诊断、超参数调优与生产就绪检查。
主要能力:提供评估工作流,包括交叉验证策略(K折、分层K折、TimeSeriesSplit、GroupKFold)、指标选择(分类:accuracy、precision、recall、F1、ROC-AUC、PR-AUC;回归:MAE、RMSE、R²、MAPE;排序:NDCG、MAP;以及业务自定义指标)、性能分析(交叉验证均值±标准差、验证曲线、学习曲线、分群误差分析)、模型比较(配对t检验、McNemar、概率校准、速度与精度权衡)。
工具选择:交叉验证用 sklearn.model_selection;指标用 sklearn.metrics;超参数调优用 Optuna 或 Ray Tune;模型比较用 scikit-learn 加统计检验;实验跟踪用 MLflow 或 Weights & Biases。
核心规则:始终使用恰当验证,如 StratifiedKFold(n_splits=5, shuffle=True, random_state=42) 配合 cross_val_score;指标需匹配问题类型;系统分析误差;用 MLflow 记录参数、指标与模型。
常见反模式:仅用单次训练/测试划分、在不平衡数据上优化准确率、预处理数据泄漏、概率输出未检查校准、忽略推理速度与内存约束、不做误差分析。
限制:资料未提供具体收费、平台支持范围或效果保证;相关参考文档路径为 ../references/cross-validation.md、../references/metrics-guide.md、../references/hyperparameter-tuning.md、../references/experiment-tracking.md。