SuperAPI AI 工具集

ml-best-practices

数据与分析

查看项目

更新于 10-24 16:17

技能介绍

用途

ml-best-practices 用于在探索性分析、特征工程、模型训练与统计性能验证各环节应用严格的机器学习工程标准。其核心原则是:每一个模型发现都必须基于无泄漏的数据划分、双模型基线与统计置信区间。

主要能力

技能以“核心不变量”形式规定若干硬性要求:

  • 严格训练-测试隔离:在拟合任何缩放器、编码器或变换器之前,始终将数据集划分为训练、验证与测试集。
  • 强制缺失值策略:显式量化缺失值频率,并记录保留、删除或插补的领域理由。
  • 双模型基准:不得孤立依赖单一模型架构,至少训练两个不同的候选模型族,并与朴素基线对照。
  • 统计显著性优于原始均值:对关键评估指标(F1、AUC、RMSE)报告 95% bootstrap 置信区间,以验证统计上的区分度。
  • 叙事优先的 Notebook 结构:每个代码执行单元必须配合一个分析性 Markdown 单元,解释观察到的模式、权衡与结论。

技能给出从原始数据集与目标出发的架构图,分为数据清洁与异常筛查、聚类与预测、分类与回归、统计模型比较几个板块。

使用方式

技能按四步流程展开:

  1. 探索分析与异常检测:检查数据结构、计算汇总统计量,用散点图与直方图可视化目标分布,在建模前检查目标列异常、极端离群值与无意义取值。
  2. 监督建模(分类/回归):在 scikit-learn 管道内应用变换器,且仅在训练数据上拟合;评估正则化以控制过拟合;对高基数名义特征限制基数或使用带折外正则化的目标编码。附带检查清单:按时间顺序划分(若为时序)或使用 StratifiedKFold(若为分类);编码器与缩放器封装在 Pipeline 内且仅在 X_train 上拟合;生成混淆矩阵、ROC 曲线或残差诊断图;缺失值处理附有书面理由。
  3. 无监督聚类与时间序列预测:聚类时标准化特征并优化轮廓系数;预测时检验平稳性与季节性;对时间序列需确认未来信息未泄漏到历史滞后特征中。
  4. 模型比较与 95% bootstrap 置信区间:在相同交叉验证折上基准测试多个候选模型并计算 bootstrap 置信区间;对关键子群体做切片误差分析,并汇总操作性权衡表。

技能还列出反合理化护栏,将常见借口与约束规则对应,例如“划分前标准化无害”对应“仅在训练折上拟合缩放器”;“准确率 94% 即可上线”对应“必须检查 PR-AUC、F1 与混淆矩阵”;“XGBoost 更强所以不需要基线”对应“先建立朴素与线性基线”;“时序数据充分混合后打乱无妨”对应“按时间顺序划分时序数据”。

适用场景

主要用于表格数据的分类、回归、聚类与时间序列预测等统计机器学习建模工作,尤其适合需要严谨评估与可复现实验记录的数据分析流程。

限制

资料未提供该技能的具体安装方式、运行环境要求、支持的平台、收费模式或效果数据,上述内容暂未提供。