SuperAPI AI 工具集

senior-data-scientist

数据与分析

查看项目

更新于 10-16 08:05

技能介绍

用途:构建从数据探索到模型部署的端到端数据科学工作流,覆盖数据预处理、特征工程、模型选择、超参数调优、交叉验证、实验跟踪(MLflow/W&B)、统计检验与可视化,并遵循 Jupyter Notebook 实践。启用时先声明:I'm using the senior-data-scientist skill for data science workflow.

主要能力按四阶段展开。阶段一数据理解:加载并画像数据集(形状、类型、分布),识别缺失值、离群值与数据质量问题,做探索性分析,定义目标变量与成功指标,并先建立基线模型(分类用多数类分类器/逻辑回归,回归用均值/线性回归,时间序列用朴素/季节朴素)。阶段二特征工程:缺失值处理(删除行、均值/中位数、众数、KNN、迭代、标记加填补)、分类编码(独热、标签/序数、目标、频率、二进制)、数值缩放(StandardScaler、RobustScaler、MinMaxScaler),以及数值、时间、文本、分类特征衍生与特征选择(相关矩阵、互信息、RFE、L1、树模型重要性、置换重要性)。阶段三建模:按数据特征选择算法(如 XGBoost、LightGBM、随机森林、Prophet、Transformer 等),选择交叉验证策略(K 折、分层、时间序列、分组、留一),选用评估指标(AUC-ROC、Macro F1、RMSE、NDCG 等),并用网格、随机、贝叶斯(Optuna)或逐次减半调参。阶段四部署:序列化模型与预处理管线,创建预测 API 或批量管线,配置数据漂移与模型退化监控,编写模型卡。

使用方式:实验跟踪采用 MLflow,例如 mlflow.set_experiment("customer-churn-prediction"),在 mlflow.start_run 中记录参数、指标、产物与模型;需记录参数、指标、数据版本、产物与元数据。统计检验按问题选用 t 检验、Mann-Whitney U、配对 t 检验、ANOVA、卡方、Shapiro-Wilk、Kolmogorov-Smirnov,并报告效应量、校正多重比较。可视化按数据类型选用相应图表与库,注意标题、坐标轴单位、色盲友好配色、柱状图 y 轴从 0 开始。Notebook 建议结构为 Setup、Data Loading、EDA、Preprocessing、Feature Engineering、Modeling、Evaluation、Conclusions,分享前重启并全部运行。

限制与注意事项:资料未提供定价、平台支持范围或具体性能承诺。流程要求先建立基线再建模,特征工程仅基于训练数据,严禁数据泄漏;不要用测试集调参,不平衡数据不宜只看准确率;部署后必须监控输入分布漂移。超参数与算法选择需结合数据特征、业务需求与算力约束灵活调整。