SuperAPI AI 工具集

senior-data-scientist

数据与分析

查看项目

更新于 10-15 17:29

技能介绍

用途:该技能用于统计建模、实验设计与分析、机器学习部署和数据驱动决策,适用于设计或分析 A/B 测试、构建特征工程流水线、训练评估或部署 ML 模型、从观察数据估计处理效应等场景。

主要能力:实验设计与分析(假设构建、功效分析与样本量、随机化、SRM 监控、事后显著性检验);特征工程(数据剖析、候选特征生成、基于方差/相关性/SHAP/RFE 的选择、泄漏验证);模型训练与评估(分层/时间切分、基线、超参调优、交叉验证、校准、公平性检查);生产部署(容器化服务、输入输出漂移监控 KS/PSI、金丝雀发布、延迟与错误 SLA);因果推断(倾向得分匹配、双重差分、断点回归、工具变量、假设与安慰剂检验)。

使用方式:提供三个脚本——scripts/experiment_designer.py(A/B 测试设计、功效分析、样本量计算)、scripts/feature_engineering_pipeline.py(自动特征生成、相关性分析、特征选择)、scripts/model_evaluation_suite.py(模型比较、交叉验证、部署就绪检查);假设检验、因果推断与回归使用内联 scipy/statsmodels,详见 references/statistical_methods_advanced.md。执行前需确认任务类型、数据集与目标变量、决策指标与最小可检测效应;若信息不明应先询问,用户要求直接起草时需在产物顶部列出假设。

限制:不覆盖数据工程基础设施、大规模深度学习架构与分布式 GPU 训练、提示工程与 RAG 及 LLM 微调、计算机视觉流水线,这些分别由其他技能处理。具体性能指标与完整 CLI 参数见对应参考文档。