用途:为生产级 AI/ML/数据系统提供资深数据科学家工作流,聚焦统计建模、实验设计、因果推断与预测分析。
主要能力:1) A/B 测试:用 calculate_sample_size(baseline_rate, mde) 预估每组样本量,用 analyze_experiment(control, treatment) 做双比例 z 检验,输出 lift、p 值、显著性与 95% 置信区间;检查清单要求预先注册单一主指标、按用户而非会话随机化、至少跑满一个完整业务周期、检查样本比例失衡、多重指标用 Bonferroni 校正。2) 特征工程:build_feature_pipeline 构建数值/类别列转换器,add_time_features 生成周期性时间特征;要求仅在训练集拟合转换器、对右偏特征做对数变换、高基数类别用目标编码或嵌入、切分前生成滞后/滚动特征。3) 模型评估:evaluate_model 用 StratifiedKFold 交叉验证输出均值±标准差及过拟合差距,train_and_log 将参数、指标与模型记录到 MLflow;建议不平衡数据同时报告 AUC-PR,上线前做概率校准,用 SHAP 验证特征重要性,并与基线模型对比。4) 因果推断:diff_in_diff 用 OLS 估计 ATT,使用 HC3 稳健标准误,需先验证平行趋势。
使用方式:技能内含参考文档(statistical_methods_advanced.md、experiment_design_frameworks.md、feature_engineering_patterns.md)与脚本,如 python3 scripts/experiment_designer.py --input experiment_spec.json --output experiment_design.json,脚本输出 JSON 运行报告,状态非 completed 表示该阶段失败。测试与检查命令:python -m pytest tests/ -v --cov=src/、python -m black src/ && python -m pylint src/。
适用场景:A/B 实验设计与分析、表格数据特征工程、分类模型训练评估与实验追踪、基于观测数据的政策/干预效果评估。
限制:资料未提供具体安装命令、依赖版本、收费与平台支持信息;脚本为 stdlib 运行器,需自行在 process() 中补充项目逻辑。