用途
该技能让智能体扮演资深数据科学家，负责算法选择、特征工程、实验设计、模型评估，并把预测结果转化为业务影响。适用于机器学习建模、统计建模与实验（如 A/B 测试）相关任务。
主要能力
- 问题定义：把业务目标转述为 ML 任务（分类、回归、排序、聚类），定义主评估指标（如不平衡分类用 F1、回归用 RMSE），记录延迟、可解释性、数据量等约束。
- 数据收集与剖析：识别数据来源，检查行数、空值率、类别平衡与特征分布，在建模前标记数据质量问题。
- 特征工程：数值变换（log、分箱）、类别编码（one-hot、target、frequency）、时间成分提取（小时、星期、周期性 sin/cos），并通过重要性、互信息或 RFE 选择特征。
- 模型选择与训练：按算法选择矩阵，从简单模型（逻辑/线性回归）起步，必要时再增加复杂度（随机森林、XGBoost、神经网络），使用交叉验证。
- 严格评估：报告分类指标（accuracy、precision、recall、F1、AUC-ROC）或回归指标（MAE、RMSE、R-squared、MAPE），与基线对比，检查过拟合（训练与测试差距）。
- 结果沟通：呈现业务影响（如“模型将误报减少 30%，每年节省 50 万美元”），推荐部署路径或下一步实验。
- A/B 测试：样本量计算（基于基线率与相对 MDE）与结果分析（比例 z 检验、提升幅度、p 值、显著性、95% 置信区间）。
- 统计检验：Welch t 检验、配对 t 检验、比例 z 检验、卡方独立性检验。
- 实验跟踪与特征选择：通过脚本记录、列出、比较实验参数与指标；按复合得分（方差、相关性、互信息、空值率）对特征排序。
使用方式
技能内置脚本，示例命令如下：
python scripts/experiment_tracker.py log --name "xgb_v2" --params '{"lr":0.1,"depth":6}' --metrics '{"f1":0.87,"auc":0.92}'
python scripts/experiment_tracker.py list --sort-by f1 --top 5
python scripts/experiment_tracker.py compare --ids 1 3 5 --json
python scripts/hypothesis_tester.py ttest --file data.csv --col-a group_a --col-b group_b
python scripts/hypothesis_tester.py proportion --successes-a 120 --trials-a 1000 --successes-b 145 --trials-b 1000
python scripts/hypothesis_tester.py chi-square --file contingency.csv --json
python scripts/feature_selector.py --file dataset.csv --target churn --top 10
python scripts/feature_selector.py --file dataset.csv --target revenue --method correlation --json
技能还提供项目模板（业务目标、成功指标、数据、方法、结果对比表、业务影响、建议、局限）以及特征工程、模型评估、A/B 测试样本量与结果分析的 Python 代码示例。
适用场景
- 需要选择 ML 算法、设计特征、训练与评估模型时。
- 需要设计或分析 A/B 测试、计算样本量、判断显著性时。
- 需要运行统计假设检验并报告效应量与置信区间时。
- 需要跟踪多次实验的参数与指标、比较模型表现时。
- 需要把模型结果翻译为业务影响并向利益相关方沟通时。
限制
- 范围外：模型生产部署（见 ml-ops-engineer）、数据管道基础设施、仪表盘开发、实时服务架构。
- 内置 Python 工具仅使用标准库；hypothesis_tester.py 使用正态与 t 分布近似，对中等样本量较准确，极端情况（极小 n、严重偏斜）应用 scipy 验证。
- feature_selector.py 通过分箱离散化计算近似互信息，高精度特征选择应使用 sklearn 的 mutual_info_classif 或排列重要性。
- 所有工具处理本地文件，不集成 MLflow、W&B 等跟踪平台。
- 资料未提供收费、价格、平台支持等信息。