Data Wizard 是一个全栈数据科学与机器学习工程技能,覆盖从探索性数据分析(EDA)到模型部署策略的完整流程。它会根据查询的复杂度分类,自适应地调整分析深度。
用途
该技能用于数据相关工作,包括数据分析与机器学习指导。根据资料,它明确不适用于 ETL、数据库设计等任务。当检测到数据库模式、SQL 优化、索引等信号时,会建议转向 database-architect;前端仪表盘代码建议转向相关前端技能;数据管道、ETL、编排(Airflow、dbt)属于范围外,建议使用数据工程工具;生产基础设施、Kubernetes、扩展建议转向 devops-engineer 或 infrastructure-coder。
主要能力
技能包含九种工作模式:
- EDA:剖析数据集、汇总统计、缺失模式、分布。
- Model Selection:为任务推荐模型、库和训练计划。
- Feature Engineering:建议变换、编码和选择管道。
- Stats:选择并设计统计假设检验。
- Visualization:为数据推荐图表类型、编码和布局。
- Experiment Design:A/B 测试设计、功效分析、CUPED。
- Time Series:预测方法、分解、模型选择。
- Anomaly Detection:检测方法、算法选择、阈值策略。
- MLOps:服务策略、部署管道、监控计划。
可视化子管道包括 viz plan(通过 viz-planner.py 生成 JSON 图表计划)、viz render(通过 viz-renderer.py 生成 PNG/HTML 图表)和 viz dashboard(通过 dashboard-builder.py 生成 HTML EDA 仪表盘)。
数据质量评估通过 data-quality-scorer.py 计算,评分维度包括完整性(25%)、一致性(20%)、准确性(20%)、时效性(15%)、唯一性(20%)。
使用方式
通过命令参数或自然语言触发。例如:
/data-wizard eda customer_data.csv/data-wizard model "predict churn from usage features"/data-wizard features sales_data.csv/data-wizard stats "is conversion rate different between groups?"/data-wizard viz time_series_metrics.csv/data-wizard viz plan sales.csv "compare regions"/data-wizard viz dashboard profile.json/data-wizard experiment "new checkout flow increases conversion"/data-wizard timeseries monthly_revenue.csv/data-wizard anomaly server_metrics.csv/data-wizard mlops "churn prediction model"
无参数时展示常见数据科学任务画廊。无模式关键词匹配时,根据自然语言中的关键词自动检测意图并路由到相应模式;若意图不明确,会询问用户属于哪个领域。
复杂度分类基于四个维度(数据复杂度、分析深度、领域特异性、工具广度),每项 0-2 分,总分 0-8,对应三个层级:Quick(0-2)、Standard(3-5)、Full Pipeline(6-8)。评分会展示给用户,用户可覆盖层级。
各模式会调用配套脚本,例如 EDA 模式运行 uv run python scripts/data-profiler.py "$1",模型选择运行 uv run python scripts/model-recommender.py,统计检验运行 uv run python scripts/statistical-test-selector.py,可视化计划运行 uv run python scripts/viz-planner.py <data> --goal "<goal>",渲染运行 uv run python scripts/viz-renderer.py <plan.json> <data> --format png|html,仪表盘运行 uv run python scripts/dashboard-builder.py <profile.json> --output <path>。
技能包含参考文件索引,按需加载:statistical-tests.md、model-selection.md、feature-engineering.md、experiment-design.md、mlops-maturity.md、data-quality.md、visualization.md、dashboard-design.md。加载规则为一次只加载一个参考文件,不预加载。
适用场景
适用于数据探索与剖析、模型选择与训练计划制定、特征工程建议、统计检验设计、图表规划与渲染、EDA 仪表盘构建、A/B 实验设计、时间序列预测、异常检测以及 MLOps 部署策略评估。
限制与关键规则
- 推荐模型或特征前必须先运行数据剖析器,不得凭猜测判断数据特征。
- 执行分析前必须展示分类评分,用户可覆盖复杂度层级。
- 推荐统计检验时必须说明其假设。
- p 值必须与效应量一同给出。
- 模型推荐必须包含基线(如逻辑回归、线性回归、朴素预测)。
- 不得跳过训练/测试集划分策略。
- 实验设计必须包含功效分析。
- 特征工程必须处理目标泄漏风险。
- 时间序列交叉验证必须使用前向验证(walk-forward)。
- MLOps 建议必须评估当前成熟度,不得为 Level 0 团队推荐 Level 3 自动化。
- 一次只加载一个参考文件。
- 数据质量分数必须通过脚本计算,不得估算。
规范术语包括模式名称(EDA、Model Selection、Feature Engineering、Stats、Visualization、Experiment Design、Time Series、Anomaly Detection、MLOps)、层级(Quick、Standard、Full Pipeline)、质量维度(Completeness、Consistency、Accuracy、Timeliness、Uniqueness)和 MLOps 级别(Level 0 手动、Level 1 管道、Level 2 CI/CD+CT、Level 3 全自动)。