SuperAPI AI 工具集

data-wizard

数据与分析

查看项目

更新于 10-16 02:05

技能介绍

Data Wizard 是一个全栈数据科学与机器学习工程技能,覆盖从探索性数据分析(EDA)到模型部署策略的完整流程。它会根据查询的复杂度分类,自适应地调整分析深度。

用途

该技能用于数据相关工作,包括数据分析与机器学习指导。根据资料,它明确不适用于 ETL、数据库设计等任务。当检测到数据库模式、SQL 优化、索引等信号时,会建议转向 database-architect;前端仪表盘代码建议转向相关前端技能;数据管道、ETL、编排(Airflow、dbt)属于范围外,建议使用数据工程工具;生产基础设施、Kubernetes、扩展建议转向 devops-engineer 或 infrastructure-coder。

主要能力

技能包含九种工作模式:

  • EDA:剖析数据集、汇总统计、缺失模式、分布。
  • Model Selection:为任务推荐模型、库和训练计划。
  • Feature Engineering:建议变换、编码和选择管道。
  • Stats:选择并设计统计假设检验。
  • Visualization:为数据推荐图表类型、编码和布局。
  • Experiment Design:A/B 测试设计、功效分析、CUPED。
  • Time Series:预测方法、分解、模型选择。
  • Anomaly Detection:检测方法、算法选择、阈值策略。
  • MLOps:服务策略、部署管道、监控计划。

可视化子管道包括 viz plan(通过 viz-planner.py 生成 JSON 图表计划)、viz render(通过 viz-renderer.py 生成 PNG/HTML 图表)和 viz dashboard(通过 dashboard-builder.py 生成 HTML EDA 仪表盘)。

数据质量评估通过 data-quality-scorer.py 计算,评分维度包括完整性(25%)、一致性(20%)、准确性(20%)、时效性(15%)、唯一性(20%)。

使用方式

通过命令参数或自然语言触发。例如:

  • /data-wizard eda customer_data.csv
  • /data-wizard model "predict churn from usage features"
  • /data-wizard features sales_data.csv
  • /data-wizard stats "is conversion rate different between groups?"
  • /data-wizard viz time_series_metrics.csv
  • /data-wizard viz plan sales.csv "compare regions"
  • /data-wizard viz dashboard profile.json
  • /data-wizard experiment "new checkout flow increases conversion"
  • /data-wizard timeseries monthly_revenue.csv
  • /data-wizard anomaly server_metrics.csv
  • /data-wizard mlops "churn prediction model"

无参数时展示常见数据科学任务画廊。无模式关键词匹配时,根据自然语言中的关键词自动检测意图并路由到相应模式;若意图不明确,会询问用户属于哪个领域。

复杂度分类基于四个维度(数据复杂度、分析深度、领域特异性、工具广度),每项 0-2 分,总分 0-8,对应三个层级:Quick(0-2)、Standard(3-5)、Full Pipeline(6-8)。评分会展示给用户,用户可覆盖层级。

各模式会调用配套脚本,例如 EDA 模式运行 uv run python scripts/data-profiler.py "$1",模型选择运行 uv run python scripts/model-recommender.py,统计检验运行 uv run python scripts/statistical-test-selector.py,可视化计划运行 uv run python scripts/viz-planner.py <data> --goal "<goal>",渲染运行 uv run python scripts/viz-renderer.py <plan.json> <data> --format png|html,仪表盘运行 uv run python scripts/dashboard-builder.py <profile.json> --output <path>。

技能包含参考文件索引,按需加载:statistical-tests.md、model-selection.md、feature-engineering.md、experiment-design.md、mlops-maturity.md、data-quality.md、visualization.md、dashboard-design.md。加载规则为一次只加载一个参考文件,不预加载。

适用场景

适用于数据探索与剖析、模型选择与训练计划制定、特征工程建议、统计检验设计、图表规划与渲染、EDA 仪表盘构建、A/B 实验设计、时间序列预测、异常检测以及 MLOps 部署策略评估。

限制与关键规则

  • 推荐模型或特征前必须先运行数据剖析器,不得凭猜测判断数据特征。
  • 执行分析前必须展示分类评分,用户可覆盖复杂度层级。
  • 推荐统计检验时必须说明其假设。
  • p 值必须与效应量一同给出。
  • 模型推荐必须包含基线(如逻辑回归、线性回归、朴素预测)。
  • 不得跳过训练/测试集划分策略。
  • 实验设计必须包含功效分析。
  • 特征工程必须处理目标泄漏风险。
  • 时间序列交叉验证必须使用前向验证(walk-forward)。
  • MLOps 建议必须评估当前成熟度,不得为 Level 0 团队推荐 Level 3 自动化。
  • 一次只加载一个参考文件。
  • 数据质量分数必须通过脚本计算,不得估算。

规范术语包括模式名称(EDA、Model Selection、Feature Engineering、Stats、Visualization、Experiment Design、Time Series、Anomaly Detection、MLOps)、层级(Quick、Standard、Full Pipeline)、质量维度(Completeness、Consistency、Accuracy、Timeliness、Uniqueness)和 MLOps 级别(Level 0 手动、Level 1 管道、Level 2 CI/CD+CT、Level 3 全自动)。