SuperAPI AI 工具集

transforming-data

数据与分析

查看项目

更新于 10-16 01:36

技能介绍

用途:在现代数据栈中选择并实现数据转换模式,把原始数据加工为干净、经过测试和文档化的分析数据集,涉及 SQL(dbt)、Python 数据框(pandas、polars、PySpark)与流水线编排(Airflow、Dagster、Prefect)。

主要能力:提供 ETL 与 ELT 的选型框架(默认推荐 ELT + dbt,除非有合规或性能约束);dbt 分层建模(staging、intermediate、marts)与物化类型(view、table、incremental、ephemeral)、增量加载与 merge 策略、dbt 测试;pandas/polars/PySpark 的转换写法与迁移路径(pandas→polars 或 pandas→PySpark);Airflow DAG 结构与任务依赖模式(线性、扇出、扇入);数据质量测试(dbt 通用/单例测试、Great Expectations);窗口函数等高级 SQL;幂等性、错误处理与监控等生产实践。

使用方式:按数据规模与场景选择工具。数据小于 500MB 用 pandas;500MB–100GB 用 polars;超过 100GB 用 PySpark。编排默认 Airflow,重 dbt 场景可选 Dagster,动态工作流可选 Prefect。安装命令:pip install dbt-core dbt-snowflake;pip install polars;pip install apache-airflow。

适用场景:构建 dbt 模型、实现增量加载、迁移 pandas 到 polars、编排带依赖与重试的数据流水线、添加数据质量测试、用 PySpark 处理大数据集、搭建生产级转换工作流。

限制:资料未提供具体收费、价格、平台支持范围与效果数据;工具选型建议为通用经验,实际需结合合规、性能与现有基础设施判断。