SuperAPI AI 工具集

transforming-data

数据与分析

查看项目

更新于 10-15 19:56

技能介绍

用途:在数据栈中选型并实现数据转换,把原始数据加工为干净、经过测试和文档化的分析数据集。适用于 ETL 与 ELT 模式选择、构建 dbt 模型(staging/intermediate/marts)、增量加载与合并策略、pandas 迁移到 polars、用依赖与重试编排管道、添加数据质量测试、用 PySpark 处理大数据集。

主要能力:ETL/ELT 决策框架(默认推荐 ELT + dbt,除非合规或性能约束要求 ETL);DataFrame 库选型(pandas <500MB、polars 500MB-100GB、PySpark >100GB);编排工具选型(Airflow、Dagster、Prefect);dbt 分层建模与物化类型(view/table/incremental/ephemeral);dbt 测试与 Great Expectations 数据质量校验;窗口函数等高级 SQL;幂等性、增量加载、错误处理与监控等生产实践。

使用方式:安装命令保持原样,如 pip install dbt-core dbt-snowflake、pip install polars、pip install apache-airflow。dbt 增量模型用 config(materialized='incremental', unique_key='order_id') 配合 is_incremental() 过滤;polars 用 scan_csv 惰性求值并以 collect() 执行;Airflow 用 DAG 定义调度与重试,任务依赖用 >> 表达线性、扇出、扇入。

适用场景:现代云数仓(Snowflake、BigQuery、Databricks)上的分析转换、事件日志与事实表增量处理、大规模分布式处理、ML 管道与数据血缘管理。

限制:资料未提供具体收费、价格、平台支持范围与效果数据;各工具版本兼容性、集群资源要求及实际性能表现暂未提供,需自行验证。