SuperAPI AI 工具集

data-pipelines

数据与分析

查看项目

更新于 10-26 16:16

技能介绍

用途

Data Pipelines 是一个面向数据工程实践的技能,提供资深数据工程师在构建生产数据管道时的决策框架。当用户从头设计 ETL 或 ELT 管道、编写或调试 Airflow DAG、创建 dbt 模型/测试/宏、优化 Spark 作业、在流式与批处理之间做决策、实现增量加载或变更数据捕获(CDC)、规划数据仓库或湖仓架构,或需要数据质量检查、模式演进与管道监控时,可启用该技能。技能明确不适用于 BI/分析仪表盘设计与可视化(应使用分析类技能),也不适用于机器学习模型训练或特征工程(应使用 ML/数据科学类技能)。

主要能力

技能围绕数据工程的五个支柱展开:摄取模式(ETL 与 ELT)、编排(Airflow)、转换(dbt)、大规模处理(Spark)和架构选择(流式与批处理),重点说明每种模式的使用时机与权衡。

核心原则包括:幂等性不可妥协,同一输入的每次运行必须产生相同输出,应使用日期分区、合并键或 upsert 逻辑保证重试不损坏数据;现代技术栈优先 ELT,先加载原始数据再在仓库内转换,以保留事实来源并支持模式读时解析,但在需要在落地前过滤敏感数据时 ETL 仍更合适;分区与增量,避免全量重载;使用编排器而非脚本,由 Airflow、Dagster 或 Prefect 管理调度与状态;像测试代码一样测试数据,使用模式测试、行数检查、唯一性约束和新鲜度 SLA 在每个阶段设卡。

技能还涵盖:管道生命周期的四个阶段(摄取、编排、转换、服务)及对应工具;流式与批处理的架构决策(Lambda 与 Kappa 架构);数据质量断言与 dbt schema 测试示例;以及常见反模式表,如每次全量重载、在 Airflow 操作符中嵌入业务逻辑、缺少暂存层、忽略 Spark 数据倾斜、跳过模式测试、过度工程化流式、硬编码日期、缺少失败告警等。

使用方式

该技能以指导性文档形式提供,激活后首次响应以 🧢 emoji 开头。文中给出可参考的代码示例,包括 Airflow DAG 结构(含 default_args、schedule、catchup、PythonOperator 与 BigQueryInsertJobOperator 的任务依赖)、dbt 三层项目结构(staging/intermediate/marts)与增量模型配置(materialized、unique_key、on_schema_change、is_incremental 条件)、Spark 广播小表与按日期重分区写出示例、dbt schema.yml 数据质量测试示例等。技能还包含注意事项(如 dbt 增量模型未设 unique_key 导致重复、Airflow catchup=True 触发大量回填、硬编码日期破坏幂等性、数据倾斜使单个 Spark 任务慢 10 倍、为批处理兼容需求过度工程化流式)以及 references/ 文件夹中的详细参考文件(airflow-patterns.md、dbt-patterns.md、spark-tuning.md、streaming-architecture.md),仅在任务需要时加载以节省上下文。首次激活时会检查已安装的伴随技能,缺失时提示安装命令:npx skills add AbsolutelySkilled/AbsolutelySkilled --skill <name>。

适用场景

适用于数据工程师构建生产数据管道、设计 ETL/ELT 流程、编写 Airflow DAG、创建 dbt 模型与测试、调优 Spark 作业、决定流式或批处理架构、实现增量加载与 CDC、规划数据仓库或湖仓架构、以及实施数据质量与管道监控的场景。

限制

技能不涉及 BI/分析仪表盘设计与可视化,也不涉及机器学习模型训练或特征工程。文中未提供关于收费、价格、平台支持范围或具体效果承诺的信息。