SuperAPI AI 工具集

data-pipeline-spec

数据与分析

查看项目

更新于 10-16 06:48

技能介绍

用途:当需要设计数据管道、编写 ETL/ELT 流程规格、记录数据摄取工作流时使用,产出完整的数据管道规格文档,便于工程交接或架构评审。

主要能力:规格覆盖数据源、转换逻辑、目标端、调度与 SLA、错误处理、数据质量规则、监控与可观测性、依赖与顺序、安全与合规。输出结构包含概述、来源、摄取层、转换逻辑、目标、调度与 SLA、数据质量规则、错误处理与恢复、监控、依赖、安全合规等章节,并附质量检查清单与反模式提示。

必要输入:需向用户确认管道用途、来源系统、目标端、转换类型(ETL 或 ELT)、频率与 SLA、数据量估算、数据质量要求、团队或技术栈。

使用方式:按模板逐项填写,转换步骤按执行顺序列出,业务逻辑规则需文档化而非仅写 SQL;SLA 需与消费方商定;数据质量检查覆盖完整性、唯一性、新鲜度与数据量;失败模式需指定恢复负责人;PII 字段需识别并给出处理方案。

适用场景:Salesforce 到 Snowflake 同步、Stripe 事件入仓、用户活动数据 ETL、dbt 管道文档化、高管看板数据供给等。

限制:资料未提供具体工具实现细节、收费或价格信息;反模式包括未定义 SLA、省略错误处理与死信队列、未记录去重键、数据质量规则隐式化、忽略模式演进。