用途:用于设计或构建数据管道,解决管道静默失败问题,例如非幂等任务重试时追加重复行、缺少校验导致脏数据向下游传播、未参数化日期导致无法回填等。
主要能力:涵盖 ETL/ELT 架构决策、编排模式(DAG、依赖关系)、幂等与重试策略、数据质量检查、增量与全量刷新、回填模式。核心原则包括:幂等任务(运行两次结果相同)、原子操作(全有或全无,无部分写入)、数据契约(定义阶段间 schema 预期)、可观测管道(每阶段日志、指标、告警)、尽量增量(只处理变更数据)。
用法与模式:推荐幂等写入,例如先按分区日期 DELETE 再 INSERT,避免直接 append;推荐 raw/staged/curated/aggregated 分层;在 transform 后、load 前运行数据校验,如非空、ID 唯一、金额非空且非负等断言。反模式包括非幂等任务、单体 DAG、无校验、硬编码日期和静默失败;对应修复为 DELETE 后 INSERT 或 upsert、拆分为更小 DAG、阶段间加检查、参数化执行日期、不仅对错误也对异常告警。
适用场景:需要设计或构建 ETL 管道、编排 DAG、制定回填与重试策略、加入数据质量检查时。
限制与边界:不覆盖任务内 Python 代码(交给 data-python)、转换内查询模式(交给 data-sql)、AWS 专属服务模式(交给 data-aws)。该资料未提供具体安装命令、收费价格、平台完整支持列表或效果数据,暂未提供。参考文件包括 references/idempotency.md,资产包括 assets/pipeline-checklist.md。