用途
该技能定位为数据管道架构专家，用于处理可扩展、可靠且成本高效的数据管道设计，覆盖批处理与流式数据处理。当用户需要数据管道架构方面的指导、最佳实践或检查清单时使用；与数据管道架构无关的任务，或需要其他领域/工具的任务，不适用本技能。
主要能力
- 设计 ETL/ELT、Lambda、Kappa 和 Lakehouse 架构
- 实现批处理与流式数据摄取
- 使用 Airflow/Prefect 构建工作流编排
- 使用 dbt 和 Spark 进行数据转换
- 管理 Delta Lake/Iceberg 存储并支持 ACID 事务
- 实现数据质量框架（Great Expectations、dbt tests）
- 使用 CloudWatch/Prometheus/Grafana 监控管道
- 通过分区、生命周期策略和计算优化来降低成本
使用方式
技能以指令形式组织，包含架构设计、摄取实现、编排、dbt 转换、数据质量框架、存储策略、监控与成本优化等步骤。
架构设计：评估来源、数据量、延迟要求和目标；选择模式（ETL 先转换后加载、ELT 先加载后转换、Lambda 批处理加速度层、Kappa 仅流式、Lakehouse 统一）；设计流程为来源 → 摄取 → 处理 → 存储 → 服务；并加入可观测性触点。
摄取实现：批处理方面包括使用水位列进行增量加载、带指数退避的重试逻辑、模式验证与无效记录的死信队列、元数据跟踪（_extracted_at、_source）；流式方面包括具有精确一次语义的 Kafka 消费者、在事务内手动提交偏移量、基于时间的聚合窗口、错误处理与重放能力。
编排：Airflow 使用任务组进行逻辑组织、XCom 进行任务间通信、SLA 监控与邮件告警、基于 execution_date 的增量执行、带指数退避的重试；Prefect 使用任务缓存保证幂等性、通过 .submit() 并行执行、Artifacts 提供可见性、可配置延迟的自动重试。
dbt 转换：暂存层使用增量物化、去重、处理迟到数据；集市层使用维度模型、聚合、业务逻辑；测试包括 unique、not_null、relationships、accepted_values 及自定义数据质量测试；来源包括新鲜度检查、loaded_at_field 跟踪；增量策略为 merge 或 delete+insert。
数据质量框架：Great Expectations 在表级检查行数、列数，在列级检查唯一性、可空性、类型验证、值集合、范围，使用 Checkpoints 执行验证，Data docs 生成文档，失败时通知；dbt Tests 在 YAML 中定义模式测试，使用 dbt-expectations 编写自定义数据质量测试，测试结果记录在元数据中。
存储策略：Delta Lake 支持 append/overwrite/merge 模式的 ACID 事务、基于谓词匹配的 upsert、时间旅行查询，通过 compact 小文件、Z-order 聚类优化，使用 vacuum 清理旧文件；Apache Iceberg 支持分区与排序优化、MERGE INTO 进行 upsert、快照隔离与时间旅行、binpack 策略文件压缩、快照过期清理。
监控与成本优化：监控记录处理/失败记录数、数据大小、执行时间、成功/失败率，使用 CloudWatch 指标与自定义命名空间、SNS 告警（critical/warning/info）、数据新鲜度检查、性能趋势分析；成本优化包括分区（按日期/实体，避免过度分区，保持大于 1GB）、文件大小（Parquet 为 512MB-1GB）、生命周期策略（热 Standard → 温 IA → 冷 Glacier）、计算（批处理用 spot 实例、流式用按需、临时用 serverless）、查询优化（分区裁剪、聚类、谓词下推）。
适用场景
适用于数据管道架构任务或工作流，例如需要架构设计指导、摄取实现、编排、转换、数据质量、存储、监控与成本优化等。
限制
不适用于与数据管道架构无关的任务，或需要本范围之外的其他领域或工具的任务。技能要求提供 $ARGUMENTS。
输出交付物
架构文档：包含数据流的架构图、技术栈及理由、可扩展性分析与增长模式、故障模式与恢复策略。
实现代码：摄取（带错误处理的批处理/流式）、转换（dbt 模型暂存 → 集市或 Spark 作业）、编排（带依赖的 Airflow/Prefect DAG）、存储（Delta/Iceberg 表管理）、数据质量（Great Expectations 套件与 dbt 测试）。
配置文件：编排（DAG 定义、调度、重试策略）、dbt（模型、来源、测试、项目配置）、基础设施（Docker Compose、K8s 清单、Terraform）、环境（dev/staging/prod 配置）。
监控与可观测性：指标（执行时间、处理记录数、质量分数）、告警（失败、性能下降、数据新鲜度）、仪表盘（Grafana/CloudWatch 展示管道健康）、日志（带关联 ID 的结构化日志）。
运维指南：部署流程与回滚策略、常见问题排查指南、容量增长的扩展指南、成本优化策略与节省、灾难恢复与备份流程。
成功标准
管道满足定义的 SLA（延迟、吞吐量）；数据质量检查通过率超过 99%；失败时自动重试与告警；全面监控展示健康与性能；文档支持团队维护；成本优化将基础设施成本降低 30-50%；模式演进无需停机；端到端数据血缘可追踪。