用途
该技能面向数据管道架构任务与工作流，提供指导、最佳实践和检查清单，覆盖批处理与流式数据处理的可扩展性、可靠性和成本效益设计。不适用于与数据管道架构无关的任务，也不适用于该范围之外的其它领域或工具。
主要能力
- 设计 ETL/ELT、Lambda、Kappa 和 Lakehouse 架构。
- 实现批处理与流式数据摄取。
- 使用 Airflow/Prefect 构建工作流编排。
- 使用 dbt 和 Spark 转换数据。
- 管理具有 ACID 事务的 Delta Lake/Iceberg 存储。
- 实现数据质量框架（Great Expectations、dbt tests）。
- 使用 CloudWatch/Prometheus/Grafana 监控管道。
- 通过分区、生命周期策略和计算优化来优化成本。
使用方式
技能要求提供 $ARGUMENTS。其工作流程涉及以下步骤：
- 架构设计：评估来源、数据量、延迟要求、目标；选择 ETL、ELT、Lambda、Kappa 或 Lakehouse 模式；设计从来源到摄取、处理、存储、服务的数据流；添加可观测性触点。
- 摄取实现：批处理包含水位线增量加载、指数退避重试、模式验证与死信队列、元数据跟踪；流式包含 Kafka 精确一次消费、事务内手动提交偏移、时间窗口聚合、错误处理与回放。
- 编排：Airflow 使用任务组、XCom、SLA 监控与告警、基于 execution_date 的增量执行、指数退避重试；Prefect 使用任务缓存保证幂等、并行执行、Artifacts 可视化、可配置延迟的自动重试。
- dbt 转换：staging 层处理增量物化、去重、迟到数据；marts 层处理维度模型、聚合、业务逻辑；配置测试与源新鲜度检查；采用 merge 或 delete+insert 增量策略。
- 数据质量框架：Great Expectations 覆盖表级和列级检查、检查点、数据文档、失败通知；dbt 测试包含 YAML schema 测试和自定义数据质量测试。
- 存储策略：Delta Lake 使用 ACID 事务、谓词匹配 upsert、时间旅行、文件压缩与 Z-order 聚类、vacuum；Iceberg 使用分区和排序、MERGE INTO、快照隔离与时间旅行、binpack 压缩、快照过期清理。
- 监控与成本优化：跟踪处理/失败记录数、数据大小、执行时间、成功率；使用 CloudWatch 指标、SNS 告警、数据新鲜度检查和性能趋势分析；通过分区（避免过度分区，保持 >1GB）、文件大小（Parquet 512MB-1GB）、生命周期策略（热→温→冷）、计算选型（批处理用 spot、流式用按需、临时查询用 serverless）和查询优化来降低成本。
适用场景
当工作涉及数据管道架构任务或工作流，或需要数据管道架构的指导、最佳实践或检查清单时，应使用该技能。典型任务包括设计数据架构、实现批流摄取、构建编排 DAG、编写转换模型、配置数据质量检查、管理数据湖存储、设置监控和成本优化。
限制
不应在任务与数据管道架构无关时使用，也不应在本技能范围之外的其它领域或工具中使用。技能要求 $ARGUMENTS（原文未提供具体参数说明）。原文未提供收费、价格、平台部署限制等其它信息。