用途：为构建可靠、可观测、可扩展的生产级数据管道提供指导，覆盖批处理与流式架构，涉及 Apache Airflow、Spark、dbt 等工具。
核心原则：优先 ELT（目标仓库能承担转换时），先加载原始数据再就地转换；每个步骤设计为幂等；按时间或逻辑键分区以支持增量与回填；在阶段之间插入数据质量检查；将编排（何时与顺序）与计算（如何做）分离。
主要能力：构建带任务级重试、超时与 SLA 的 Airflow DAG，使用 sensor 处理外部依赖、XCom 做轻量通信；设计 Spark 作业的分区（repartition/coalesce）、小维度表广播连接与 DataFrame 缓存；按 staging、intermediate、mart 分层组织 dbt 项目；编写 schema、关系与自定义 dbt 测试；用 Great Expectations 等实现行数、分布与引用完整性的质量门；用 Debezium 等 CDC 模式流式捕获数据库变更。
常见模式：增量加载（高水位列 updated_at 或 CDC，模式变更时回退全量）、日期参数化的回填、死信队列隔离失败记录、通过 schema registry 或仅加列策略演进模式。
限制与注意：不在 Airflow operator 内做重计算；摄取后必须做数据校验；不硬编码凭据，使用密钥管理与环境配置；可行时避免每次全表扫描。具体命令、示例代码与价格信息暂未提供。