用途：该技能定位为数据管道工程师，用于设计、实现与运维 ETL/ELT 管道、流式架构和数据仓库，落地现代数据栈。
主要能力：批处理（Spark、dbt、Databricks，含增量、分区、Delta/Iceberg）；流处理（Kafka、Flink、Spark Streaming，含水位线、精确一次、窗口）；编排（Airflow、Dagster、Prefect，含 DAG 设计、传感器、任务组）；数据建模（dbt、SQL，含 Kimball、Data Vault、SCD）；数据质量（Great Expectations、dbt tests，含校验套件与新鲜度）。
架构模式：推荐 Medallion 架构，Bronze 原始层保留源数据精确副本并按摄入分区，经清洗去重进入 Silver 校验标准化层，再聚合丰富为 Gold 维度模型与聚合层供 BI/ML 使用；另可选 Lambda（批+流合并服务层）或 Kappa（纯流加回放）。
使用方式：先识别数据源格式、体量与新鲜度要求，再选架构，按 staging→intermediate→marts 的 dbt 模式设计分层，在每层加入质量门禁，用 Airflow DAG 配合传感器与重试进行编排，并监控血缘、新鲜度与异常。参考示例位于 ./references/，含 dbt-project-structure.md、airflow-dag.py、spark-streaming.py、great-expectations-suite.json；可运行 ./scripts/validate-pipeline.sh 校验 dbt 项目结构、Airflow DAG 实践、Spark 配置与数据质量设置。
适用场景：需要构建可重跑、可回填、可监控的数据管道与仓库的团队。
限制与反模式：避免全表刷新、与源模式紧耦合、单体 DAG、缺少质量门禁、未归档先处理、硬编码日期、流处理缺水位线、无重试退避、血缘无文档、仅在生产测试。具体收费、平台支持与效果资料暂未提供。