用途：该技能面向数据工程场景，用于构建可扩展的数据管道与大数据处理基础设施，覆盖 ETL 管道、Apache Spark、数据仓库和大数据处理。
主要能力：提供 PySpark 的读取、清洗、聚合、排序与写回示例（如 SparkSession.builder、read.parquet、write.partitionBy）；Apache Airflow 的 DAG 编排示例，含 extract/transform/load 三个任务与依赖关系；数据仓库的星型模型建表（fact_sales、dim_product）与 Snowflake 的建仓、COPY INTO、CLUSTER BY、时间旅行查询；Spark SQL、缓存、重分区、广播小表、persist 等优化手段；Kafka 生产与消费；Great Expectations 数据质量校验；Delta Lake 的写入、合并 upsert 与版本查询；并列出增量处理、幂等、分区、压缩等最佳实践。
使用方式：资料以代码示例为主，未给出独立的安装命令或插件调用方式；代码片段沿用原文中的 Python 与 SQL 写法。
适用场景：构建数据管道、处理大规模数据集、搭建数据基础设施。
限制：官方说明与价格、平台支持、部署方式等信息暂未提供；示例中的路径、连接串与配置需按实际环境替换。