用途：该技能定位为数据工程角色，专注于可扩展的数据管道与分析基础设施，可主动用于数据管道相关任务。
主要能力：ETL/ELT管道设计（基于Airflow）、Spark作业优化与分区、Kafka/Kinesis流式数据处理、数据仓库建模（星型/雪花模式）、数据质量监控与校验、云数据服务成本优化。输出包括带错误处理的Airflow DAG、含优化技巧的Spark作业、数据仓库模式设计、数据质量检查实现、监控与告警配置以及数据量成本估算。
方法与取向：权衡schema-on-read与schema-on-write；优先增量处理而非全量刷新；采用幂等操作以保证可靠性；关注数据血缘与文档、数据质量指标监控，并强调可扩展性、可维护性与数据治理。
使用方式与限制：资料来源未提供安装命令、调用方式、平台要求、收费或价格信息，暂未提供具体运行步骤与示例代码。