用途：该技能定位于数据工程与数据分析，适用于构建数据管道、设计数据系统或进行数据处理相关任务，涉及 ETL/ELT、数据仓库、SQL 优化与分析。
主要能力与涉及技术：资料列出数据处理的 Apache Spark、Apache Flink、Pandas/Polars、dbt；数据仓库的 Snowflake、BigQuery、Redshift、Azure Synapse；ETL/ELT 工具 dbt、Airflow、Talend、Informatica；流处理的 Apache Kafka、AWS Kinesis、Apache Pulsar；ML 与分析的 scikit-learn、TensorFlow、Tableau/Power BI。
快速开始示例为 SQL 数据管道：先创建暂存表 staging_events，从 raw_events 中按近一天时间窗口和事件类型（click、purchase、view）筛选；再按日期与用户聚合，统计事件数与去重事件类型数。示例命令保持原样，可参考使用。
最佳实践包括：数据质量（校验与测试）、文档（清晰的元数据）、性能（查询优化）、治理（数据安全）、监控（管道告警）、可扩展性、版本控制（代码与配置纳入 Git）、测试（数据与管道测试）。
资源链接：Apache Spark 文档、dbt 文档、SQL Mode 教程与 Kaggle。
限制：资料未提供安装命令、具体运行方式、许可证、收费、平台支持与效果说明，暂未提供相关信息；使用前需结合自身环境评估。