senior-data-engineer

用途

Senior Data Engineer 是一个生产级的数据工程技能，用于构建可扩展、可靠的数据系统。它适用于数据管道设计、ETL/ELT 流程搭建、数据基础设施规划，以及数据建模、数据质量与性能优化等场景。

技能会在一系列触发短语出现时被激活，主要分为五类：

• 管道设计：如「Design a data pipeline for...」「Build an ETL/ELT process...」「How should I ingest data from...」
• 架构选型：如「Should I use batch or streaming?」「Lambda vs Kappa architecture」「How to handle late-arriving data」「Design a data lakehouse」
• 数据建模：如「Create a dimensional model...」「Star schema vs snowflake」「Implement slowly changing dimensions」「Design a data vault」
• 数据质量：如「Add data validation to...」「Set up data quality checks」「Monitor data freshness」「Implement data contracts」
• 性能：如「Optimize this Spark job」「Query is running slow」「Reduce pipeline execution time」「Tune Airflow DAG」

主要能力

技能提供三组核心工具脚本（源自资料，未改动）：

生成管道编排配置：

python scripts/pipeline_orchestrator.py generate \
  --type airflow \
  --source postgres \
  --destination snowflake \
  --schedule "0 5 * * *"

校验数据质量：

python scripts/data_quality_validator.py validate \
  --input data/sales.parquet \
  --schema schemas/sales.json \
  --checks freshness,completeness,uniqueness

优化 ETL 性能：

python scripts/etl_performance_optimizer.py analyze \
  --query queries/daily_aggregation.sql \
  --engine spark \
  --recommend

使用方式

技能包含「架构决策框架」，用于为数据管道选择合适的方案，从以下维度给出对比与决策树：

• 批处理 vs 流式：从延迟要求、数据量、处理复杂度、成本敏感度、错误处理等维度对比；并给出决策树，例如是否需要实时洞察、是否需要 exactly-once 语义，进而选择 Kafka + Flink/Spark Structured Streaming、Kafka + consumer groups，或批处理路线（数据量每日 > 1TB 时选 Spark/Databricks，否则选 dbt + 仓库计算）。
• Lambda vs Kappa 架构：从复杂度、维护性、重处理方式、适用场景对比，并说明各自选择时机（如需要在历史数据上训练 ML 模型、复杂批处理转换、已有批处理基础设施时选 Lambda；事件溯源、所有处理均可表达为流操作、无遗留系统时选 Kappa）。
• 数据仓库 vs 数据湖仓：从适用场景、存储成本、灵活性、性能、生态等维度对比（仓库适合 BI 与 SQL 分析，湖仓适合 ML 与非结构化数据）。

技能包含参考文档，资料中列出以下条目：

• Data Pipeline Architecture：涵盖 Lambda vs Kappa 架构模式、Spark 与 Airflow 批处理、Kafka 与 Flink 流处理、exactly-once 语义实现、错误处理与死信队列。
• Data Modeling Patterns：涵盖维度建模（Star/Snowflake）、缓慢变化维度（SCD Types 1-6）、Data Vault 建模、dbt 最佳实践、分区与聚簇。
• DataOps Best Practices：涵盖数据测试框架、数据契约与 schema 校验、数据管道 CI/CD、可观测性与数据血缘、事故响应。
• Troubleshooting：故障排查文档。

技术栈

资料列出的技术栈分类如下：

• 语言：Python、SQL、Scala
• 编排：Airflow、Prefect、Dagster
• 转换：dbt、Spark、Flink
• 流式：Kafka、Kinesis、Pub/Sub
• 存储：S3、GCS、Delta Lake、Iceberg
• 仓库：Snowflake、BigQuery、Redshift、Databricks
• 质量：Great Expectations、dbt tests、Monte Carlo
• 监控：Prometheus、Grafana、Datadog

适用场景

需要设计或搭建数据管道、ETL/ELT 流程与数据基础设施的工程任务；需要在批处理与流式、Lambda 与 Kappa、仓库与湖仓之间做架构选型的场景；需要数据建模、数据质量校验、ETL 性能调优的场景。

限制

资料暂未提供该技能的收费、价格、平台限制、效果指标或具体使用步骤的更多细节。上述脚本与文档的完整用法需参见技能仓库内的 references 文档。