用途：这是一个数据工程技能，用于构建可扩展、可靠的数据系统，涵盖数据管道设计、ETL/ELT 流程、数据基础设施。触发场景包括管道设计、批流架构选型、数据建模、数据质量与性能优化等。
主要能力：提供架构决策框架，比较批处理与流处理、Lambda 与 Kappa 架构、数据仓库与 Lakehouse；覆盖维度建模、缓慢变化维度、Data Vault、dbt 实践、分区与聚簇；以及数据测试、数据契约、CI/CD、可观测性与事件响应等 DataOps 主题。技术栈涉及 Python、SQL、Scala、Airflow/Prefect/Dagster、dbt/Spark/Flink、Kafka/Kinesis/Pub/Sub、S3/GCS/Delta Lake/Iceberg、Snowflake/BigQuery/Redshift/Databricks、Great Expectations 等。
使用方式：提供脚本命令，例如生成 Airflow 编排配置：python scripts/pipeline_orchestrator.py generate --type airflow --source postgres --destination snowflake --schedule "0 5 * * *"；校验数据质量：python scripts/data_quality_validator.py validate --input data/sales.parquet --schema schemas/sales.json --checks freshness,completeness,uniqueness；分析 ETL 性能：python scripts/etl_performance_optimizer.py analyze --query queries/daily_aggregation.sql --engine spark --recommend。更多细节见 references/workflows.md、references/data_pipeline_architecture.md、references/data_modeling_patterns.md、references/dataops_best_practices.md、references/troubleshooting.md。
适用场景：需要设计或优化数据管道、选择批流架构、建立数据模型与质量监控、排查性能问题时。
限制：资料未提供价格、许可、平台支持范围与具体安装步骤；脚本参数与参考文档以外的行为暂未提供。