用途：面向数据工程场景，帮助设计数据架构、构建批处理与流式管道、添加数据质量校验，以及优化 ETL/ELT 查询与排查管道故障。
主要能力：管道生成，可产出 Airflow/Prefect/Dagster 的 DAG 代码，支持批量和增量加载并校验 DAG；数据质量，包含模式校验、数据剖析、异常检测、数据契约与 Great Expectations 套件生成；ETL/ELT 优化，分析 SQL 与 Spark、给出分区策略和按仓库估算查询成本；架构决策，提供批处理与流式、数仓与湖仓的权衡框架；可靠性模式，含增量水位线、死信队列、新鲜度检查与模式漂移检测。
使用方式：通过三个脚本调用。pipeline_orchestrator.py 支持 generate、validate、template；data_quality_validator.py 支持 validate、profile、generate-suite、contract、schema；etl_performance_optimizer.py 支持 analyze-sql、analyze-spark、optimize-partition、estimate-cost、template。所有子命令支持 --json 输出和 --output 写文件。示例：python scripts/pipeline_orchestrator.py generate --type airflow --source postgres --destination snowflake --tables orders,customers --mode incremental --schedule "0 5 * * *"；python scripts/data_quality_validator.py validate data.csv --schema schema.json --detect-anomalies --json；python scripts/etl_performance_optimizer.py analyze-sql query.sql --warehouse snowflake --json。
生成管道前需确认编排器类型、源与目标及加载模式、数据质量期望；若信息不明应先询问，用户要求直接起草时可在产物顶部列出假设。
适用场景：设计数据架构、构建或生成 Airflow/Spark/dbt 管道、添加数据质量检查或数据契约、优化慢查询、排查管道失败。
限制：资料未提供具体收费、价格、平台支持范围与效果保证；参考文档需按任务按需加载，具体实现细节以对应 references 文件为准。