Data Pipeline Builder 是一个用于设计和实现生产级 ETL/ELT 数据管道的技能。它接收数据源、目标端和转换需求，产出完整的管道规格说明以及运行所需的全部实现文件。
用途
该技能面向需要从零搭建或规范化数据管道的场景，覆盖需求收集、架构设计、代码生成、质量检查、调度编排和规格文档输出。它强调以幂等、可重跑、可监控的方式构建管道，并处理增量同步、失败记录、模式演进等生产环境常见问题。
主要能力
- 需求收集：若用户已给出清晰需求则直接进入设计；否则会提出针对性问题，包括数据源（数据库、API、文件、流）、目标端（数据仓库、数据湖、数据库）、转换需求（连接、聚合、过滤、业务规则）、新鲜度要求（实时、每小时、每天）、技术偏好（Airflow、dbt、Spark、云厂商）、数据质量与合规要求。
- 分析与设计：编目每个数据源（连接类型、认证、模式、数据量、CDC 可用性、速率限制）；定义目标端（平台、模式设计、分区、聚簇、访问模式）；映射转换（字段映射、业务逻辑、类型转换、连接、聚合、去重、SCD 处理、派生字段）；确立非功能性需求（新鲜度 SLA、处理窗口、容错、保留期、合规）；依据 references/project-structure.md 选择架构模式和组件。
- 设计确认：在生成代码前先呈现设计，与用户确认架构、数据源、目标端、调度、关键转换和质量门禁，获得批准后再继续。
- 生成实现：按照 references/project-structure.md 的布局产出全部文件，并针对具体管道定制，不留下需要手工编辑的占位代码。具体包括：为每个数据源生成继承 BaseExtractor 的具体提取器（见 references/python-patterns.md）；为每个转换生成具体转换器类或 SQL 文件；为每个目标端生成继承 BaseLoader 的具体加载器；生成任务依赖已接好的 Airflow DAG 和管道配置 YAML（见 references/orchestration-config.md）；生成针对该数据的质量检查和带合适告警阈值的监控配置（见 references/quality-checks.md 和 references/orchestration-config.md）；为所有自定义业务逻辑生成测试。
- 生成规格说明：最后使用 references/spec-template.md 产出 data-pipeline-spec.md，引用所有实现文件，并纳入过程中做出的设计决策。
使用方式
该技能以技能包形式提供，包含以下参考文件：references/project-structure.md（输出文件布局、架构模式选择、组件选择）、references/python-patterns.md（Python 代码标准及基础提取器/转换器/加载器/重试模式）、references/quality-checks.md（可组合的数据质量检查框架和内置检查）、references/orchestration-config.md（Airflow DAG、管道配置 YAML、监控/告警模式）、references/spec-template.md（data-pipeline-spec.md 输出模板）。使用时先提供数据源、目标端和转换需求；若需求不完整，技能会提问澄清，随后给出设计供确认，批准后生成全部实现文件和规格说明。
适用场景
适用于需要构建或规范化 ETL/ELT 管道的团队，尤其是涉及多数据源接入、数据仓库/数据湖写入、增量同步、数据质量门禁、Airflow 调度和监控告警的场景。也适用于需要为管道生成规格文档、回填策略和运行手册的情况。
限制
资料未提供该技能的具体安装命令、收费方式、价格、支持平台、运行环境要求或效果保证。资料未提供官方文档链接之外的额外信息。资料未说明该技能是否支持除 Airflow、dbt、Spark 之外的其他编排或转换工具的具体实现细节。资料未提供关于性能、吞吐量或规模上限的量化指标。