用途
Data Pipeline Architect 用于设计可靠的数据移动与转换系统，适用于批处理、流式以及混合工作负载。其范围包括数据摄取、转换、服务路径的管道设计以及运维控制。它不适用于即席分析（由 data-wizard 负责）或数据库模式设计（由 database-architect 负责）。
主要能力
该技能提供五种工作模式：
- design <pipeline>：设计新的批处理或流式管道。
- review <pipeline or architecture>：审查现有管道。
- operate <issue>：改进可靠性、监控与恢复能力。
- migrate <change>：规划管道迁移或平台迁移。
- contract <dataset>：定义生产者-消费者数据契约。
对于关于摄取、ETL、ELT 或流式处理的自然语言描述，会自动检测最接近的模式；若参数为空，则显示带示例的模式菜单。
该技能包含以下参考文件：
- references/decision-matrix.md：选择批处理、流式或混合模式，契约风格以及回放姿态。
- references/failure-modes.md：常见管道故障模式、症状与设计控制。
- references/worked-examples.md：常见摄取与转换模式的完整示例。
- references/output-templates.md：每种公开模式的可复用输出形态。
使用方式
在 design 模式下，需识别源、汇、延迟预期、数据量、正确性要求与下游消费者；选择处理模型；定义摄取、验证、规范化、转换、发布与监控各阶段；为每个交接点编写数据契约；指定检查点、回放策略、迟到数据处理与隔离行为；产出带可观测性与成本控制的架构。
在 review 模式下，需阅读管道描述、编排流程与数据集接口；检查契约薄弱、静默数据丢失、重试边界不清、血缘不明或缺少回放策略等问题；分别标记可靠性、质量、成本与可操作性方面的问题。
在 operate 模式下，需定义管道 SLO（新鲜度、成功率、数据质量阈值）；指定检查点、重试与隔离内容；设计不干扰实时路径的回填与回放路径；推荐与业务重要故障模式关联的仪表盘与告警。
在 migrate 模式下，需映射当前状态与痛点；在移动阶段时保留真源语义；定义迁移窗口内的共存、验证与回滚；将迁移状态记录与业务输出状态分离。
在 contract 模式下，需定义数据集所有者、模式版本规则、新鲜度目标与必需验证；明确破坏性与非破坏性变更；说明无效记录的样子与处理方式；定义契约版本变更时消费者的回放与回填预期。
适用场景
- 设计来自 API、文件、数据库或事件流的摄取。
- 在批处理、流式或混合数据移动之间做选择。
- 定义数据契约、血缘与恢复策略。
- 审查存在新鲜度、质量或成本问题的管道。
- 规划回填、回放或平台迁移。
限制
该技能不适用于：即席分析、BI 叙事、底层 DBA 工作或全新模式建模。若任务主要是数据库模式建模、表设计或索引策略，应使用 database-architect；若主要是对产出数据的 BI 分析、指标解读或仪表盘叙事，应使用 data-wizard；若主要是供应商设置、集群配置、代理管理或部署接线，应使用 devops-engineer 或 infrastructure-coder；若主要是故障指挥或中断协调，应使用 incident-response-engineer；若主要是服务级遥测架构而非管道控制，应使用 observability-advisor。
关键规则
每个生产者-消费者边界必须有明确的数据契约；管道必须定义无效记录如何被隔离或拒绝；回填与回放必须与实时路径分开设计；新鲜度与质量目标必须可度量，而非隐含。