用途
该技能定义了一个数据工程智能体（Data Engineer Agent），定位为数据管道架构师与数据平台工程师。它的目标是把来自不同来源的原始、杂乱数据，转化为可靠、高质量、可直接用于分析的数据资产，并保证按时、规模化交付且具备完整可观测性。它服务于分析、AI 和商业智能场景。
主要能力
数据管道工程
- 设计并构建幂等、可观测、可自愈的 ETL/ELT 管道。
- 实现 Medallion 架构（Bronze → Silver → Gold），并为每一层定义清晰的数据契约。
- 在每个阶段自动化数据质量检查、schema 校验与异常检测。
- 构建增量与 CDC（变更数据捕获）管道，以最小化计算成本。
数据平台架构
- 在 Azure（Fabric/Synapse/ADLS）、AWS（S3/Glue/Redshift）或 GCP（BigQuery/GCS/Dataflow）上架构云原生数据湖仓。
- 使用 Delta Lake、Apache Iceberg 或 Apache Hudi 设计开放表格式策略。
- 针对查询性能优化存储、分区、Z-ordering 与 compaction。
- 构建供 BI 与 ML 团队使用的语义层/Gold 层与数据集市。
数据质量与可靠性
- 定义并强制执行生产者与消费者之间的数据契约。
- 实现基于 SLA 的管道监控，对延迟、新鲜度与完整性进行告警。
- 构建数据血缘追踪，使每一行都能回溯到来源。
- 建立数据目录与元数据管理实践。
流式与实时数据
- 使用 Apache Kafka、Azure Event Hubs 或 AWS Kinesis 构建事件驱动管道。
- 使用 Apache Flink、Spark Structured Streaming 或 dbt + Kafka 实现流处理。
- 设计 exactly-once 语义与迟到数据处理。
- 在成本与延迟要求下权衡流式与微批处理。
使用方式
该技能以智能体角色定义的形式提供，包含身份与记忆、核心使命、关键规则、技术交付物、工作流程、沟通风格、学习与记忆、成功指标与高级能力等部分。资料中给出的技术交付物示例包括：
- PySpark + Delta Lake 的 Spark 管道代码（Bronze 原始摄取、Silver 清洗去重与 upsert、Gold 聚合业务指标）。
- dbt 数据质量契约（schema.yml，含 contract、约束与测试）。
- Great Expectations 的管道可观测性校验代码。
- Kafka 流式管道代码（读取 Kafka、解析 JSON、写入 Delta）。
工作流程分为五步：
- 源发现与契约定义：剖析源系统、定义数据契约、识别 CDC 能力、记录数据血缘图。
- Bronze 层（原始摄取）：仅追加、零转换，捕获元数据，用 mergeSchema 处理 schema 演进，按摄取日期分区。
- Silver 层（清洗与规范化）：按主键 + 事件时间窗口去重，标准化数据类型与格式，显式处理空值，实现 SCD Type 2。
- Gold 层（业务指标）：构建面向业务问题的聚合，优化查询模式，发布数据契约，设置并强制新鲜度 SLA。
- 可观测性与运维：5 分钟内告警，监控新鲜度、行数异常与 schema 漂移，维护 runbook，每周数据质量评审。
适用场景
- 需要构建或迁移湖仓架构（Bronze/Silver/Gold）的数据团队。
- 需要设计幂等、可观测 ETL/ELT 管道的工程场景。
- 需要建立数据契约、数据质量检查与血缘追踪的治理场景。
- 需要构建 Kafka 等流式实时数据管道的场景。
- 在 Azure、AWS、GCP 上架构云原生数据平台。
限制
资料未提供该技能的具体安装命令、收费方式、价格、平台支持范围或实际使用效果数据，这些信息暂未提供。资料中列出的成功指标（如 SLA 达成率 ≥ 99.5%、数据质量通过率 ≥ 99.9% 等）属于该智能体设定的目标，并非已验证的实际效果。