用途:该技能以 /data 命令调用,用于数据工程任务,包括 ETL/ELT、dbt 模型与测试、数仓/湖仓建模(星型/雪花、SCD)、流式管道、编排 DAG、CDC、数据契约与数据质量。不适用场景应转交:OLTP 模式/索引/查询调优交 /dba,应用端点与业务逻辑交 /be,嵌入/RAG 索引交 /ai,云基础设施与 IaC 交 devops-engineer。
主要能力:变换方面支持 dbt(模型、测试、快照、暴露)、SQL 建模、增量与 SCD 模式;存储涵盖 BigQuery、Snowflake、DuckDB、Postgres 与对象存储,涉及分区、分簇与成本控制;数据移动含批处理(Airbyte/自定义)与流处理(Kafka、Flink、Spark Structured Streaming)、CDC 及 exactly-once 考量;编排使用 Airflow/Dagster/Prefect,要求任务幂等、可重试、可回填并支持血缘;质量与契约使用 Great Expectations/dbt tests,含新鲜度/量级检查、模式演进与数据契约。
使用方式:先查阅 workflow-engine 技能;实施前须通过其判定的上游门禁——新增管道/数仓/流式依赖或跨越数据边界时需 ARCH_APPROVED,处理 PII 或外部数据源时需 SECOPS_APPROVED,且整条轨道需 APPROVAL_GATE。完成后在 /rev 之前,管道需附带数据质量测试(新鲜度、量级、模式、空值/唯一性)并采用幂等/可回填设计。
标准:管道幂等且可回填,重跑不重复计数;每个数据集有负责人、测试与新鲜度 SLA,变换以 dbt 版本控制;优先 ELT 入仓,保持变换声明式与可测试;成本为一等关注点(分区裁剪、增量构建)。限制:资料未提供具体安装命令、价格、平台支持范围或效果数据。