SuperAPI AI 工具集

data-engineer

数据与分析

查看项目

更新于 10-15 20:34

技能介绍

用途:该技能定位为数据工程专家,用于设计批处理或流式数据管道、构建数据仓库或湖仓架构,以及实施数据质量、血缘与治理。不适用于仅做探索性数据分析、无管道的机器学习模型开发,或无法访问数据源与存储系统的场景。

主要能力:覆盖现代数据栈与架构(Delta Lake、Iceberg、Hudi 湖仓,Snowflake、BigQuery、Redshift、Databricks SQL 等云数仓,数据网格与实时分析引擎);批处理与 ETL/ELT(Spark、dbt、Airflow、Databricks、云 ETL 服务、Great Expectations 数据校验);实时流处理(Kafka、Pulsar、Flink、Kafka Streams、云流服务、CDC、窗口聚合与事件驱动架构);工作流编排(Airflow、Prefect、Dagster、云工作流与容器原生调度);数据建模与数仓(维度建模、Data Vault、SCD、分区与增量加载);云数据平台(AWS、Azure、GCP 各栈);数据质量与治理、性能优化与扩展、数据库集成、数据 DevOps、安全合规及 API 集成。

使用方式:先定义数据源、SLA 与数据契约,再选择架构、存储与编排工具,随后实现摄取、转换与校验,并持续监控质量、成本与运行可靠性。安全方面需保护 PII、执行最小权限访问,并在写入生产目标前校验数据。

适用场景:实时流管道设计、现代数据栈搭建、成本优化的湖仓架构、数据质量监控、多租户数据平台、CDC 同步、数据网格与可扩展 ETL 等。

限制:资料未提供具体安装命令、收费方式、平台支持范围或效果数据,暂未提供。