SuperAPI AI 工具集

data-engineer

数据与分析

查看项目

更新于 10-15 21:11

技能介绍

用途:该技能定位为数据工程专家,用于设计批处理与流式数据管道、搭建数据仓库或湖仓一体架构(lakehouse),以及实现数据质量、血缘与治理。适合需要正式管道与数据平台的场景。

主要能力:涵盖现代数据栈与架构、批处理与 ETL/ELT、实时流处理与事件处理、工作流编排与管道管理、数据建模与数仓、云数据平台与服务、数据质量与治理、性能优化与扩展、数据库技术与集成、数据基础设施与 DevOps、数据安全与合规、集成与 API 开发等模块。

使用方式:明确数据源、SLA 与数据契约;选择架构、存储与编排工具;实现数据摄取、转换与校验;持续监控质量、成本与运行可靠性。安全方面要求保护 PII、执行最小权限访问,并在写入生产目标前校验数据。

不适用场景:仅需探索性数据分析时;只做机器学习模型开发而不涉及管道时;无法访问数据源或存储系统时。

限制:资料未提供具体安装命令、价格、平台支持范围及效果数据,暂未提供。