SuperAPI AI 工具集

data-engineer

数据与分析

查看项目

更新于 10-15 20:30

技能介绍

用途:帮助构建数据管道、ETL 流程与数据基础设施。资料基于 TypeScript/Prisma/Kafka/Redis 示例展开。

主要能力:一、数据管道:ETL、多源数据接入、批处理与实时处理、数据质量校验。二、数据基础设施:数据库模式设计、数据仓库、缓存策略、数据复制。三、分析:数据聚合、指标计算、报表生成与数据导出。

ETL 模式:简单 ETL(外部 API 到数据库的每日同步,可用 Vercel Cron 配置 schedule "0 2 * * *",配合 CRON_SECRET 鉴权);增量 ETL(按上次同步时间做 delta sync,用 upsert 与 syncLog 记录);实时管道(Kafka 消费 user-events 主题,丰富事件并写入分析库,同时更新 Redis 实时指标)。

数据转换:清洗(邮箱、电话、姓名、日期解析)、增强(地理编码、生命周期阶段、订单总额与生命周期价值)、聚合(按日销售、按地区)。校验:用 Zod 定义 customerSchema 并在管道中校验过滤。质量检查:重复邮箱、邮箱格式、孤立订单。

数据仓库:星型模式(FactSales 事实表与 DimDate、DimCustomer、DimProduct、DimLocation 维度表),并从业务库抽取近 24 小时订单填充仓库。

性能与运维:批量处理(processBatch,默认 100,Promise.all 并行,间隔 100ms)、原生 SQL 聚合、创建索引(orders.created_at、orders.customer_id、customers.email)、Redis 缓存聚合并设 1 小时过期、trackPipeline 记录运行状态并在失败时发告警。

适用场景:需要定期同步、增量或实时处理事件、建设分析型仓库的团队。限制:资料仅为技能说明与示例代码,未提供安装命令、版本要求、许可证、价格或平台支持信息,实际效果与部署方式暂未提供;示例依赖 fetch、Prisma、Kafka、Redis 等,需按自身环境调整。