SuperAPI AI 工具集

data-aws

数据与分析

查看项目

更新于 10-15 16:47

技能介绍

本技能面向在 AWS 上构建数据解决方案,覆盖 S3 数据湖、Glue ETL 与爬虫、Lambda 数据处理、Athena 查询、Redshift 优化和 Step Functions 编排。它把成本控制作为主线:Athena 按扫描量计费($5/TB),未分区查询可能比分区查询贵上百倍;Glue 按 DPU 计费($0.44/DPU-小时),默认 DPU 数会浪费算力;Lambda 应把客户端初始化在 handler 外以复用连接。

服务选型建议:小于 10GB、事件驱动、秒级延迟用 Lambda;大于 10GB、定时、分钟级用 Glue;临时 SQL 用 Athena;面向并发 BI 的亚秒级查询用 Redshift;流式用 Kinesis。

S3 数据湖采用 raw、staged、curated、aggregated 分层,路径使用 Hive 风格分区(key=value/),staged 之后使用 Parquet,单文件约 128MB 到 1GB。Athena 可用分区投影避免 MSCK REPAIR TABLE,查询务必过滤分区列并设置工作组扫描上限。Glue 建议从 2 个 DPU 起步、启用 job bookmarks、用 push down predicate、生产环境避免爬虫而显式定义 schema。Lambda 要求幂等、配置 DLQ。Redshift 需设计 DISTKEY、SORTKEY 并用 COPY 批量加载,后续执行 VACUUM 和 ANALYZE。Step Functions 中调用任务加 .sync 后缀等待完成,配置 Retry、Catch 和超时。

文中列出反模式:未分区、海量小文件、用 Lambda 处理大文件、生产用爬虫、Redshift 缺少排序/分布键、Athena 无分区裁剪、轮询 S3、硬编码 ARN。该技能的边界是:基础设施即代码交给 data-iac,通用 ETL 模式交给 data-pipelines,IAM、加密与密钥交给 security。参考文件包括 references/service-selection.md 和 assets/aws-data-checklist.md。