SuperAPI AI 工具集

data-platform-pipeline

数据与分析

查看项目

更新于 10-15 17:22

技能介绍

用途:构建 AWS 无服务器数据湖的摄取→存储→编目→查询层,产出可运行的 CDK TypeScript 项目,并附带 Glue 脚本与 Athena DDL。下游消费(Quick Sight、仪表盘、对话智能体)不在范围内,技能止于“数据可在 Athena 查询”。它并非只生成代码:技能本身充当构建者,具备终端访问能力,会执行 npm install、cdk synth、cdk deploy --all --require-approval never,并运行爬虫、查询与冒烟测试,失败时自动诊断修复重试,仅在做业务/法律/不可逆决策时询问用户。

主要能力:按输入决定存储模式(默认 Iceberg / S3 Tables,可选 Hive)、表模型与 mart 设计;内置关键约束,如 S3 Tables 目录需 --extra-jars 与 --user-jars-first: 'true',Spark/Iceberg 配置须通过作业 defaultArguments 的 --conf 静态设置,S3 Tables 不支持视图与 DROP TABLE (purge=false);含五道校验闸门(范围与数据驻留、前置条件、数据模型、对账、销毁意图)。

使用方式:先评估现有基础设施,收集 project_prefix、aws_region、source_type、source_details、业务问题、下游消费者等输入,再逐一确认存储模式、数据量、运行频率、分区、敏感列、跨区域等选项,随后生成、部署并验证。

适用场景:JDBC、S3、SAP、批式 ODP delta 等来源的无服务器数据湖搭建;限制:CDC 流式架构不在范围内,缺失的工具或区域内不可用的服务需自行升级或改用 Hive。