SuperAPI AI 工具集

cloud-platforms

数据与分析

查看项目

更新于 10-16 03:43

技能介绍

用途:为数据管道、存储与分析提供生产级云基础设施方案,覆盖 AWS、GCP、Azure 三大云平台。

主要能力:AWS 数据栈(S3 对象存储、Glue ETL、EMR 托管 Spark、Lambda 事件触发);GCP 数据栈(BigQuery、Cloud Functions、Cloud Dataflow 流批处理);Azure Data Factory 的 ETL/ELT;使用 Terraform、Pulumi 做基础设施即代码;成本优化(Cost Explorer 成本分析、S3 智能分层与生命周期策略);安全与运维最佳实践(IAM 角色、静态加密、VPC 端点、CloudWatch 告警、标签成本分摊)。

使用方式:资料给出 Python 与 Terraform 示例,如用 boto3 触发 Glue 作业、用 google-cloud-bigquery 将 GCS 文件加载到 BigQuery、用 Terraform 定义 S3 数据湖与 Glue 爬虫。工具版本参考:AWS Glue 4.0、EMR 7.0+、Terraform 1.6+、Pulumi 3.0+。

适用场景:云上数据湖架构设计、ETL 实现、基础设施管理与云成本优化。

限制:资料未提供具体收费、价格与平台支持细节;示例代码需按实际环境调整,缺失事实暂未提供。