SuperAPI AI 工具集

awsclaw-glue

数据与分析

查看项目

更新于 10-16 10:35

技能介绍

用途

awsclaw-glue 用于管理 AWS Glue 的 ETL 作业及其相关资源。当用户需要查询、创建、更新或删除 Glue 组件时可以使用本技能,例如了解 Glue ETL 作业、爬网程序或触发器;检查或查询 Glue Data Catalog(数据库、表、分区);启动 Glue 作业运行;创建 Glue 作业;了解 Glue 连接或作业书签;检查爬取历史;创建或删除数据库、表、爬网程序或工作流;更新作业、爬网程序或触发器。

主要能力

本技能提供 GlueTool,用于执行 AWS Glue 命令,涵盖 Data Catalog 查询和生命周期操作。使用时应始终提供 params 对象。

支持的作业相关命令包括:ListJobs(列出作业)、GetJob(获取作业详情)、GetJobRun(获取指定作业运行详情)、GetJobRuns(列出作业的所有运行)、GetJobBookmark(获取作业书签状态)、StartJobRun(启动作业运行)、CreateJob(创建作业)、UpdateJob(更新作业)、DeleteJob(删除作业)。

触发器相关命令包括:ListTriggers(列出触发器)、GetTrigger(获取触发器详情)、GetTriggers(按条件列出触发器)、UpdateTrigger(更新触发器)。

爬网程序相关命令包括:ListCrawlers(列出爬网程序)、GetCrawler(获取爬网程序详情)、GetCrawlers(列出爬网程序及详情)、ListCrawls(列出爬取运行)、CreateCrawler(创建爬网程序)、StartCrawler(启动爬网程序)、UpdateCrawler(更新爬网程序)、DeleteCrawler(删除爬网程序)。

Data Catalog 相关命令包括:CreateDatabase(创建数据库)、DeleteDatabase(删除数据库)、GetDatabase(获取数据库)、GetDatabases(列出所有数据库)、CreateTable(创建表)、DeleteTable(删除表)、GetTable(获取表定义)、GetTables(列出数据库中的表)、GetPartitions(列出表的分区)。

连接与标签相关命令包括:GetConnections(列出或获取连接)、TagResource(为资源添加标签)、UntagResource(移除资源标签)、GetTags(获取资源标签)。

使用方式

通过 GlueTool 执行命令,需提供 params 对象。各命令有对应的参数,部分为必填。例如启动作业运行需要 JobName,可选 Arguments(覆盖默认参数)、Timeout(分钟)、MaxCapacity(最大 DPU 容量)、WorkerType(Standard、G.1X、G.2X、G.025X)、NumberOfWorkers、SecurityConfiguration、AllocatedCapacity、JobRunId 等。创建作业需要 Name、Role、Command(含 Name 与 ScriptLocation),可选 Description、LogUri、DefaultArguments、MaxRetries、Timeout、MaxCapacity、WorkerType、NumberOfWorkers、SecurityConfiguration、Tags 等。创建爬网程序需要 Name、Role、Targets。创建数据库需要 DatabaseInput。创建表需要 DatabaseName 与 TableInput。其他命令的参数请参考各自说明。

适用场景

本技能适用于需要以命令方式操作 AWS Glue 的场景,包括管理 ETL 作业的创建、启动、更新与删除,维护爬网程序并查看爬取历史,管理 Data Catalog 中的数据库、表和分区,以及查看作业书签、连接和标签。也适用于与其他 AWS 服务联动的排查,例如读取 Glue 作业日志(CloudWatch Logs 中的 /aws-glue/jobs/output、/aws-glue/jobs/error,爬网程序日志位于 /aws-glue/crawlers),检查 S3 数据与脚本,查看作业执行的 IAM 角色,以及 Glue Data Catalog 与 Athena、EMR、Redshift Spectrum 的共享使用。

相关服务

Glue 与 CloudWatch Logs 关联,作业输出日志发送到 /aws-glue/jobs/output,错误日志发送到 /aws-glue/jobs/error,爬网程序日志发送到 /aws-glue/crawlers,可使用 CloudWatchLogTool 读取。Glue 与 S3 关联,作业从 S3 读写,爬网程序目标常为 S3 路径,作业脚本存储在 S3,可使用 S3Tool 检查。Glue 与 IAM 关联,作业需要 IAM 角色,可使用 IAMTool 检查执行角色。Glue Data Catalog 与 Athena、EMR、Redshift Spectrum 共享。Glue 资源可由 CloudFormation 堆栈管理。Glue 可将 DynamoDB 表作为数据源读取。

限制

资料未提供关于费用、价格、平台兼容性或具体使用效果的信息,暂未提供。