SuperAPI AI 工具集

querying-aws-cloudwatch

数据与分析

查看项目

更新于 10-15 17:23

技能介绍

用途:对导出为 S3 Tables 中 Apache Iceberg 表的 CloudWatch Logs 数据运行 SQL 分析,适合大量日志数据查询、跨目录关联(如日志与 S3 元数据、业务表),以及历史日志的 SQL 分析。快速搜索或实时日志追踪应使用 CloudWatch Logs Insights 或控制台;集成启用前的历史日志不会回填。

主要能力:aws-cloudwatch 表存储桶由 AWS 托管,支持 43+ AWS 自带数据源,命名空间格式为 <service>__<type>,如 VPC Flow Logs 的 amazon_vpc__flow、WAF 的 aws_waf__logs、CloudFront 的 amazon_cloudfront__access 等。可通过 AWS CLI 检查集成状态、启用或配置集成、授予查询权限并执行 Athena SQL。

使用方式:先用 aws s3tables list-table-buckets 检查是否存在 aws-cloudwatch 存储桶;用 create-s3-table-integration 创建集成,用 associate-source-to-s3-table-integration 关联数据源(支持 '*' 通配,但建议指定数据源)。查询前必须运行 get-tables 获取目标命名空间的表结构,再在 Athena 中按 "s3tablescatalog/aws-cloudwatch"."<namespace>"."<table>" 语法查询。示例命令: aws glue get-tables --catalog-id "<ACCOUNT>:s3tablescatalog/aws-cloudwatch" --database-name "<namespace>" --region <REGION>

适用场景:网络流量与拒绝连接分析、被阻止请求与规则命中、CDN 错误率、DNS 查询分析、Kubernetes 审计、邮件投递等,并可跨目录 JOIN 其他表。

限制:无回填,只包含关联后收到的新日志;保留策略跟随日志组,日志组删除则表中数据移除;不额外收取存储费用,包含在 CloudWatch 计费中;表结构随数据源而变,查询前必须先获取最新表结构;需要 Lake Formation SELECT/DESCRIBE 授权、Glue 联邦目录注册及 Athena 执行权限;日志可能含 PII,应按敏感数据处理,建议使用列级安全与 SSE-KMS 加密查询结果。

官方链接:https://www.skills.sh/aws/agent-toolkit-for-aws/querying-aws-cloudwatch