SuperAPI AI 工具集

connecting-to-data-source

数据与分析

查看项目

更新于 10-15 18:31

技能介绍

用途:把外部数据源注册到 AWS Glue,供后续技能(如 ingesting-into-data-lake)搬运数据。一个连接存放某数据源的网络配置、驱动和凭证引用,每个源创建一次即可在多个作业中复用。连接本身只是“命名的管道”,不负责迁移数据。

主要能力:按数据源类型区分连接方式——Oracle/SQL Server/PostgreSQL/MySQL/RDS 及 Redshift 用 JDBC,Snowflake 用 SNOWFLAKE 类型,BigQuery 用 BIGQUERY 类型;支持发现账号内已有连接与候选源,注册凭证,创建连接,并分两阶段测试。

使用方式:优先通过 AWS MCP 工具执行命令,不可用时回退 AWS CLI,每步执行前需说明。先用 aws sts get-caller-identity 确认区域和凭证;再判断源类型并询问用户连接名、Secrets Manager 密钥、VPC 可达性等提示,不臆测。创建前可查看已有连接:aws glue get-connections --filter ConnectionType=<TYPE> --region <REGION>;查看候选源可用 aws rds describe-db-instances、aws rds describe-db-clusters、aws redshift describe-clusters。创建连接命令为 aws glue create-connection --connection-input '<JSON>' --region <REGION>,私有源需配置 PhysicalConnectionRequirements(SubnetId、SecurityGroupIdList、AvailabilityZone)。测试先跑网络与凭证检查:aws glue test-connection --connection-name <NAME> --region <REGION>,再按目标引擎做最小查询验证(Glue ETL、Athena 联邦连接器或 Glue Crawler)。

限制与注意:凭证优先用 Secrets Manager 或 IAM 数据库认证,禁止把明文凭证写入聊天或日志,未获确认不得创建密钥或轮换凭证。DynamoDB 无需连接,本地文件属于另一技能的本地上传流程。连接名不可修改,需谨慎命名。SNOWFLAKE 类型必须用于 Spark ETL,不能改用 JDBC。AvailabilityZone 必须与子网一致。IAM 数据库认证令牌 15 分钟过期,需每次生成。私有源所在 VPC 必须有 S3 网关端点。资料未提供具体价格、平台或效果数据。