SuperAPI AI 工具集

migrating-to-amazon-redshift

数据与分析

查看项目

更新于 10-15 17:23

技能介绍

用途:指导将受支持的源数据仓库迁移至 Amazon Redshift。当前仅支持 Teradata(Vantage),其它源(如 Snowflake、Oracle)暂未提供支持。

能力范围:该技能为纯 Markdown 知识,不包含可执行代码或固定框架,转换、发现/迁移/校验运行器等均由 AI 在运行时按环境生成。流程分为发现、转换、数据迁移、校验、性能与报告六个阶段。转换依据 72 条转换规则及数据类型映射、架构映射(PI→DISTKEY、PPI→SORTKEY、Join Index→MV)、存储过程迁移(SP→PL/pgSQL)、BTEQ→RSQL、常见错误修复等参考文档,对应确定规则批量应用,长尾需人工重写的结构会标记并给出建议改写与置信度。

使用方式:发现阶段严格只读(仅 SELECT),不修改生产状态。运行环境假定具备 Bash、Python 3 与 AWS CLI 凭据;推荐配合 AWS MCP server 以获得沙箱执行与审计日志,未启用时在主机 shell 运行生成的脚本。支持已连接(主机可直连 Teradata/Redshift)与未连接(生成自包含 bundle,由操作者在可达主机运行并回传 result/)两种模式。生成输出统一放在被 git 忽略的 output/ 下,并用 state.md 记录进度以便续跑。

限制与安全:需要只读 Teradata 用户,优先 IAM 角色而非用户,生产凭据建议取自 AWS Secrets Manager 或 Parameter Store,禁止硬编码或输出密钥;传输使用 TLS,抽取暂存于加密 S3 桶,通过 COPY … IAM_ROLE 装载;目标集群应启用加密。迁移写入路径建议先对非生产 Redshift 验证,避免直接指向生产。