SuperAPI AI 工具集

di-agent-flow-pushdown-optimizer

智能体与模型

查看项目

更新于 10-15 22:16

技能介绍

用途:分析现有 DataStage 流程,将其重写为全下推流程,使全部计算在数据库引擎内以单条 SQL 完成,最终只保留 2 个阶段(一个连接器 + 一个接收端)。触发语包括“optimize flow”“convert to pushdown”“rewrite as…”。

主要能力与模式:支持目标全下推(ELT,所有连接器共用同一连接且流程有写入目标)和源全下推(TEL,所有源连接器共用同一连接,接收端为 Sequential File、PxCopy 或 PxPeek)。仅支持列表内的连接器(如 Db2、PostgreSQL、Oracle、Snowflake、Teradata、BigQuery、Redshift、watsonx.data 等),且所有表须属于同一数据库与模式。

使用方式:需提供 flow_id/flow_name 与 project_id/project_name;名称会先解析为 ID。流程为:检索流程代码、分类下推资格、按映射文件将阶段翻译为 SQL、展示 SQL 并等待用户确认、创建优化流程(新流程名加 _optimized 后缀,重名则递增)、最后汇总。创建时优先走 di-agent-query-optimization 与 di-agent-flow-substrait-datastage 技能路径,失败后才回退为直接生成 SDK 代码。

限制:不支持部分下推;不支持 TEL 使用不同连接的数据库作为接收端;跨数据库或跨模式操作不支持;若任一中间阶段无法翻译为 SQL,则停止并报告阻塞阶段。可观测 SELECT 不得含聚合、GROUP BY、子查询、CTE 或 JOIN,且只读。具体连接器清单、阶段映射与参数保留规则见资料中的引用文件。