SuperAPI AI 工具集

di-agent-flow-datastage

数据与分析

查看项目

更新于 10-15 22:16

技能介绍

用途:这是 watsonx.data integration 中 DataStage(批处理)流程的 SDK 参考,用于以 SDK 风格 Python 代码编写和编辑流程。路由判断(新建还是编辑、用本技能还是 pyflow)由 di-agent-flow-lifecycle 技能负责,使用前须先理解该生命周期技能。

主要能力:SDK 可访问整个引擎阶段目录,包括 pyflow 无法表达的部分;代价是需要精确的阶段类型、属性名和枚举值,因此被定位为兜底手段而非默认方式。流程通过 create_datastage_flow(新建)或 update_datastage_flow(就地编辑)提交,认证、项目上下文与持久化自动处理。两个工具都会在调用时编译流程,若编译失败返回 status: "compile_error" 及 flow_id、flow_link 和逐阶段 compile_errors,流程仍会保存,应针对同一 flow_id 用 update_datastage_flow 修复,不要新建或删除。

使用方式:SDK 约定见 references/sdk-conventions.md;阶段选择用 recommend_datastage_stages;属性名与取值用 datastage_property_lookup;逐阶段细节、优化、Transformer 表达式见 di-agent-knowledge-engine-datastage 技能。编辑时先用 retrieve_datastage_flow_code 取回完整代码,再提交完整 SDK(含新增内容),不可手写片段;引用的阶段、链接、模式须在同一提交中先定义变量。新增或改变结构应先在 pyflow 中引导生成,再在此精修。

限制与护栏:按 flow_id 获取流程,flow_name 可能因重名返回错误流程;不要猜测阶段类型、属性名或枚举值;所有改动合并为一次提交,连续提交会互相覆盖;update_datastage_flow 不会创建流程,名称不存在会报错;成功后应展示返回的 flow_link。版本快照由生命周期 RECOVER 状态管理,每次更新自动快照,最多保留 5 个。参数化流程在编辑时会保留参数集注册与本地参数,若绑定丢失可用 get_flow_parameter_references 审计并恢复。