SuperAPI AI 工具集

te-dataops

数据与分析

查看项目

更新于 10-16 05:47

技能介绍

TE DataOps 属于 ae-cli 技能,用于数据开发与运维。使用前需先阅读 te-shared/SKILL.md 了解认证、全局参数与安全约束。

用途与子命令:dataops_repo 负责空间与资源管理;dataops_datatable 管理数据表与视图;dataops_flow 负责流程创建编排与执行监控;dataops_ide 用于数据探索与 SQL 查询;dataops_integration 管理数据源与数据集成;dataops_operations 负责运维与回补。

关键规则:executeId 由 dataops_flow +execute_flow 返回或经 +list_flow_instances 获取,仅用于 dataops_flow;flowInstanceId 由 dataops_operations +search_flow_instances 获取,仅用于 dataops_operations,两者不可互换。多数 flow/ide/datatable 命令默认 DEV 环境,+list_flow_instances 默认 PROD,dataops_operations 全部默认 PROD。DEV 的 schema 为 ws_${spaceCode}dev,PROD 为 ws${spaceCode}_product。SELECT 查询用 dataops_ide,DDL 用 dataops_datatable,外部数据源 DDL 用 dataops_integration +execute_sql。流程生命周期为创建、建节点、保存定义、配依赖、配调度、DEV 测试、发布 PROD。CRON 为 6 字段(秒 分 时 日 月 周),如 0 0 2 * * ?。预设仓库 te_etl 的 datasourceId 为 te_etl@TASK_ENGINE_TRINO,database 留空并需 gatewayConfig;非预设仓库需指定 datasourceId 与 database。

典型用法示例:ae-cli dataops_repo +list_spaces 获取 spaceCode;+create_table 需 --ddl --repoCode --catalog --schema --confirmed;+create_flow 返回 flowCode;+create_task 创建任务节点;+save_task_definition 保存定义;+save_schedule_config 配置调度;+execute_flow 在 DEV 测试;+release_flow 发布生产。+get_flow_dag 返回静态定义,+get_execute_dag 返回带状态的运行时结构。表名规则为 ^[a-z][0-9a-z_]{0,127}$,DDL 遵循 Trino 语法。

限制:IDE 仅允许 SELECT,禁止建改删表;停止执行不可逆;文章未提供收费、价格、平台与效果等信息。