SuperAPI AI 工具集

ae-dataops

数据与分析

查看项目

更新于 10-14 06:22

技能介绍

用途

该技能用于通过 ae-cli 完成 DataOps 相关工作,包括数据仓库表与视图及字段管理、实体回收、流程配置与发布、执行排障、回填、SQL 查询和数据集成。

主要能力

覆盖的命令域包括:dataops_repo(空间发现)、dataops_datatable(表与视图、字段、实体生命周期)、dataops_flow(流程创建、配置、发布、执行与监控)、dataops_operations(运维与回填)、dataops_ide(条件查询)、dataops_integration(数据集成)。

使用方式

全局参数包括:--format <json|table>(默认 JSON)、--jq <expr>(在包装前对命令负载执行 jq,注意使用 .flowInstance.status 而非 .data.flowInstance.status)、--host <url>(覆盖当前 AE 主机,可置于子命令之后)。输出使用外层 ok 与 data,命令错误为 ok:false 并在 stderr 输出 error.type/message/hint 且退出码非零,需要同时检查两个流。ok:true 不等于业务完成,需检查参考文档描述的结果字段。异步工作需保留返回 ID 并轮询同一操作,使用有上限的退避轮询。

适用场景

包括:发现或选择空间;创建表/视图或修改字段类型与注释;删除表/视图或检查/清空回收站条目;创建/配置流程,增删改任务与参数,调度或发布;执行、检查或停止运行,排查失败任务;填充多个历史业务日期;创建/测试数据源或配置/运行同步。

关键约束

  • 空间:dataops_repo 仅一个读命令,用于发现有效 spaceCode;若已提供可信 spaceCode 则复用;若未知先运行 +list_spaces;多个空间且意图不明确时询问用户,不要猜测。
  • 表与视图:从 dataops_datatable +dict_search_tables 开始发现;只有原始引擎元数据才用 dataops_ide +search_tables;创建为 DEV-only,需发布时用 +publish_entity;字段操作一次一个,先预览,不要变更分区字段,PROD 单独发布;普通“删除表/视图”仅指回收(+entity_recycle),彻底删除需另行使用 +recycle_bin_list 与 +recycle_bin_delete,两者都影响 DEV 与 PRODUCT,需精确实体 ID 与名称、语义 --dry-run 及明确确认后才用 --yes;不要为绕过 RECYCLE_NAME_CONFLICT 自动删除同名回收实体。
  • 流程:在 DEV 创建和更新任务,PROD 执行前预览/发布;+get_flow_overview 查看自定义 flowParams 与各任务 dag.tasks[].taskParams;+delete_task 属高风险,需先概览验证、--dry-run 预览并明确确认;+execute_flow 总是运行 PROD 并返回 executeId;回填作业是持久的多基准日期批量作业,不要用循环 +execute_flow 模拟;+create_backfill_job 创建草稿后单独运行;+update_backfill_job 是完整替换而非部分修补;+delete_backfill_job 高风险。
  • 查询:IDE 仅用于查询;提交单条只读 SQL,创建平台限定的下载任务,行不会内联返回,也不是无限制或全量导出。
  • 集成:按模板生成 sourceConfig、sinkConfig、channelConfig、fieldsMapping,不要臆造键;MySQL 源读分区使用 sourceConfig.splitColumn;+save_sync_solution 不是部分修补;+get_sync_detail --withParams true 仅返回摘要与已用参数,不能重建缺失配置;预设仓库同步使用 te_etl@TASK_ENGINE_TRINO;停止运行中的同步前先用 +list_sync_runs 获取 taskId。

限制

当前 DataOps 命令不实现全局 --validate 服务端检查,不要把它当作有效校验。其他 --dry-run 实现仅展示本地请求,不校验服务端权限、连接、SQL 或业务状态。具体命令标志以已安装命令的 --help 为准,若与参考不一致应报告版本不匹配而非臆造别名。

未提供的信息

关于收费、价格、平台支持范围、具体安装步骤及实际运行效果的量化说明,资料中暂未提供。