SuperAPI AI 工具集

tracing-downstream-lineage

数据与分析

查看项目

更新于 10-16 01:34

技能介绍

用途:追踪 Airflow 数据资产的下游血缘,评估变更影响范围,回答“如果我改动这个,会破坏什么”。

主要能力:

  1. 识别直接消费者。对表,使用 list_active_dags 与 list_paused_dags 列出 DAG,并用 get_dag_source_code 搜索表引用;对 DAG,从源码确定输出,再追踪读取这些输出的下游 DAG。
  2. 构建依赖树,例如 SOURCE: fct.orders 分支到 TABLE: agg.daily_sales(对应 Dashboard: Executive KPIs)和 TABLE: ml.order_features(对应 Model: Forecasting)。
  3. 按关键性分类:Critical(生产看板、面向客户应用)、High(内部运营看板、下游 ETL)、Medium(临时分析)、Low(已弃用或测试数据)。
  4. 评估变更风险,考虑 schema 变更、数据时序变更、删除或弃用。
  5. 查找相关方,包括 DAG 定义中的 DAG 负责人和 BI 工具中的看板负责人。

输出:影响报告,包含下游资产摘要、影响图、详细影响与负责人、风险评估与缓解措施。

相关技能:tracing-upstream-lineage、checking-freshness、debugging-dags、annotating-task-lineage、creating-openlineage-extractors。

限制:资料未提供具体安装命令、配置方式、支持平台与收费信息,暂未提供。