用途:追踪 Airflow 数据资产的下游血缘,评估变更影响范围,回答“如果我改动这个,会破坏什么”。
主要能力:
- 识别直接消费者。对表,使用 list_active_dags 与 list_paused_dags 列出 DAG,并用 get_dag_source_code 搜索表引用;对 DAG,从源码确定输出,再追踪读取这些输出的下游 DAG。
- 构建依赖树,例如 SOURCE: fct.orders 分支到 TABLE: agg.daily_sales(对应 Dashboard: Executive KPIs)和 TABLE: ml.order_features(对应 Model: Forecasting)。
- 按关键性分类:Critical(生产看板、面向客户应用)、High(内部运营看板、下游 ETL)、Medium(临时分析)、Low(已弃用或测试数据)。
- 评估变更风险,考虑 schema 变更、数据时序变更、删除或弃用。
- 查找相关方,包括 DAG 定义中的 DAG 负责人和 BI 工具中的看板负责人。
输出:影响报告,包含下游资产摘要、影响图、详细影响与负责人、风险评估与缓解措施。
相关技能:tracing-upstream-lineage、checking-freshness、debugging-dags、annotating-task-lineage、creating-openlineage-extractors。
限制:资料未提供具体安装命令、配置方式、支持平台与收费信息,暂未提供。