用途:在修改表、DAG 或数据之前,排查下游影响范围(blast radius),回答“改动后会破坏什么”。
主要能力: 一、识别直接消费者。对表,可搜索 DAG 源码中的 FROM target_table、JOIN target_table,使用 af dags list 列出全部 DAG,用 af dags source <dag_id> 搜索表引用;检查依赖视图(Snowflake 可用 SELECT * FROM information_schema.view_table_usage WHERE table_name = '<target_table>',或查看 SHOW VIEWS 并检索定义);排查 BI 工具直连表的情况。对 DAG,先用 af dags source <dag_id> 找出其产出表,再递归追踪这些表的下游消费者。 二、构建依赖树,映射完整下游影响(如表到聚合表到看板或模型)。 三、按关键性分级:关键(生产看板、面向客户应用、高管自动报告、生产 ML 模型、合规报告)、高(内部运营看板、分析师流程、下游 ETL)、中(临时分析表、开发/预发副本、历史归档)、低(废弃表、未用数据集、测试数据)。 四、评估变更风险:模式变更(增删改列)关注哪些下游查询会中断、SELECT * 是否会带入新列、哪些转换引用被改列;数据变更(取值、量、时点)关注聚合是否仍有效、NULL 假设是否失效、时点变化是否影响 SLA;删除/废弃则需先迁移完整依赖树并通知全部相关方。 五、查找责任人:DAG owners 字段、BI 工具元数据中的看板负责人、团队命名或文档。
输出:影响报告,含摘要(影响 X 张表、Y 个 DAG、Z 个看板)、影响示意图、明细表(下游、类型、关键性、负责人、备注)、风险评估表(变更类型、风险等级、缓解措施)与建议行动(通知负责人、更新下游 DAG、测试看板、选择低影响窗口)。
在 Astro 上,Astro UI 的 Lineage 标签页提供跨 DAG 与数据集的依赖图,可减少手工源码搜索。相关技能:tracing-upstream-lineage、checking-freshness、debugging-dags、annotating-task-lineage、creating-openlineage-extractors。限制:资料未提供具体收费标准、支持平台清单或更多安装细节。