SuperAPI AI 工具集

tracing-upstream-lineage

数据与分析

查看项目

更新于 10-15 17:20

技能介绍

用途:追踪数据的上游血缘,回答“这份数据从哪来”、某张表由什么填充、有哪些上游依赖或数据源。

主要能力:先确定追踪对象类型(表、列或 DAG);再找到产出该表的 DAG,可用 af dags list 按名称搜索、用 af dags source <dag_id> 阅读 DAG 源码、用 af tasks list <dag_id> 查看任务,在源码中查找 INSERT、MERGE、CREATE TABLE 等语句定位目标表。随后从 DAG 代码识别来源,如 SQL 的 FROM 子句、S3Operator/PostgresOperator/SalesforceOperator/HttpOperator 等连接引用、以及 CSV/Parquet、SFTP、本地文件等来源。再递归构建血缘链路,例如目标表 -> DAG -> 上游表 -> 上游 DAG -> 外部系统。还可追踪列级血缘:在目标表结构中定位列、在 DAG 源码中搜索该列名,并区分直接映射、COALESCE 等变换和 SUM 等聚合。最后检查来源健康度:表可结合 checking-freshness 技能,DAG 可用 af dags stats 查看近期运行状态。

输出:形成包含一句话结论、血缘示意图、来源明细(类型、连接、新鲜度、负责人)、转换链路说明和数据质量影响(单点故障、上游陈旧、转换链复杂易断)的血缘报告。

适用场景:在 Astro 上可用其 UI 的 Lineage 标签页可视化地探索跨 DAG 与数据集的血缘,无需手工翻源码;在 OSS Airflow 上无内置跨 DAG 界面,需依赖 DAG 源码与任务日志追踪。

限制:资料未提供安装方式、收费信息与具体命令参数细节;列级血缘依赖列名在代码中可被检索。相关技能包括 checking-freshness、debugging-dags、tracing-downstream-lineage、annotating-task-lineage、creating-openlineage-extractors。