SuperAPI AI 工具集

tracing-upstream-lineage

数据与分析

查看项目

更新于 10-16 01:35

技能介绍

用途:追踪数据的上游血缘,回答“这份数据从哪来”“谁在供给某张表”“上游依赖和数据源是什么”。

主要能力:支持对表、列、DAG 三类目标进行溯源;通过 list_active_dags、list_paused_dags 列出 DAG,用 get_dag_source_code 读取 DAG 源码,若存在运行记录可用 analyse_dag_latest_run 查看任务与日志;从 DAG 代码中识别来源表与系统,包括 FROM/JOIN 中的 SQL 来源、通过 operator hook 或 connection ID 接入的外部来源、对象存储中的文件,并用 go_to_connections_view 查看连接元数据;构建血缘链(如 TARGET: analytics.orders_daily 上溯到 DAG: etl_daily_orders,再到 SOURCE: raw.orders、dim.customers);用 get_dag_runs 或 get_dag_history 检查上游 DAG 健康度,用 go_to_dag_log_view 查看日志。列级血缘则先在目标表 schema 中定位列,再在 DAG 源码中搜索引用并追踪转换与映射。

输出:血缘报告,包含来源摘要、血缘图、来源详情(连接、新鲜度)、转换链与数据质量影响。

相关技能:checking-freshness、debugging-dags、tracing-downstream-lineage、annotating-task-lineage、creating-openlineage-extractors。

限制:资料未提供具体安装方式、收费与平台支持范围,暂未提供。