用途:追踪数据的上游血缘,回答“这份数据从哪来”“谁在供给某张表”“上游依赖和数据源是什么”。
主要能力:支持对表、列、DAG 三类目标进行溯源;通过 list_active_dags、list_paused_dags 列出 DAG,用 get_dag_source_code 读取 DAG 源码,若存在运行记录可用 analyse_dag_latest_run 查看任务与日志;从 DAG 代码中识别来源表与系统,包括 FROM/JOIN 中的 SQL 来源、通过 operator hook 或 connection ID 接入的外部来源、对象存储中的文件,并用 go_to_connections_view 查看连接元数据;构建血缘链(如 TARGET: analytics.orders_daily 上溯到 DAG: etl_daily_orders,再到 SOURCE: raw.orders、dim.customers);用 get_dag_runs 或 get_dag_history 检查上游 DAG 健康度,用 go_to_dag_log_view 查看日志。列级血缘则先在目标表 schema 中定位列,再在 DAG 源码中搜索引用并追踪转换与映射。
输出:血缘报告,包含来源摘要、血缘图、来源详情(连接、新鲜度)、转换链与数据质量影响。
相关技能:checking-freshness、debugging-dags、tracing-downstream-lineage、annotating-task-lineage、creating-openlineage-extractors。
限制:资料未提供具体安装方式、收费与平台支持范围,暂未提供。