SuperAPI AI 工具集

datahub-lineage

数据与分析

查看项目

更新于 10-15 20:33

技能介绍

用途:帮助用户理解数据在系统中的流动,追踪上游来源、下游消费者、跨平台依赖,并评估变更影响。适用于“改动 X 会破坏什么”“X 的数据来自哪里”“展示完整数据流”等问题。

主要能力:支持多种遍历模式——影响分析(下游)、根因分析(上游)、完整管道(双向)、跨平台、指定路径。可做列级血缘(仅数据集)、路径查找、JSON 结构化输出。

使用方式:先确定目标实体,提供 URN 直接使用,或搜索 datahub search "<name>" --where "entity_type = dataset" --limit 5。再选遍历模式与深度(默认 1 跳,full 为 2-3 跳,超过 3 跳需确认)。执行查询可用 MCP 工具 get_lineage(urn=..., direction=..., depth=...) 或 CLI:datahub lineage --urn "<URN>" --direction upstream/downstream,加 --hops、--column、--format json;路径用 datahub lineage path --from "<URN_A>" --to "<URN_B>"。默认 --hops 3、--count 100,结果被截断时增大 --count。lineage 只返回 URN、名称、类型、平台和跳数,不含所有权、描述、标签;需丰富元数据时用 datahub search "*" --where 'urn IN (...)' --projection 批量补充,或用 get_entities(urns=[...])。

适用场景:数据依赖梳理、变更影响评估、根因排查、管道映射、跨系统血缘展示。

限制:不负责元数据查询(如“谁拥有 X”)或元数据更新,应分别使用 /datahub-search、/datahub-enrich;拒绝含 shell 元字符的输入;血缘返回 0 条边时可能未采集血缘,需说明而非断言无依赖;展示时用名称而非原始 URN,并注意 dbt 与仓库表的 sibling 关系。