用途
Data Lineage Mapper 用于从多种数据源中提取和映射数据血缘关系，提供全面的数据流可见性。它解析 SQL 查询、dbt 项目、Airflow DAG 和 Spark 作业，生成展示数据从源到目标流动的血缘图，从而支持影响分析和数据治理。
主要能力
- SQL 解析血缘提取：解析 SELECT、INSERT、MERGE 语句。
- dbt 血缘集成：从 manifest.json 提取血缘。
- Airflow 任务血缘映射：映射跨 DAG 任务的数据流。
- Spark 作业血缘提取：解析 Spark SQL 和 DataFrame 操作。
- 跨系统血缘连接：连接不同工具之间的血缘。
- 列级血缘追踪：追踪单个列的转换。
- 影响分析：下游/上游影响评估。
- 血缘图生成：可视化及机器可读的血缘。
- 与数据目录集成：导出到 DataHub、Amundsen、Alation。
使用方式
该技能通过输入模式接收数据源，支持 sql、dbt、airflow、spark、file 类型。可指定 existingLineage 合并现有血缘图，targetCatalog 选择导出格式（datahub、amundsen、alation、openlineage、json，默认 json）。选项包括 columnLevel（默认 true）、resolveViews（默认 false）、includeTemporary（默认 false）。输出包含 lineageGraph（节点和边）、columnLineage、impactAnalysis、catalogIntegration 和 statistics。
使用示例包括：SQL 查询血缘、dbt 项目血缘、多源血缘、表变更影响分析。
适用场景
适用于数据治理、影响分析、数据目录构建、dbt 项目分析等场景。可集成 MCP Server（dbt MCP、数据库 MCP、MindsDB），相关技能包括 dbt Project Analyzer 和 Data Catalog Enricher。适用流程包括 Data Lineage Mapping、Data Catalog、dbt Project Setup。
限制
暂未提供关于收费、价格、平台限制或具体性能指标的信息。