SuperAPI AI 工具集

data-catalog-entry

数据与分析

查看项目

更新于 10-15 09:25

技能介绍

用途

该技能用于为数据资产创建标准化的元数据条目,主要面向以下场景:

  • 新建了表、视图或数据集,需要使其可被发现;
  • 分析师反复询问同一张表的含义或归属;
  • 合规或审计要求对敏感数据进行文档化;
  • 新成员入职时需要了解可用的数据资产;
  • 审计目录完整性,找出未记录的表。

主要能力

该技能覆盖数据目录条目的完整编写流程,包括:

  1. 提取技术元数据:从 INFORMATION_SCHEMA 或源系统拉取模式、列名、类型、主键、外键和行数。可使用 scripts/catalog_extractor.py 对数据库表自动执行此操作。
  2. 收集业务背景:访谈数据负责人,记录业务目的、归属团队、关键性(critical / high / medium / low)以及已知用例,并记录业务友好的显示名称。
  3. 撰写列描述:为每一列写一句通俗语言描述,记录示例值,并记录任何业务规则(有效值、约束、格式要求)。
  4. 评估数据质量:计算或估算完整性、新鲜度(距上次更新的小时数)和重复率,记录已知问题及其对下游使用的影响。
  5. 记录血缘:记录上游来源(数据来自哪里)和下游消费者(依赖它的仪表板、模型、报告)。
  6. 补充治理细节并发布:指定访问级别(public/restricted/confidential)、敏感性(PII、财务、健康)、合规标签、保留策略和访问说明。完成 assets/catalog_entry_template.md 并提交到目录。

使用方式

该技能需要以下输入:

  • 数据库/源系统的连接或导出,用于获取技术元数据;
  • 数据负责人联系方式,用于业务背景访谈;
  • 对上游来源和下游消费者的了解;
  • 适用的治理政策(PII 分类、保留规则);
  • 任何现有的部分文档或数据字典。

输出包括:

  • scripts/catalog_extractor.py:从数据库表提取模式和基本统计信息;
  • assets/catalog_entry_template.md:填写完成的目录条目,包含技术、业务、质量、血缘和治理等部分。

适用场景

适用于需要系统化记录数据资产、提升数据可发现性、满足合规审计要求或帮助团队理解可用数据的组织与团队。

限制

关于该技能的具体平台支持、收费方式、价格、实际效果或未在上述资料中提及的使用步骤,暂未提供。