用途
该技能用于为数据资产创建标准化的元数据条目,主要面向以下场景:
- 新建了表、视图或数据集,需要使其可被发现;
- 分析师反复询问同一张表的含义或归属;
- 合规或审计要求对敏感数据进行文档化;
- 新成员入职时需要了解可用的数据资产;
- 审计目录完整性,找出未记录的表。
主要能力
该技能覆盖数据目录条目的完整编写流程,包括:
- 提取技术元数据:从 INFORMATION_SCHEMA 或源系统拉取模式、列名、类型、主键、外键和行数。可使用 scripts/catalog_extractor.py 对数据库表自动执行此操作。
- 收集业务背景:访谈数据负责人,记录业务目的、归属团队、关键性(critical / high / medium / low)以及已知用例,并记录业务友好的显示名称。
- 撰写列描述:为每一列写一句通俗语言描述,记录示例值,并记录任何业务规则(有效值、约束、格式要求)。
- 评估数据质量:计算或估算完整性、新鲜度(距上次更新的小时数)和重复率,记录已知问题及其对下游使用的影响。
- 记录血缘:记录上游来源(数据来自哪里)和下游消费者(依赖它的仪表板、模型、报告)。
- 补充治理细节并发布:指定访问级别(public/restricted/confidential)、敏感性(PII、财务、健康)、合规标签、保留策略和访问说明。完成 assets/catalog_entry_template.md 并提交到目录。
使用方式
该技能需要以下输入:
- 数据库/源系统的连接或导出,用于获取技术元数据;
- 数据负责人联系方式,用于业务背景访谈;
- 对上游来源和下游消费者的了解;
- 适用的治理政策(PII 分类、保留规则);
- 任何现有的部分文档或数据字典。
输出包括:
- scripts/catalog_extractor.py:从数据库表提取模式和基本统计信息;
- assets/catalog_entry_template.md:填写完成的目录条目,包含技术、业务、质量、血缘和治理等部分。
适用场景
适用于需要系统化记录数据资产、提升数据可发现性、满足合规审计要求或帮助团队理解可用数据的组织与团队。
限制
关于该技能的具体平台支持、收费方式、价格、实际效果或未在上述资料中提及的使用步骤,暂未提供。