SuperAPI AI 工具集

table-governance

数据与分析

查看项目

更新于 10-31 17:41

技能介绍

用途 该技能用于在创建或修改任何数据表时,统一执行表级与字段级的文档和治理规范,不受数据分层或业务域限制。它被定位为优先执行的技能,应在 sdp-basics、pii-management 等领域技能之前应用,以保证基础治理要求先落地。完整示例参见资料中提到的 governance-template.md。

主要能力

  1. 表级注释:每张表必须有 COMMENT 子句,说明表包含的内容、数据来源或上游表、是否含 PII(如适用)。资料按 Bronze、Silver、Gold 给出注释句式,并要求含个人数据的表在注释后追加“CONTAINS PII: <column_list>”。
  2. 表属性:每张表必须有 TBLPROPERTIES,至少包含 quality(bronze/silver/gold)和 domain(业务域)。含 PII 时增加 contains_pii 与 pii_columns;Silver/Gold 层增加 delta.enableChangeDataFeed=true;流式表增加 delta.enableRowTracking=true;有留存要求时增加 retention_days。
  3. 字段级文档:建表后用 ALTER TABLE 为关键字段添加描述,至少覆盖主键、外键、派生或计算列、PII 列、数据质量标记列、审计列,以及名称含义不直观的列。资料为各类型列提供了描述句式,例如主键写“Unique <entity> identifier from <source>”,派生数值写公式与单位,脱敏 PII 写脱敏方法与原字段。
  4. PII 标记:含个人数据的表需在 TBLPROPERTIES 中声明 contains_pii 和 pii_columns,注释中包含 CONTAINS PII 列表,PII 字段描述需注明 PII 类型与风险级别,并在支持时应用 Unity Catalog 标签。
  5. Unity Catalog 标签:使用 quality、domain、pii、data_classification、sla 等标签分别标示分层、业务域、PII 标记、访问控制级别和新鲜度预期。资料明确要求不要把 owner 放入 TBLPROPERTIES(属保留项),也不要用 owner 标签伪造表归属,Unity Catalog 的 owner 应为管道运行身份。
  6. 治理检查清单:在完成表定义前逐项核对注释、属性、PII 标记、字段描述、UC 标签,以及 audit_timestamp 与 source_system 是否为最后两列。

使用方式 在建表或改表的 SQL 中按规范补充 COMMENT、TBLPROPERTIES 与 ALTER TABLE 字段描述,并对照检查清单逐项确认。资料未提供具体安装命令或代码文件内容,除 governance-template.md 外暂未提供其他实现细节。

适用场景 适用于 Databricks 数据平台上的建表与改表流程,尤其是需要统一 Bronze/Silver/Gold 分层注释、PII 标记和元数据标签的数据工程团队。

限制 资料只定义了文档与元数据规范,未说明自动化执行方式、校验工具或强制拦截机制;未提及收费、价格或平台支持范围之外的信息,这些内容暂未提供。