SuperAPI AI 工具集

04-grain-validation

数据与分析

查看项目

更新于 10-15 20:32

技能介绍

用途:该技能用于 Silver→Gold 事实表合并脚本的开发与校验,核心原则是 DDL 的 PRIMARY KEY 揭示粒度,合并脚本必须与之一致。合并前先做粒度校验,可提前发现粒度不匹配,防止运行时报错和昂贵的表重写。

主要能力:提供运行时的合并前粒度校验模式,用 validate_fact_grain() 等工具在 MERGE 前验证 DataFrame;识别常见失败模式,如 DDL 为聚合粒度却写事务级脚本,或反之;提供开发、部署前、部署后三阶段的校验清单。

使用方式:先根据 YAML 中的 pk_columns 与 grain 输入已去重的 DataFrame;复合主键使用 groupBy(pk_columns).agg(...) 聚合,单一主键直接透传单条记录不做聚合;在 merge_fact_table 前调用 validate_fact_grain 验证,输出重复行数与样例报告;校验失败先修复聚合逻辑,再进行 schema 校验与 MERGE。

适用场景:创建事实表合并脚本、调试 DELTA_MERGE_UNRESOLVED_EXPRESSION 或重复行错误、为既有合并脚本补充合并前粒度校验。限制:需要 DDL 与 YAML 元数据;具体函数签名、参数与完整参考文件内容暂未提供;不涉及费用与平台信息。