用途
该技能面向数据工程实现过程,目标不是让代码“能跑”,而是通过契约、断言与验证证据证明源端假设、输出契约和质量检查共同成立。它适合在新增数据源接入、模式变更、转换逻辑更新、发布或变更表、以及涉及坏数据或指标异常的缺陷修复时使用。技能明确反对将其作为最后的清理步骤,主张从实现之初就指导开发。
主要能力
- 在实现前定义数据契约,包括必填字段、键约束、预期类型、允许的空值行为、新鲜度期望和对账规则。
- 先编写验证计划,常见验证类型有唯一性、非空阈值、引用完整性、可接受值、行数变化和源到目标总计。
- 用失败检查复现数据缺陷:若存在事故或缺陷,先编写失败的验证或测试,再修改管道。
- 实现满足契约的最小改动,并运行相关验证以捕获证据。
- 证据可包括测试输出、查询结果、对账样例输出或试运行日志。
使用方式
资料给出的工作流为:先定义契约,再编写验证计划;若存在缺陷,先以失败检查复现;随后进行最小实现改动;最后运行验证并捕获可审查的证据。技能还列出常见合理化借口与对应现实,例如“仓库查询看起来没问题”不能替代可扩展的自动检查,“等模型稳定后再加检查”会制造低信任数据和更困难的事故响应,“任务成功即数据有效”可能掩盖不正确或不完整的数据。
适用场景
适用于新增源数据接入、模式变更、转换逻辑更新、新发布或变更的表,以及涉及坏数据或指标异常的缺陷修复。技能也指出红旗信号:已发布数据集没有契约、事故修复未附带失败复现检查、仅验证快乐路径样本数据、缺少新鲜度或完整性期望。
限制
资料未提供该技能的具体安装方式、依赖平台、命令行用法、收费模式或官方文档链接,这些信息暂未提供。使用时应仅依据上述工作流与验证原则,不将其扩展为资料未说明的自动化功能或集成能力。