SuperAPI AI 工具集

data-reconciliation-exceptions

数据与分析

查看项目

更新于 10-16 07:11

技能介绍

用途

该技能用于对账多个数据源,使用稳定标识符(工资编号 Pay Number、驾驶证号、司机卡号、司机资格卡号 DQC)进行匹配,生成异常报告,并实施“无静默失败”检查,确保数据管道在计数不匹配等异常时停止。

主要能力

  • 基于稳定标识符进行精确匹配,优先顺序为:工资编号 → 司机卡 → 驾驶证 → DQC。
  • 对列进行规范化:去除空格、统一大小写、去除文档编号中的常见标点。
  • 验证键:标记空白或无效格式,识别每个数据源中的重复项。
  • 生成异常分类及原因:缺失于 A/B、重复键、字段不匹配、无效键。
  • 实施“无静默失败”门控:计数在容差内、未匹配率低于阈值、重复峰值被标记。
  • 输出异常报告规范(CSV 列 + 原因代码)和差异检查。
  • 可选产物:assets/exceptions-report-template.csv 和 references/matching-rules.md。

使用方式

触发条件包括:

  • 对账两个数据源并生成带原因的异常报告。
  • 跨文件匹配姓名和工资编号,标记无法连接的内容。
  • 构建“无静默失败”检查,在计数不匹配时停止管道。
  • 创建每周差异报告,涵盖缺失记录、重复项和日期缺口。
  • 设计带阈值和红旗的数据质量记分卡。

输入要求:

  • 必需:至少两个数据集(CSV/XLSX),包含工资编号和/或司机文档编号;指定必须匹配的字段(如姓名、到期日期)。
  • 可选:规范化规则(大小写、空格、标点);门控/记分卡阈值(最大缺失百分比等)。

工作流程:

  1. 确认数据源和键优先级(工资编号 → 司机卡 → 驾驶证 → DQC)。
  2. 规范化列:去除空格、统一大小写、去除文档编号中的常见标点。
  3. 验证键:标记空白/无效格式,识别每个数据源中的重复项。
  4. 连接:先按工资编号精确连接;仅对剩余未匹配项尝试次级连接。
  5. 生成带原因的异常类别:缺失于 A/B、重复键、字段不匹配、无效键。
  6. “无静默失败”门控:计数在容差内、未匹配率低于阈值、重复峰值被标记。

输出格式:

  • 异常报告 CSV 列:exception_type, reason, source_a_id, source_b_id, pay_number, name, field, source_a_value, source_b_value。
  • 原因代码:MISSING_IN_A, MISSING_IN_B, MISMATCH, DUPLICATE_KEY, INVALID_KEY。

适用场景

  • 工资导出与合规登记册对账。
  • 来自不同系统的两个每周导出文件对账。
  • 需要明确匹配规则和可审计异常原因的数据质量检查。

限制

  • 不适用于需要开放式模糊匹配且无验收标准的场景。
  • 不适用于任何数据源中都没有稳定标识符的情况。
  • 默认只读,不自动编辑源数据;异常需路由至人工审核。
  • 优先使用确定性匹配规则,除非明确要求,否则避免模糊匹配。
  • 必须始终生成异常报告,绝不丢弃未匹配行。
  • 如果列未映射、存在多个竞争 ID 且无优先级、或预期容差未指定,应停止并询问用户。