SuperAPI AI 工具集

dataset-comparer

数据与分析

查看项目

更新于 10-16 05:06

技能介绍

用途:比较两个 CSV/Excel 数据集,找出差异、新增/删除行和值变化,用于数据校验、ETL 验证或变更追踪。

主要能力:行比较(新增、删除、匹配行);值变化检测(匹配行中变化的字段);列比较(识别 schema 差异);差异统计摘要;输出 HTML、CSV、JSON 差异报告;支持按关键列或行位置灵活匹配;可忽略指定列或仅比较指定列。

使用方式:Python API 中导入 DatasetComparer,调用 load 加载两个文件,compare 执行比较(可传 key_columns、ignore_columns、compare_columns),再用 get_added_rows、get_removed_rows、get_changed_rows、get_unchanged_rows 获取明细,compare_schema 比较列结构,generate_report 生成报告。CLI 用法示例:python dataset_comparer.py --old old.csv --new new.csv --key id --report diff.html;支持 --key id,date、--output diff.csv、--json、--ignore updated_at,modified_date、--columns name,email,status 等参数。

适用场景:数据迁移验证、ETL 管道校验、增量更新检测、schema 变更检测。

限制:依赖 pandas>=2.0.0 和 numpy>=1.24.0;资料未提供安装命令、收费、平台支持等细节;大文件建议使用关键列匹配并仅导出差异。