dataset-quality-audit 是一个数据质量审计工具,用于对表格数据运行 12 个维度的质量检查,并生成每个维度的评分(0–100)、总体等级以及可操作的修复建议。
用途 该工具面向表格数据的质量评估场景,支持 CSV、Excel、TSV、JSON 等格式。它通过多维度检查帮助使用者发现数据中的常见问题,并给出修复方向。
主要能力 工具覆盖以下 12 个检查维度:
- 缺失值:统计每列 null/NaN 值的数量与百分比。
- 重复行:统计完全重复行的数量与百分比。
- 类型一致性:检测单列内混合类型(例如数字与文本混用)。
- 数值范围/异常值:使用 IQR 方法进行异常值检测。
- 格式合规性:检查日期、邮箱、电话号码等格式化字段的一致性。
- 唯一性约束:检查 ID 类型列是否包含重复值。
- 空白字符问题:检测首尾空格、空字符串、仅含空白字符的值。
- 常量列:识别仅含单一唯一值的列(零信息量)。
- 分布偏度:判断数值列是否存在过度偏斜。
- 列命名:检查列名中的空格、特殊字符或大小写不一致。
- 基数异常:识别唯一值数量异常偏高或偏低的情况。
- 跨列一致性:执行跨列的逻辑检查(例如开始日期早于结束日期)。
使用方式 工具以 Python 脚本形式提供,通过命令行调用。基本用法: python3 scripts/data_quality_checker.py data.csv
常用选项示例:
- 将报告保存为 JSON:python3 scripts/data_quality_checker.py data.csv --output report.json
- 指定 ID 列(用于唯一性检查):python3 scripts/data_quality_checker.py users.csv --id-columns "user_id,email"
- 指定日期列(用于格式检查):python3 scripts/data_quality_checker.py orders.csv --date-columns "created_at,updated_at"
参数说明:
- input(必填):输入文件路径(CSV/TSV/Excel/JSON)。
- --output / -o(可选,默认 stdout):JSON 报告输出路径。
- --id-columns / -id(可选,默认自动检测):应以逗号分隔的、要求唯一的列名。
- --date-columns / -dc(可选,默认自动检测):应以逗号分隔的、包含日期的列名。
- --sample / -s(可选,默认全部行):采样行数,适用于大文件。
- --encoding / -e(可选,默认 utf-8):文件编码。
输出格式为 JSON,包含文件名、行数、列数、总体评分、等级、各维度评分与问题列表,以及 top_suggestions 修复建议列表。
评分等级
- A+:95–100,质量优秀,可直接使用。
- A:90–95,质量良好,仅有轻微问题。
- B:80–90,质量中等,建议使用前修复。
- C:60–80,质量较差,需要显著清洗。
- D:40–60,质量很差,存在许多需要处理的问题。
- F:0–40,基本不可用,需要重新采集或大规模清理。
适用场景 适用于需要对表格数据进行质量评估与清洗前诊断的场景,例如数据准备、数据治理、分析前的数据检查等。
依赖与限制 依赖 Python 3.8+、pandas 和 numpy,安装命令为:pip install pandas numpy。关于平台支持范围、收费模式、性能上限等更多信息,资料暂未提供。