SuperAPI AI 工具集

data-quality-auditor

数据与分析

查看项目

更新于 10-15 21:10

技能介绍

用途:对 CSV/Excel 数据集进行数据质量评估,适用于数据验证、ETL 流程和数据集审计。

主要能力:完整性(缺失值分析)、唯一性(重复检测)、有效性(类型校验与约束)、一致性(模式与格式检查);计算 0-100 的总体质量分(完整性30%、唯一性25%、有效性25%、一致性20%);生成 HTML/JSON 详细报告与建议;支持自定义校验规则(必填、唯一、正则、类型、范围、枚举值、日期格式)。

用法:Python 中导入 from data_quality_auditor import DataQualityAuditor,使用 load_csv("customers.csv") 或 load_dataframe(df) 加载数据,再调用 audit()、quality_score() 及 check_missing()、check_duplicates()、check_types()、check_uniqueness()、check_patterns()、validate_column()、validate_dataset()、generate_report()、summary() 等方法。命令行示例:python data_quality_auditor.py --input data.csv;加 --report report.html 生成 HTML 报告;--missing、--duplicates、--types 检查单项;--json 输出 JSON;--rules rules.json 按规则校验。

适用场景:入仓前阈值校验(如质量分低于 80 中止)、ETL 关键列校验、生成质量文档。

限制:资料未提供价格、平台支持、性能指标或安装命令等细节;依赖 pandas>=2.0.0、numpy>=1.24.0。具体字段含义以实际返回结构为准。