用途:为数据管道构建质量门禁,度量、监控并报告数据质量维度,适合数据工程师在验证流程中使用。
主要能力:提供完整性、唯一性、有效性、准确性、一致性、及时性等质量维度;支持新鲜度检查、数据量检查、分布漂移检测(数值型 KS 检验与 PSI、类别型卡方检验)、模式对比(新增/删除列、类型变化),并可生成质量评分卡与 HTML 报告。相关技能包括 data-profiler 与 anomaly-detector。
使用方式:从 scripts/quality_metrics.py 导入函数,例如 calculate_completeness、calculate_uniqueness、check_freshness、check_volume、detect_distribution_drift、generate_scorecard、generate_html_report。典型调用如 calculate_completeness(df, required_cols=['id','email','status'])、check_freshness(df, timestamp_col='updated_at', max_age_hours=24)、generate_scorecard(df, name='users_table', required_cols=['id','email'], key_cols=['id'])。漂移告警阈值可配置,如 PSI 绿 0.1、黄 0.25、红 0.5,日变化上限 30%、周变化上限 50%、空值率上升上限 5%。
依赖:pandas、scipy(分布漂移检测)、numpy(PSI 计算)。
限制:资料未提供安装命令、收费方式、平台支持范围及具体运行环境要求,暂未提供。