SuperAPI AI 工具集

data-quality-check

数据与分析

查看项目

更新于 10-16 08:35

技能介绍

用途:面向建筑(施工)项目数据,按 DDC 方法论第 2.6 章对数据质量做综合评估。资料强调数据质量差会导致决策差,应尽早、频繁校验。

主要能力:以 DataQualityChecker 类为核心,提供五个检查维度——完整性(缺失值/必需列)、准确性(数值范围规则)、一致性(唯一列与跨字段关系)、及时性(按日期列与最大时效天数)、有效性(正则模式匹配)。支持 run_full_check 汇总各维度得分并给出总体得分与等级(A+ 至 F),以及生成文本质量报告、列出问题。另提供 ValidationRulesBuilder 构建自定义规则(非空、唯一、范围、正则、枚举、自定义函数),以及 DataQualityPipeline 自动化管道,按配置运行检查、记录历史并判断是否达到最低质量分阈值。

使用方式:以 pandas 读取施工数据(资料示例为 read_excel("bim_export.xlsx"))。可直接计算完整性、唯一 ID、体积有效性等简单指标;完整用法为实例化 DataQualityChecker(df),依次调用各 check_ 方法或 run_full_check(),再调用 generate_report() 输出报告。也可用 ValidationRulesBuilder 链式添加规则后 validate(df),或用 DataQualityPipeline(config) 调用 run(df, source_name)。必要命令与代码请保持资料原样。

适用场景:BIM 导出表、构件清单等施工数据的批量质量校验与入库前检查。

限制:资料仅给出 Pandas/NumPy 相关 Python 代码与方法示例,未提供安装命令、收费、平台、性能数据或具体阈值之外的要求;及时性检查依赖 Modified_Date 等日期列,缺失时会返回提示而非评分。

分类:数据与分析。