用途:这是面向建筑行业数据的剖析技能,用于在正式使用数据前了解其字段类型、取值分布、缺失模式、异常值与引用完整性问题,服务于数据质量评估和 ETL 规划。
主要能力:核心类 ConstructionDataProfiler 提供 profile_dataframe 方法,按列统计总数、缺失数及占比、唯一值数与唯一率;数值列给出最小值、最大值、均值、中位数、标准差,并以三倍标准差识别潜在异常值;字符串列给出长度区间与平均长度,并检测常见模式(如 CSI 编码、项目编号、成本编码、WBS、电话、邮箱、ISO 与美式日期、货币、百分比),同时根据列名线索推断字段语义(项目、成本、日期、数量、CSI、位置、人员)。整体层面统计重复行、内存占用,计算 0-100 的质量评分,并生成改进建议。
输出方式:profile_to_dict 可导出 JSON 字典;generate_profile_report 生成 Markdown 报告,含概要、建议、列详情表与逐列明细;compare_profiles 可对比两次剖析,识别新增列、删除列、类型变化、缺失率变化与行数、质量分差异。
适用场景:建筑数据接入前的质量检查、ETL 设计准备、字段语义识别、数据漂移与模式变更监控。
限制:依赖 pandas、numpy,面向 DataFrame 输入;模式识别基于样本匹配,属于启发式推断,可能误判;官方文档未提供安装命令、许可、价格与运行环境等信息,暂未提供。