用途:面向研究场景,帮助在深入分析前快速了解 CSV 表格数据的结构、质量与统计特征,覆盖从读取到清洗再到汇总统计的流程。
主要能力:多编码尝试读取与分隔符识别;初始画像(行数、列数、内存、各列类型分布、缺失比例、重复行数、列名列表);列语义类型推断(标识符、分类、连续、日期时间、文本);清洗管线,包括删除全空行列、列名标准化为 snake_case、缺失值评估与处理建议、重复行检测、值域校验、分类标签统一;统计摘要,包括集中趋势、离散程度、偏度、峰度、四分位距、变异系数,以及分类列取值频次与数值列相关系数;分布与假设检验,如 Shapiro-Wilk、D'Agostino-Pearson、Kolmogorov-Smirnov、Levene 检验。
使用方式:基于 Python 的 pandas、numpy、scipy 等标准数据科学库运行,通过函数式接口完成加载、画像、清洗与统计。资料提供了示例函数定义,包括 load_and_profile_csv、infer_semantic_types、clean_column_names、assess_missingness、generate_statistical_summary 等。
适用场景:仪器导出、问卷平台、政府数据仓库、合作方交付的 CSV;单表调查结果到多文件纵向研究导出。
限制与未提供信息:资料未说明具体安装方式、依赖版本、界面形态、是否收费或定价、平台兼容范围、性能上限,也未提供完整可运行脚本;部分实现细节需按实际数据调整。强调可复现性:保留原始 CSV、记录每步清洗日志、导出带版本后缀的清洗后数据、随数据集附清洗脚本并报告各步骤删除行数,随机操作使用一致 random_state。