用途:面向 CSV 数据集的端到端探索性分析,包括缺失值分析、智能插补与交互式可视化。
主要能力:1) 缺失值分析:检测各列缺失值、识别数据类型、统计缺失比例并给出每列推荐插补策略,输出 JSON 报告与控制台结果。2) 智能插补:按列类型与分布选用均值(正态数值)、中位数(偏态数值)、众数(分类)、KNN(相关多元数值)、前向填充(时间序列)、插值、常量(高基数字段)或删除;自动删除缺失超 70% 的列、删除关键 ID 缺失的行,并生成前后统计报告。3) 仪表板:用 Plotly Dash 生成汇总统计表、时间序列图、分布直方图、相关性热图、分类柱状图与散点矩阵,默认地址 http://127.0.0.1:8050。
使用方式:先安装依赖 pip install -r requirements.txt(pandas、numpy、scikit-learn、plotly、dash、dash-bootstrap-components)。分析:python3 scripts/analyze_missing_values.py <input_file.csv> <output_analysis.json>;插补:python3 scripts/impute_missing_values.py <input_file.csv> <analysis.json> <output_imputed.csv>;仪表板:python3 scripts/create_dashboard.py <imputed_file.csv> <output_dir> <port>。也可单独使用分析、插补或可视化环节。
适用场景:CSV 数据的缺失值评估与清洗、探索性数据分析、趋势与分布可视化。
限制:KNN 对大数据集较慢,超过 5 万行建议改用简单方法或抽样;小于 50 行不宜用 KNN;缺失超 50% 需谨慎处理;插补结果为脚本推荐而非强制,修改逻辑需自行调整脚本;具体收费、平台与效果资料暂未提供。