用途:在拿到新的表格数据集、准备训练模型前,先做一轮结构化探索性分析,避免直接上模型导致的隐藏数据问题。资料称其为“Tabular EDA — Done Right”的工作流,建议不要急着调用 XGBClassifier 等模型。
主要能力(按资料列出的步骤):加载数据并查看 shape、dtypes、内存;识别目标列并推断问题类型(二分类、多分类、回归);统计每列与整体缺失比例及模式;查看数值分布(偏度、离群点、量纲差异);检测类别基数,标记高基数类别以防 OneHot 编码爆炸;标记近常量特征;标记两两相关系数绝对值超过 0.95 的冗余特征对;检测目标泄漏(与目标 Pearson 绝对值超过 0.95 视为可疑);用互信息对比 Pearson 以捕捉非线性特征;可选做 PCA/UMAP 降维可视化。输出为 findings 报告(特征名、触发指标、建议动作)及六类图:缺失条形图、数值分布网格、类别基数条形图、相关性热力图、互信息与 Pearson 对比条形图、离群点箱线图;并建议同时输出 findings.json。
必要用法:文中给出若干可直接使用的函数片段,例如 find_leakage_candidates(df, target_col, numeric_cols, threshold=0.95)、find_high_cardinality(df, cat_cols, threshold=50)、find_near_constant(df, threshold=0.98)、find_redundant_pairs(df, numeric_cols, threshold=0.95)、infer_target_type(y),以及 from sklearn.feature_selection import mutual_info_classif, mutual_info_regression 后计算 mi_scores。
适用场景:刚拿到未了解的数据集;训练前验证数据;模型表现异常好或异常差时排查数据质量问题;用户问“这个数据集该怎么办”。
限制与不适用:数据已经深入了解并做过剖析;数据是图像/文本/音频/时间序列(规则不同);用户只想快速训练模型且接受风险。资料也提醒:发现可疑泄漏特征应先与数据所有者确认再删除;互相关仅看 Pearson 会漏掉非线性关系;不要对高基数类别直接 OneHot;需检查重复行;缺失值填补前先判断缺失机制;EDA 报告应记录到 MLflow 等实验追踪中。
以上内容依据公开资料整理,未提供具体安装命令、收费方式或平台支持信息。