用途:在建模或报告前对表格数据集做结构化探索性数据分析(EDA),揭示数据实际内容与假设之间的差异。
主要能力:加载并检查数据结构(行列数、列名、类型、内存占用,显示首尾各 5 行);评估数据质量(各列空值绝对数与百分比、零方差列、高基数分类列、混合类型列、重复行);分析单变量分布(数值列的均值、中位数、标准差、偏度、峰度及直方图/KDE,分类列前 10 类计数与占比,标记高度不平衡);探索变量关系(数值列相关矩阵与热力图,分类对数值用分组箱线图/小提琴图,分类对分类用列联表/马赛克图,突出 |相关系数|>0.7 的配对);检测异常值(对每个数值列用 IQR 法,报告数量与占比,用箱线图可视化,并跨列交叉比对);汇总为 EDA 报告(数据概览、质量问题、分布特征、显著相关、异常汇总、下一步建议)。
支持技术:pandas 用于加载与剖析;matplotlib/seaborn 用于分布与相关性可视化;ydata-profiling(原 pandas-profiling)用于自动生成 EDA 报告;scipy.stats 用于分布分析的统计检验。
使用方式:向代理提供数据集文件路径,可选指定关注的目标列、分类变量最多显示类别数、是否生成自动化 HTML 报告。代理返回可视化输出与文字总结。
适用场景:任何表格数据在特征工程或建模前的初步探查,尤其适合需要快速了解数据质量、分布与相关性的场景。
限制与注意事项:资料未提供具体安装命令、收费或平台信息。建议在特征工程与建模前运行 EDA;不要只读汇总统计而忽略可视化(双峰与正态分布可能均值方差相同);检查数据泄漏(与目标近乎完美相关的特征可能含未来信息);关注分布尾部;以可共享格式记录发现;重大清洗后重跑 EDA。边界情况:数百列时跳过逐列可视化,改用 ydata-profiling 自动剖析并仅展示最相关配对;目标高度不平衡时明确标记并建议分层采样或重平衡;全空或零方差列自动丢弃并记录;实际为数值的字符串列(>90% 可解析为数字)建议先做类型转换;含多地区记录时标记无时区信息的日期时间列,避免静默聚合错误。