用途:在建模前理解数据集,进行剖析分布、检测异常、识别关系与评估数据质量;适用于新数据集定向、特征工程前、数据质量排查和模型准备。
主要能力:剖析结构(模式、类型、基数、缺失值模式);分析分布(数值型直方图、箱线图、偏度;类别型频次、稀有类别);探索关系(数值相关性矩阵、类别交叉表、目标变量关系);识别问题(离群值、重复、不一致、类别不平衡、时间序列模式)。
工具选择:自动剖析用 ydata-profiling / pandas-profiling 生成综合报告;交互探索用 ipywidgets + plotly;统计检验用 scipy.stats;大数据集用 Polars + lazy 节省内存。
必要用法示例: import polars as pl from ydata_profiling import ProfileReport
df = pl.read_parquet("data.parquet") profile = ProfileReport(df.to_pandas(), title="Data Profile") profile.to_file("profile_report.html")
核心规则:先做自动剖析;关注可操作洞见(记录值得调查的离群值,标记高基数或稀有类别特征,注意可能引起多重共线性的强相关);用分布图、相关性热图、缺失值模式和目标关系图进行沟通;验证假设(期望范围、业务规则、时间一致性、关键关系是否符合领域知识)。
常见反模式:跳过 EDA 直接建模;把所有离群值当错误;忽略缺失值机制(MCAR/MAR/MNAR);对大数据集过度绘图而不采样;不记录发现供团队使用。
渐进式披露参考:automated-profiling.md(ydata-profiling、Sweetviz、D-Tale)、visualization-patterns.md(Matplotlib、Seaborn、Plotly 模式)、statistical-tests.md(Scipy 统计检验指南)、large-dataset-eda.md(采样、Polars、Dask 方法)。相关技能:@data-science-feature-engineering、@data-science-model-evaluation、@data-engineering-quality。
限制:资料未提供具体收费、价格、平台要求或效果数据。