SuperAPI AI 工具集

programmatic-eda

数据与分析

查看项目

更新于 10-16 01:38

技能介绍

用途:在拿到新数据集、需要先确认其结构与质量时启用,回答“这份数据可靠吗”“表里有什么”等问题,并作为建模或统计检验前的数据质量保障。

主要能力:依次执行加载与概览、空值剖析、异常值检测、分布摘要、相关性探索,并遵循 EDA 检查清单逐项确认;脚本会输出每列统计与交互式图表。流程包括:运行 scripts/data_overview.py 查看行数、dtypes、内存占用与样本,确认一行代表什么(粒度);运行 scripts/null_profiler.py 并对照 references/quality_thresholds.md 的阈值标记超限列;运行 scripts/outlier_detector.py(IQR+z-score)标记数值列异常值并判断是真实信号还是数据错误;运行 scripts/distribution_summary.py 获取描述统计与单变量直方图;运行 scripts/correlation_explorer.py,将 |r| > 0.8 的变量对标记为潜在多重共线性或冗余;最后走查 references/eda_checklist.md 完成签核,填写 assets/eda_report_template.md 与 assets/findings_summary.md。

使用方式:需提供数据集路径(CSV/Parquet/Excel)或已在作用域内的 DataFrame,以及业务背景(一行代表什么);可选提供质量阈值覆盖与需跳过的列(PII、二进制、高基数 ID)。参考 references/pandas_polars_recipes.md 可查 pandas/polars 等价写法与大文件分块读取等模式。

适用场景:新数据集探查、分析结果异常时的数据核验、利益相关方询问数据可靠性、建模前质量保障。

限制:资料未提供具体依赖环境、安装命令、脚本内部实现细节、阈值默认值、运行耗时与支持规模;输出包含报告、摘要与控制台输出/图表。