SuperAPI AI 工具集

exploratory-data-analysis

数据与分析

查看项目

更新于 10-16 06:19

技能介绍

用途:对表格数据执行探索性数据分析,发现数据中的模式、异常和变量间关系,适用于数据文件探索、统计摘要生成、数据质量检查等场景。

主要能力:支持 CSV、Excel(.xlsx、.xls)、JSON、Parquet、TSV、Feather、HDF5、Pickle 等格式。统计脚本可输出数据集形状、类型、内存占用、缺失数据模式与比例、数值与分类摘要统计、基于 IQR 和 Z-score 的异常值检测、分布分析与正态性检验、Pearson 与 Spearman 相关矩阵、数据质量指标(完整性、重复项)以及自动洞察。可视化脚本生成 300 DPI 的 PNG 图,包括缺失数据热力图与柱状图、带 KDE 的直方图、箱线图与小提琴图、相关热力图、散点矩阵、分类柱状图,检测到日期时间列时还会生成时间序列图。

使用方式:先运行 python scripts/eda_analyzer.py <data_file> -o <output_dir> 做统计分析,再运行 python scripts/visualizer.py <data_file> -o <output_dir> 生成图表,然后读取 <output_dir>/eda_analysis.json 中的结果,按 assets/report_template.md 的结构撰写报告并呈现关键洞察与可视化。参考材料包括 references/statistical_tests_guide.md(统计检验解读)和 references/eda_best_practices.md(EDA 流程与最佳实践)。

适用场景与限制:数据量小于 100 行时需注意样本量限制并使用非参数方法;100 至 100 万行适用标准流程;超过 100 万行建议先抽样探索,完整分析推荐分布式计算。高维数据(超过 50 列)建议先聚焦关键变量。不支持格式需先转换;文件过大建议抽样或分块处理;数据损坏需报告错误并尝试部分分析。具体收费、平台与效果资料暂未提供。