SuperAPI AI 工具集

exploring-data

数据与分析

查看项目

更新于 10-16 02:35

技能介绍

用途:对用户上传的数据文件做探索性数据分析(EDA),触发场景包括“explore data”“analyze dataset”“EDA”“profile data”,支持 .csv/.xlsx/.json/.parquet 等格式。

主要能力与用法:先按大小分流,用 ls -la <filepath> 或 wc -l 估算;小于 200MB 且约 500 万行以内走 ydata-profiling 路径,更大则走 DuckDB 大文件路径。标准路径先运行 bash /mnt/skills/user/exploring-data/scripts/check_install.sh 检查安装,未安装时执行 install_ydata.sh,再用 bash /mnt/skills/user/exploring-data/scripts/analyze.sh <filepath> [minimal|full] [html|json] 分析,默认 minimal+html 并同时生成 JSON。minimal 约 5-10 秒,含概览、变量分析、相关性、缺失值与告警;full 约 10-20 秒,额外含散点矩阵、样本数据与字符分析。需要 Claude 解读时运行 summarize_insights.py 读取 stdout 摘要,而非完整 JSON;可用 visualize_findings.py 将 JSON 转为紧凑的 eda_findings.html 仪表盘。时间序列可传 tsmode=True 与 sortby 参数。

大文件路径:运行 install_large.sh 后执行 python3 profile_large.py <file> [--json out.json],通过 DuckDB 流式处理,输出各列空值率、近似去重计数、分位数、Top-5 值及质量标记,内存占用与文件大小无关。

其他操作:sketch_ops.py 提供 dups(精确与近似重复行)、overlap(键重叠与连接可行性)、snapshot/drift(与基线对比漂移)等固定内存操作。

限制:ydata-profiling 会把全部数据载入 pandas,大文件可能极慢或内存溢出;snapshot/dups 经 Python 流式处理,速度慢于纯 DuckDB 的 profile_large。具体收费、平台与效果资料未提供。