SuperAPI AI 工具集

q-exploratory-analysis

数据与分析

查看项目

更新于 10-16 05:37

技能介绍

用途

Q-Exploratory-Analysis 是一个面向表格数据集的通用探索性数据分析(EDA)技能。它先预览数据集,通过访谈让用户确认各列的测量层级,再针对每种变量类型应用统计上合适的分析,最终产出结构化的 TABLE/ 目录以及一份带有洞察标记的 EXPLORATORY_SUMMARY.md 总览报告。

主要能力

  • 访谈式分类:先询问研究问题与时间列(Stage A),再自动检测列类型并呈现分类表供用户确认或修正(Stage B)。
  • 按测量层级分析:覆盖 ID/key、Binary、Nominal、Ordinal、Discrete、Continuous、Temporal、Text 等类型,各自应用对应分析。
  • 数据质量评估:缺失计数/百分比、重复行、常量列、基于 IQR 的离群值计数。
  • 单变量分析:名义频率、二元比例与 95% CI、有序分布与累积百分比、离散/连续变量的完整描述统计(M、Mdn、Mode、SD、Var、Range、IQR、CV、Q1/Q3、偏度、峰度、SE、95% CI、离群值计数)。
  • 双变量与多变量分析:Pearson 相关(连续/离散)、Spearman 相关(有序)、按名义分组的描述统计、名义×名义列联表。
  • 专项分析:文本词频与二元组、词汇丰富度;时间趋势聚合。
  • Excel 报告:生成 APA 第 7 版格式的 EXPLORATORY_REPORT.xlsx(黑白、无颜色填充)。
  • 叙述性总结:由模型读取生成的 CSV 并撰写 EXPLORATORY_SUMMARY.md。

使用方式

依赖安装:

pip install pandas numpy scipy openpyxl

脚本部署(首次运行前):

mkdir -p scripts
cp "${SKILL_DIR}/scripts/run_eda.py" scripts/run_eda.py

Windows 等价命令:

mkdir scripts 2>nul & copy "%SKILL_DIR%\scripts\run_eda.py" scripts\run_eda.py

PowerShell:

New-Item -ItemType Directory -Force scripts; Copy-Item "$env:SKILL_DIR/scripts/run_eda.py" scripts/run_eda.py

标准调用示例:

python scripts/run_eda.py data.xlsx \
  --col_types rating=ordinal views=continuous description=text record_id=id \
  --group platform tier \
  --output TABLE/

Windows 注意:使用 python(而非 python3)。若系统同时有 Python 2 和 3,使用 py -3 或完整路径。

主要参数:data(必填,.xlsx 或 .csv 路径);--col_types(确认的类型,col=type 对,有效值:id、binary、nominal、ordinal、discrete、continuous、temporal、text);--group(用于分组分析的名义列);--output(输出目录,默认 TABLE/);--top_n(频率表 Top-N,默认 10);--no_excel(跳过 Phase 6);--corr_deletion(pairwise 默认或 listwise);--interactive(对歧义整数提示)。

适用场景

适用于对表格数据集进行探索性分析、在假设检验前建立数据全貌、需要按测量层级生成规范统计表并导出 APA 格式报告的场景。

限制

  • 需要 Bash 执行环境;计划模式下不得执行分析,需先写简要计划并立即调用 ExitPlanMode。
  • 必须使用预置脚本 scripts/run_eda.py,不得编写新脚本或内联 Python。
  • 所有发现必须来自生成的 CSV,不得用临时 Python 推导。
  • 时间列仅实现按月聚合趋势表,缺口检测尚未实现。
  • ID 检测要求 n > 10 行;LOW_CARD_MAX = 20,即唯一值 ≤ 20 的整数会被标记为歧义(有序 vs 离散)。
  • 缺失数据超过 40% 的列会被标记提醒。
  • 部分功能(如可视化套件)在路线图中,暂未提供。