用途
Q-Exploratory-Analysis 是一个面向表格数据集的通用探索性数据分析(EDA)技能。它先预览数据集,通过访谈让用户确认各列的测量层级,再针对每种变量类型应用统计上合适的分析,最终产出结构化的 TABLE/ 目录以及一份带有洞察标记的 EXPLORATORY_SUMMARY.md 总览报告。
主要能力
- 访谈式分类:先询问研究问题与时间列(Stage A),再自动检测列类型并呈现分类表供用户确认或修正(Stage B)。
- 按测量层级分析:覆盖 ID/key、Binary、Nominal、Ordinal、Discrete、Continuous、Temporal、Text 等类型,各自应用对应分析。
- 数据质量评估:缺失计数/百分比、重复行、常量列、基于 IQR 的离群值计数。
- 单变量分析:名义频率、二元比例与 95% CI、有序分布与累积百分比、离散/连续变量的完整描述统计(M、Mdn、Mode、SD、Var、Range、IQR、CV、Q1/Q3、偏度、峰度、SE、95% CI、离群值计数)。
- 双变量与多变量分析:Pearson 相关(连续/离散)、Spearman 相关(有序)、按名义分组的描述统计、名义×名义列联表。
- 专项分析:文本词频与二元组、词汇丰富度;时间趋势聚合。
- Excel 报告:生成 APA 第 7 版格式的 EXPLORATORY_REPORT.xlsx(黑白、无颜色填充)。
- 叙述性总结:由模型读取生成的 CSV 并撰写 EXPLORATORY_SUMMARY.md。
使用方式
依赖安装:
pip install pandas numpy scipy openpyxl
脚本部署(首次运行前):
mkdir -p scripts
cp "${SKILL_DIR}/scripts/run_eda.py" scripts/run_eda.py
Windows 等价命令:
mkdir scripts 2>nul & copy "%SKILL_DIR%\scripts\run_eda.py" scripts\run_eda.py
PowerShell:
New-Item -ItemType Directory -Force scripts; Copy-Item "$env:SKILL_DIR/scripts/run_eda.py" scripts/run_eda.py
标准调用示例:
python scripts/run_eda.py data.xlsx \
--col_types rating=ordinal views=continuous description=text record_id=id \
--group platform tier \
--output TABLE/
Windows 注意:使用 python(而非 python3)。若系统同时有 Python 2 和 3,使用 py -3 或完整路径。
主要参数:data(必填,.xlsx 或 .csv 路径);--col_types(确认的类型,col=type 对,有效值:id、binary、nominal、ordinal、discrete、continuous、temporal、text);--group(用于分组分析的名义列);--output(输出目录,默认 TABLE/);--top_n(频率表 Top-N,默认 10);--no_excel(跳过 Phase 6);--corr_deletion(pairwise 默认或 listwise);--interactive(对歧义整数提示)。
适用场景
适用于对表格数据集进行探索性分析、在假设检验前建立数据全貌、需要按测量层级生成规范统计表并导出 APA 格式报告的场景。
限制
- 需要 Bash 执行环境;计划模式下不得执行分析,需先写简要计划并立即调用 ExitPlanMode。
- 必须使用预置脚本 scripts/run_eda.py,不得编写新脚本或内联 Python。
- 所有发现必须来自生成的 CSV,不得用临时 Python 推导。
- 时间列仅实现按月聚合趋势表,缺口检测尚未实现。
- ID 检测要求 n > 10 行;LOW_CARD_MAX = 20,即唯一值 ≤ 20 的整数会被标记为歧义(有序 vs 离散)。
- 缺失数据超过 40% 的列会被标记提醒。
- 部分功能(如可视化套件)在路线图中,暂未提供。