SuperAPI AI 工具集

data-analysis

数据与分析

查看项目

更新于 10-16 05:01

技能介绍

该技能用于科学数据分析,底层使用 Python 与 pandas 等库,所有脚本统一在 /Users/zhangmingda/clawd/.venv 虚拟环境中运行,启用方式为:source /Users/zhangmingda/clawd/.venv/bin/activate。

用途与流程:先做数据加载,支持从 CSV(pd.read_csv)、Excel(pd.read_excel,可指定 sheet_name)、JSON(pd.read_json)读取;用户粘贴的数据需先保存为临时文件再读取。随后进行快速检查,输出数据形状、列名、类型、描述统计与缺失值情况。

主要能力:一是数据清洗,包括缺失值处理(dropna、中位数填充)、去重(drop_duplicates)、基于 IQR 的异常值过滤、类型转换(日期、分类变量)。二是探索性数据分析(EDA),用 matplotlib 与 seaborn 绘制分布图、相关矩阵热力图与配对图(pairplot),并可保存为图片。三是统计检验,按数据类型、分布(Shapiro-Wilk 正态性检验)、组数、配对情况选择检验方法:两组独立样本用独立 t 检验或 Mann-Whitney U,配对样本用配对 t 检验或 Wilcoxon 符号秩,三组及以上用单因素方差分析或 Kruskal-Wallis,重复测量用重复测量方差分析或 Friedman,连续变量关联用 Pearson r 或 Spearman ρ,分类变量关联用卡方或 Fisher 精确检验;还可计算效应量如 Cohen's d。四是回归,使用 statsmodels 做 OLS、logistic 回归与混合效应模型。五是结果报告,要求报告样本量、描述统计、检验统计量、自由度、p 值、效应量及置信区间,并说明检查过的假设。

注意事项与限制:参数检验前需检查假设;应报告效应量而非仅 p 值;多重比较需用 Bonferroni 或 FDR 校正;分析前后都应可视化数据;输出结果应保存为可供用户下载的文件。资料未提供具体平台支持范围、收费方式或更细的环境配置说明。