SuperAPI AI 工具集

multi-file-excel-parquet-analysis

数据与分析

查看项目

更新于 10-16 03:11

技能介绍

用途:该技能是 Excel 数据分析工作流中的一个步骤子技能,覆盖从多 Sheet 文件读取、规模评估,到 Parquet 数据分类统计与可视化报告生成的环节。完整流程(文件读取、行计数、大文件优化、导出)需参见父级 SKILL.md。

主要能力:第一步读取 Excel 并遍历所有 Sheet,仅读第一列以快速统计行数、评估数据规模,避免大文件内存溢出;第二步读取转换后的 Parquet 文件,对指定分类列(如“剪裁结果”“状态”)计算频数与占比,并构建含总计行的统计表;第三步用 matplotlib 绘制饼图、将统计结果保存为 Excel,并输出报告文件路径。

使用方式:基于 Python,需 pandas、matplotlib、openpyxl/pyarrow 等依赖。示例中通过 pd.ExcelFile 获取 sheet_names,用 pd.read_excel(file_path, sheet_name=sheet, usecols=[0]) 统计行数,用 pd.read_parquet(output_parquet) 读取数据,value_counts 与 normalize=True 计算数量占比,plt.savefig 保存图片,summary_df.to_excel 保存报告。绘图时设置 plt.rcParams['font.sans-serif'] 为 SimHei 等中文字体以避免乱码。

适用场景:多 Sheet Excel 数据的规模摸底、需要从大文件转入 Parquet 后做分类分布分析的场景,以及生成饼图和统计报告用于汇报。

限制:资料未提供完整的父级工作流、Parquet 转换的具体命令与依赖版本、其他可视化类型或收费等信息;示例中的 output_parquet 变量来源未给出,需按实际环境替换路径与目标列名。