SuperAPI AI 工具集

csv-processor

数据与分析

查看项目

更新于 10-15 09:09

技能介绍

CSV Processor 是一个专注于 CSV 文件处理的技能,用于解析、转换和分析 CSV 数据,并提供较高级的数据操作能力。

用途 该技能面向需要对 CSV 文件进行读取、清洗、转换、合并、拆分、统计与质量检查的任务。它既可以作为处理指令被调用,也提供了大量可直接参考的代码示例,覆盖 Python 与 JavaScript 生态中的常见 CSV 处理方式。

主要能力 解析 CSV 文件:自动检测分隔符(逗号、制表符、分号、竖线),处理不同编码(UTF-8、Latin-1、Windows-1252),处理带引号字段与转义字符,正确处理多行字段,检测并使用表头行。 数据转换:按条件筛选行,选择特定列,排序与分组,合并多个 CSV 文件,将大文件拆分为较小块,以及数据透视与逆透视。 数据清洗:去除重复项,处理缺失值,去除空白,规范化数据格式,修复编码问题,校验数据类型。 数据分析:生成统计信息(求和、平均值、最小值、最大值、计数),识别数据质量问题,检测异常值,分析列数据类型,计算分布。

使用方式 该技能以 @csv-processor 形式调用,资料中给出的用法示例包括: @csv-processor data.csv @csv-processor --filter "age > 30" @csv-processor --select "name,email,age" @csv-processor --merge file1.csv file2.csv @csv-processor --stats @csv-processor --clean --remove-duplicates

资料还提供了大量代码示例,涵盖: 读取 CSV:Python 的 pandas(自定义分隔符、指定编码、跳过行、选择列、解析日期、处理缺失值、指定数据类型)以及 csv 模块(DictReader、自定义分隔符、方言嗅探);JavaScript 的 csv-parser 与 papaparse。 写入 CSV:Python 的 pandas(自定义分隔符、指定编码、写入特定列、追加写入、全部字段加引号);JavaScript 的 csv-writer。 数据转换:筛选行(单条件、多条件 AND/OR、字符串操作、isin、非空、query 表达式)、选择列(单列、多列、按类型、按正则、删除列、重命名列)、排序(单列、降序、多列、按索引)、分组与聚合(单列分组、计数、多聚合、多列分组、自定义聚合、透视表)。 合并 CSV:纵向拼接(concat)与类 SQL 连接(inner join、left join、多键、不同列名合并);JavaScript 中的数组拼接与 leftJoin 实现。 数据清洗:去重(整体去重、按列去重、保留首/末条、识别重复)、缺失值处理(统计缺失、删除行/列、填充固定值、前向填充、均值/中位数填充、插值)。 数据校验:邮箱格式校验、年龄范围校验、必填字段校验、数据类型检查、移除无效行。 数据规范化:去除空白、转小写、标准化电话号码、标准化日期、标准化国家名称、转换数据类型。 数据分析:统计摘要(describe、均值、中位数、标准差、最小/最大值、value_counts、百分比分布、交叉表、相关矩阵)、数据剖析(形状、列、类型、内存占用、缺失值、重复项、数值摘要、唯一值计数、样本、高频值、异常值)、异常值检测(IQR 方法)、生成 Markdown 分析报告。 高级操作:拆分大型 CSV 文件(资料中该部分内容被截断,未完整给出)。

适用场景 适用于需要对 CSV 进行批量清洗、格式规范化、多文件合并、大文件拆分、分组聚合统计、数据质量检查与生成分析报告的场景。也适合作为 Python 或 JavaScript 中 CSV 读写与处理代码的参考。

限制 资料未说明该技能的具体运行环境、依赖安装方式、性能上限、支持的最大文件规模、收费方式与价格、平台兼容范围等信息,这些内容暂未提供。资料中“拆分大型 CSV 文件”一节内容不完整,相关完整用法暂未提供。