SuperAPI AI 工具集

csv-wrangling

数据与分析

查看项目

更新于 10-15 23:46

技能介绍

用途:这是一套用于 qsv CSV 数据整理(wrangling)的标准工作流、工具选择矩阵与组合模式说明,帮助按固定顺序处理 CSV 数据。

标准流程顺序:Setup(必要时调用 mcp__qsv__qsv_get_working_dir 与 mcp__qsv__qsv_set_working_dir 同步路径)→ index 建索引 → sniff/headers/count 识别格式与规模 → stats --cardinality --stats-jsonl 生成统计缓存 → slice --len 5 与 frequency --frequency-jsonl 检视 → select、sort、dedup、rename、replace、search、sqlp 转换 → validate 与 stats 校验 → tojsonl、table、mcp__qsv__qsv_to_parquet、to 导出 → describegpt --all 生成文档。

主要能力:工具选择矩阵给出常见任务的推荐与备选工具(如选择列用 select 或 sqlp,过滤行用 search 或 sqlp,去重用 dedup 或 sqlp,聚合用 sqlp 或 frequency,连接用 joinp 或 join,统计用 stats 或 moarstats 等)。选择语法支持按列名、1 基索引、范围、排除(!col、!1-3)与正则 /regex/。提供清洗去重、画像分析、连接富化、转换导出、批量转多格式、文件完整性校验(blake3)等流水线模式。

使用方式与分隔符:CSV 默认无需参数;TSV 用 --delimiter '\t' 或 .tsv,SSV 用 ';' 或 .ssv,可设 QSV_SNIFF_DELIMITER=1 自动识别。列索引为 1 基;--no-headers 会显著改变行为;默认输出到 stdout,可用 --output file.csv;多数命令透明支持 .sz 压缩文件;cat rows 要求列序一致,否则用 cat rowskey。

限制与注意:dedup 会加载全部数据并内部排序,已排序输入可用 --sorted 进入流式常内存模式;sort 会加载整个文件,超大文件改用 sqlp 的 ORDER BY。Parquet 仅适用于 sqlp 与 DuckDB,其他命令仍需 CSV/TSV/SSV。默认操作超时 10 分钟(QSV_MCP_OPERATION_TIMEOUT_MS 可调,最大 30 分钟)。建议顺序执行而非并行,结果尽量写入文件而非回传对话。

其他:可用 mcp__qsv__qsv_search_tools 发现更多命令,共 55 个基于技能的 qsv 命令;qsv 运行在宿主机,路径需在宿主机有效。资料未提供收费、价格与具体效果说明。