SuperAPI AI 工具集

shell-tools

通用与其它

查看项目

更新于 10-16 03:43

技能介绍

用途:这是一个 shell 工具技能,目标是让使用者掌握 jq、xargs、GNU parallel 以及高级管道的用法,用于处理 JSON、批量参数、并行任务和高效数据管道。

主要能力:jq 部分覆盖基本查询(如 jq '.'、jq '.key'、jq '.array[0]'、jq '.nested.key')、过滤(select)、字段选择与计算、转 CSV(jq -r '.[] | @csv')以及从变量构造 JSON(jq -n --arg)。xargs 部分覆盖基本用法、用 -0 安全处理含空格文件名、用 -n 限制参数数量、用 -P 并行、用 -I {} 占位。GNU parallel 部分覆盖 ::: 与 :::: 输入、-j 并行度、--progress、--delay 等选项。管道工具部分覆盖 sort(-n、-u)、uniq -c、cut、paste、tr 等。

使用方式:资料给出常见模式,如 API 数据管道(curl 取数据后经 jq 过滤转 CSV,再 sort、head)、并行压缩日志(find 配合 parallel -j 4 gzip)、带限速的批量 API 调用(parallel -j 5 --delay 0.2 配合 curl)、JSON 转表格(jq 输出制表符分隔后接 column -t)。调试技巧包括用 jq '.' 校验 JSON、用 tee /dev/stderr 观察管道中间结果。性能建议包括 LC_ALL=C sort、parallel -j $(nproc)、用 jq -c 流式处理大文件。

适用场景:需要从命令行处理 JSON、批量执行命令、并行化 CPU 或 IO 任务、构建数据转换与迁移管道的工作。

限制与前置条件:需要较强的 Bash 基础、文本处理基础和管道理解;GNU parallel 未安装时需 apt install parallel。资料还列出反模式(如用 grep 解析 JSON、该并行却串行、cat | xargs)与常见错误(jq 报错多为 JSON 无效、xargs 参数过长需用 -n)。具体安装方式、版本要求与平台支持资料未完整提供。