SuperAPI AI 工具集

batch-extraction

数据与分析

查看项目

更新于 10-16 07:18

技能介绍

用途:一次处理目录或 glob 中的大量文档。xberg batch 在全部文件间共享同一套提取配置,并发执行提取,返回一个结构化数组,单个文件失败不会中止整轮任务。

主要能力:支持混合格式;可指定内容格式(如 --content-format markdown)便于 LLM 摄取;并发数由 --max-concurrent 控制(默认 CPU 核数);--max-threads 进一步限制内部线程(Rayon、ONNX intra-op、批处理信号量);--file-configs 传入 JSON 映射,为指定路径单独覆盖配置(键须与命令行传入路径一致,值为 snake_case 的提取配置对象);--output-dir 控制文本/toon 输出时引用图片的写出位置,目录须预先存在,JSON 输出内联图片字节并忽略该参数。所有 extract 标志同样适用于 batch。

使用方式:xberg batch .pdf;xberg batch docs/.docx --content-format markdown;xberg batch $(find ./corpus -name '.pdf')。batch 默认 --format json(单文件 extract 默认 text),数组每项是完整提取结果,可按位置对应输入路径列表。配置也可用文件,例如 xberg batch corpus/.pdf --config xberg.toml。编程接口:Python 用 extract_batch 接收 ExtractInput 列表并返回含 results 数组的信封,逐项覆盖写在 ExtractInput.config;Node.js 为 extractBatch,Rust 为 extract_batch。已注册 xberg MCP 服务器时优先用 extract_batch 工具。

适用场景与限制:适合批量 OCR、分块、版面分析、多格式文档入库等。注意:batch 与 extract 默认格式不同;--output-dir 不会自动创建;大批量叠加 OCR/版面模型时内存占用高,需调低 --max-concurrent;错误需检查结果中的部分内容与错误信息,不能只看退出码。详细 batch 标志见 references/cli-reference.md。