SuperAPI AI 工具集

xberg-picking-a-format

前端与建站

查看项目

更新于 10-16 09:49

技能介绍

用途:帮助为 Xberg 提取出的文档选择正确的输出格式,避免下游代码复杂化。Xberg 有两个相互独立的格式开关。

两个开关:--format 控制 CLI 如何打印结果,取值为 text、json、toon,默认 text(extract)或 json(batch)。--content-format 控制提取内容在结果中的渲染方式,取值为 plain、markdown、djot、html、json、doctags,默认 plain。--format json 返回包裹 ExtractedDocument 的信封:extract 时文档位于 .result,batch 时位于 .results[],其 content、metadata、tables、images 为嵌套文档字段;--format text 只打印 content。

选择建议:喂给 LLM 用 --format text --content-format markdown;向量库或 RAG 索引器用 --format json --content-format markdown(保留结构便于分块);需要机器可读 JSON 的下游解析器用 --format json --content-format plain;人工审阅或归档用 --format text --content-format markdown;网页重渲染用 --format json --content-format html;pandoc 或学术工具的无损中间格式用 --format json --content-format djot;token 预算受限的流水线用 --format text --content-format plain 并可加 --token-reduction moderate。

示例:xberg extract paper.pdf --content-format markdown;xberg batch docs/*.pdf --format json --content-format markdown | jq -c '.result | {content: .content, tables: .tables}';xberg extract long.pdf --content-format plain --token-reduction moderate;xberg extract file.pdf --format json | jq '.result.metadata'。

默认建议:内容格式默认 markdown,它在 LLM、RAG 与人工审阅之间折中最好。仅当下游无法容忍任何标记时用 plain;已在 djot/pandoc 流水线中用 djot;仅网页重渲染用 html;需要标题驱动的内容树用 json,需要 Docling 兼容输出用 doctags。

--token-reduction 与内容格式正交,可折叠空白、去除重复页眉页脚并裁剪样板文本,取值为 off(默认)、light、moderate、aggressive、maximum;LLM 上下文窗口建议从 moderate 起步,maximum 有损需先验证。完整参数见 references/cli-reference.md,xberg.toml 中对应的 output_format 与 token_reduction 键见 references/configuration.md。