这是 xberg-io/xberg 中关于选择文档提取输出格式的技能说明。用途是帮助用户在提取文档时确定合适的输出格式,使下游处理代码保持简单。
主要能力围绕两个相互独立的格式选项展开:--format 控制命令行结果的打印方式,取值为 text、json、toon,默认在 extract 下为 text、在 batch 下为 json;--content-format 控制结果中内容的呈现方式,取值为 plain、markdown、djot、html、json、doctags,默认为 plain。--format json 会返回包裹 ExtractedDocument 的信封,extract 时文档位于 .result,batch 时位于 .results[],其下包含 content、metadata、tables、images 等字段;--format text 只打印 content,而 --content-format 决定该 content 字段的内容形式。
选择建议以消费方为依据:供 LLM 使用时用 --format text --content-format markdown;供向量库或 RAG 索引器使用时用 --format json --content-format markdown,以保留结构便于切分;供机器解析下游使用时用 --format json --content-format plain;供人工审阅或归档时用 --format text --content-format markdown;网页重渲染时用 --format json --content-format html;作为 pandoc 或学术工具的无损中间格式时用 djot;受 token 预算约束时用 --format text --content-format plain。
示例包括将 PDF 直接输入 LLM、批量索引语料并保留表格与标题、以及只取元数据等。文中提到 --token-reduction 可独立使用,用于压缩空白、去除重复页眉页脚和样板内容,取值有 off(默认)、light、moderate、aggressive、maximum,可与任意 content-format 组合。默认建议使用 markdown,仅在需要时选用 plain、djot、html、json 或 doctags。maximum 有损,使用前需验证。官方资料未提供具体安装命令、收费与价格信息。