SuperAPI AI 工具集

picking-a-format

数据与分析

查看项目

更新于 10-16 07:18

技能介绍

用途:帮助在 Xberg 中挑选合适的文档输出格式,让下游代码保持简单。Xberg 有两个正交的格式开关,需在使用前确定。

两个主要开关:--format 控制 CLI 如何打印结果,取值 text、json、toon,默认 text(extract)、json(batch);--content-format 控制抽取内容在结果中如何渲染,取值 plain、markdown、djot、html、json,默认 plain。--format json 始终返回完整 ExtractionResult(content + metadata + tables + images),--format text 只打印 content,--content-format 决定 content 字段里的内容形态。另有正交的 --token-reduction,取值 off、light、moderate、aggressive、maximum,默认 off,用于折叠空白、去除重复页眉页脚与样板文本,可与任意 --content-format 组合。

按消费方的选择:LLM 上下文用 --format text --content-format markdown;向量库或 RAG 索引器用 --format json --content-format markdown(markdown 保留结构便于分块);需要机器可读 JSON 的下游解析器用 --format json --content-format plain;人工审阅或归档用 --format text --content-format markdown;HTML 重新渲染或网页展示用 --format json --content-format html;pandoc 或学术工具的无损中间格式用 --format json --content-format djot;受 token 预算约束的流水线用 --format text --content-format plain,并可加 --token-reduction moderate 进一步压缩。

示例:xberg extract paper.pdf --content-format markdown;xberg batch docs/*.pdf --format json --content-format markdown | jq -c '.[] | {path: .metadata.path, content: .content, tables: .tables}';xberg extract long.pdf --content-format plain --token-reduction moderate;xberg extract file.pdf --format json | jq '.metadata'。

建议:默认使用 markdown 作为内容格式,在 LLM、RAG 与人工审阅间折中最好;仅当下游无法容忍任何标记时用 plain;已在 djot/pandoc 流水线时才用 djot;仅需网页重渲染时用 html。token-reduction 建议从 moderate 起步,maximum 有损需先验证。完整标志集见 references/cli-reference.md,xberg.toml 中对应的 output_format 与 token_reduction 键见 references/configuration.md。