用途:围绕文档抽取做增强处理,包括统计式关键词提取、语言检测和向量嵌入,供 RAG 与搜索使用。关键词与语言检测随抽取结果返回,嵌入由独立 embed 命令生成。
主要能力:关键词支持 YAKE(无监督单文档统计,通用默认)与 RAKE(共现/短语,倾向多词关键短语)两种算法。语言检测可用 --detect-language。嵌入提供本地 ONNX 预设,也可经 LLM 或插件后端。
使用方式:关键词无单独 CLI 标志,需用 [keywords] 配置块或内联 JSON 启用,结果落在 result.extracted_keywords(Node.js 为 extractedKeywords)。示例:xberg extract paper.pdf --format json --config-json '{"keywords":{"algorithm":"yake","max_keywords":15,"language":"en"}}' | jq '.extracted_keywords'。配置文件支持 algorithm、max_keywords(默认 10)、min_score、ngram_range(仅配置文件,默认 [1,3])、language。语言检测:xberg extract multilingual.pdf --detect-language true --format json | jq '.detected_languages',配置块 [language_detection] 含 enabled、min_confidence、detect_multiple。嵌入:xberg embed --text ... --preset balanced,或 xberg embed --provider llm --model openai/text-embedding-3-small --api-key "$OPENAI_API_KEY";本地预设需先下载,可用 xberg cache warm --embedding-model balanced 或 --all-embeddings。程序化访问见 Python 示例,keywords/language 位于结果文档字段。
限制:关键词提取属构建特性开关,需 CLI 以 keywords-yake/keywords-rake Cargo 特性构建,否则配置被静默忽略、结果为空不报错。min_score 方向因算法而异(YAKE 越低越好,RAKE 越高越好)。embed 只接收原始文本,不做抽取,需管道接入。其余平台与收费信息暂未提供。