SuperAPI AI 工具集

creating-kb

通用与其它

查看项目

更新于 10-16 02:35

技能介绍

用途:把一堆文件转成可移植、可部署的知识库。输出是 .skill 包(本质是普通 zip),内含 BM25 倒排索引、分块文本、纯 Node 搜索器和查询协议。不使用嵌入模型、不做语义搜索,检索为词法级;语义层由消费方智能体在搜索时扩展查询来完成,因此 bundle 可移植:任何能运行 node 的智能体无需 npm install、模型下载或联网即可查询。整套工具链为 JavaScript。

构建方式:用自带脚本构建,不要手写索引。 SCRIPTS=/mnt/skills/user/creating-kb/scripts node $SCRIPTS/build_lexkb.js CORPUS_DIR --out /tmp/kb --name my-kb --zip

工作流:1)把来源文件收集到一个目录,默认扩展名 txt、md、html、htm,可用 --ext 修改;在 Claude.ai 聊天中上传文件位于 /mnt/user-data/uploads/。2)构建 bundle,脚本会分块、建 BM25 索引并写出 bundle 目录(SKILL.md + search.js + index.json + chunks.jsonl),加 --zip 则在 --out 旁生成 my-kb.skill。3)交付:将其移动到输出目录并提供下载链接,告知用户解压到智能体技能目录或作为技能上传;随后 bundle 自带 SKILL.md 驱动查询,消费方读取它、把问题扩展为检索词并运行 search.js,无需其他设置。

分块:检索单元与推理单元解耦,分块大小影响不大。默认 --target-chars 0(整篇文档),召回最好、分块最少;多主题长文件可用 1500–4000;需要极细粒度时才用 500。默认仅返回查询最密集的片段(--snippet,约 1200 字符),加 --snippet 0 可查看完整分块。

验证:交付前先测试。 node /tmp/kb/search.js --query "a representative question" --core "key term" --expand "synonym" --k 3 输出 JSON {"hits": [...]}。

包内文件:SKILL.md(查询协议:扩展→搜索→引用)、search.js/search.py(等价的 BM25 + RM3 + 元数据过滤搜索器)、index.json(预计算倒排索引)、chunks.jsonl(分块文本与结构化元数据)。两个搜索器读取同一份中性 JSON 索引,可在仅 Node 或仅 Python 环境运行;元数据保持结构化,可用 --filter 过滤(如 section=blog、date>=2025)。

脚本:build_lexkb.js(分块+索引构建+.skill 写入)、search.js(JS 运行时搜索器,原样复制进每个 bundle,负责分词)、search.py(Python 运行时搜索器,结果与 search.js 一致)、zipstore.js(纯 JS ZIP-STORED 写入器)、bundle_SKILL.md(查询侧模板)。

限制:MVP 接口受聊天可接受文件数量限制;大型语料需先暂存到目录,或使用同样脚本构建的浏览器端打包器。多数运行细节、收费与平台信息暂未提供。