SuperAPI AI 工具集

bookstrap-ingest

写作与研究

查看项目

更新于 10-16 01:15

技能介绍

用途:/bookstrap-ingest 把初始研究材料载入 Bookstrap 数据库,建立写作期间可检索的研究语料库。

主要能力:处理单个文件路径、目录(递归处理)或 URL,可在一次调用中混用多种来源。支持 PDF、Markdown、HTML、纯文本;PDF 经 scripts/ingest-file.py 提取文本。流程包含语义分块(由 LLM 判断自然断点而非固定窗口)、调用配置的嵌入提供方(Gemini、OpenAI、Ollama、LM Studio)生成向量、LLM 抽取人物/地点/事件/概念并保留上下文、在 SurrealDB 存储来源与分块与嵌入与实体,随后自动建立图谱关系(source->supports->concept、event->precedes/follows->event、character->knows->character 等)并构建事件时间线。完成后输出来源数、实体数、关系数、向量数与存储统计。

用法示例:/bookstrap-ingest ./research/soe-training-manual.pdf;/bookstrap-ingest ./research/primary-sources/;/bookstrap-ingest ./research/ https://example.com/article.html ./notes.md。

前置条件:必须先运行 /bookstrap-init 生成 BRD;SurrealDB 需运行(如 docker-compose up -d 或 ./scripts/start-surreal.sh);需用 ./scripts/init-schema.sh 初始化 schema;环境变量中配置嵌入提供方的 API key(如 GEMINI_API_KEY)。行为由 bookstrap.config.json 控制,含 embeddings.provider/model/dimensions、extraction.chunking.strategy/max_tokens/overlap、surrealdb 连接信息。

限制:嵌入与抽取依赖外部 API 或本地模型,受速率限制影响;错误处理包括跳过缺失文件、跳过不支持格式、URL 超时重试一次、嵌入 API 指数退避重试、数据库连接失败则中止;按 title+content hash 幂等更新,避免重复。其余细节暂未提供。