SuperAPI AI 工具集

pdf-brain-ingest

办公与效率

查看项目

更新于 10-15 23:33

技能介绍

用途:把 PDF/Markdown/TXT 文件摄取进 joelclaw 的 docs 记忆管线,v2 采用分阶段制品链,配合 Inngest 持久化、NAS 制品存储与 OTEL 验证。

主要能力:v2 管线分四阶段——CONVERT(opendataloader-pdf 转 {docId}.md)、CLASSIFY+SUMMARIZE(分类与 LLM 摘要生成 {docId}.meta.json)、CHUNK(按 Markdown 标题切分,无重叠,生成 {docId}.chunks.jsonl)、INDEX(写入 docs 与 docs_chunks_v2,使用 nomic-embed-text-v1.5,768 维)。制品存于 NAS RAID5,可跨重启保留;每阶段检查已有制品并跳过,可断点续跑与从制品恢复;每阶段每本书产生 OTEL 事件。

使用方式:先执行 joelclaw status 与 joelclaw docs status 预检。单文件 v1 摄取:joelclaw docs add "/absolute/path/to/file.pdf",可加 --title、--tags、--category。单文件 v2 重建:joelclaw docs reindex-v2 "/absolute/path/to/file.pdf",可加 --title、--skip-existing。批量:joelclaw docs batch-reindex --skip-existing,或 --from-collection。监控用 joelclaw docs status、joelclaw otel search "docs.reindex" --hours 4、joelclaw runs 与 joelclaw run <run-id>。查看制品用 joelclaw docs markdown <doc-id>、joelclaw docs summary <doc-id>,或加载 ~/.config/system-bus.env 后直接读取 $DOCS_ARTIFACTS_DIR/<docId>/ 下文件。检索用 joelclaw docs search,上下文扩展用 joelclaw docs context <chunk-id> --mode snippet-window|parent-section|section-neighborhood。覆盖核对用 joelclaw docs reconcile --sample 20。

适用场景:为 joelclaw 文档库批量导入与重建索引,需要可恢复、可观测的摄取流程时使用。

限制:提取主用 opendataloader-pdf v2.0.0,需 Java 11+,不可用时回退 pypdf;嵌入依赖 ollama 在 localhost:11434 提供 nomic-embed-text;制品目录取自机器本地配置。具体收费、价格与平台支持范围暂未提供。