SuperAPI AI 工具集

wiki-ingestion

写作与研究

查看项目

更新于 10-16 06:42

技能介绍

用途:Hermes Wiki 默认入库技能,描述原始素材如何变成可溯源的 Wiki 页面。可通过 hermes wiki skills set ingestion <skill-name> 覆盖默认设置。媒体源(PDF、图片、音频、视频、YouTube、社交链接)需先加载 wiki:wiki-media-ingestion。

流水线(确定性四步):快照——源字节以 append-only 存于 raw/,不覆盖;重入变化内容会生成新版本快照并标记 drift_detected。分类——内置分类器识别 article、paper、transcript;不匹配时交由受信任的自定义分类器;其余为 unknown 并保留待审,不静默丢弃。处理——按标签生成或更新 Wiki 页面(源页面及抽取的概念/实体页),并交叉链接已有页面。传播——index.md 章节、log.md 归属行、SQLite 投影与 git 提交原子更新,失败回滚。

单源入库:hermes wiki ingest <local-path-or-https-url> [--wiki <slug>] [--author <name>],需写授权(HERMES_WIKI=<slug> 或配置写授权)。URL 抓取后按 sha256 去重,未变化则 no-op。Phase-1 上限 50MB,更大源被拒。

收件箱流程:放入 <wiki-root>/raw/inbox/,然后 hermes wiki inbox 列出待处理文件及状态与分类器;hermes wiki ingest --inbox 批量处理。结果为 Ingested(已生成页面)、Retained class=unknown(保留待人工/代理分类,可通过仪表盘或 classify API 覆盖后重新处理)、Skipped status=oversized(超 50MB)。分类覆盖持久化在 raw/inbox_status.json。

定时入库(监控):hermes wiki monitor --source rss --schedule "0 8 * * *" --prompt "Sweep feeds…";启用用 hermes wiki monitor --setup --yes。监控以 author_kind=cron 运行并保留完整归属。

自定义分类:在 plugins/classifiers/<name>.py 编写 classify(source_path) -> ClassLabel | str | None,然后 hermes wiki plugins trust classifier <name>。信任记录在 SCHEMA.md(路径 + sha256),信任后编辑文件会静默失效直至重新信任。

综合指引:派生页面仅针对出现在 2 个以上来源或本来源核心的实体/概念,不为一笔带过者建页。报告 drift_detected 时审查引用被取代快照的页面;真实冲突按矛盾协议(contested: true + contradictions: frontmatter)。原始快照保持 append-only,只更新 Wiki 页面。

规则:入库时不得手写 raw/;不得靠重命名文件重新分类;unknown 是有效结果,保留、审查、重分类,不可强行套用;大批量后运行 hermes wiki lint 修复投影。