SuperAPI AI 工具集

dedupe-against-corpus

通用与其它

查看项目

更新于 10-16 00:02

技能介绍

用途:检查一个候选种子(seed)是否与现有 substacker 语料库(seeds、drafts、published)重复,输出三种结果之一:SKIPPED、LINK、CREATE。

主要能力分三层匹配:Tier 1 精确指纹,正文 sha256 与已有种子指纹一致则返回 SKIPPED;Tier 2 标题相似度,标题词元归一化 Jaccard ≥ 0.7 记为 LINK 候选;Tier 3 内容相似度,对共享 ≥2 个主题标签的种子,比较前 200 词 Jaccard ≥ 0.5 记为 LINK 候选。Tier 2 与 Tier 3 候选取并集,最多 3 个 LINK 目标。

使用方式:按工作流逐步执行——先在 corpus/**/*.md 的 frontmatter 中 grep 指纹匹配;命中则返回 SKIPPED;否则做标题 Jaccard;再对共享 ≥2 标签的种子做前 200 词 Jaccard;合并候选并封顶 3 个;有候选则返回 LINK 及 related_seeds 列表,否则返回 CREATE;若为 LINK,则编辑匹配种子的 related_seeds 追加本候选 id。

限制与护栏:只链接,绝不合并、重写或删除;只改匹配种子的 links.related_seeds 字段,且仅在其 manual_edits: false 或编辑为纯追加时进行;不触碰其他字段;不跨链到 corpus/dead/;指纹只基于正文不含 frontmatter,重新打标签不得改变指纹;3 链接上限防止无限链接链;不得在 status: published 与 status: seed 之间提议 LINK,已发布文章除错别字外不可变。该技能由 ingest-inbox-item 第 4 步调用,也可被 search-corpus 临时查询。