SuperAPI AI 工具集

dedupe-rank

写作与研究

查看项目

更新于 10-16 05:44

技能介绍

用途:在论文检索完成后,将广覆盖的原始候选池收敛为可管理的 core set,供 taxonomy、outline、mapping 等后续环节使用。触发词包括 dedupe、rank、core set、去重、排序、精选论文、核心集合。

输入与输出:输入为 papers/papers_raw.jsonl;输出 papers/papers_dedup.jsonl 与 papers/core_set.csv。

主要能力:scripts/run.py 仅负责按标题/年份去重、确定性排序、生成稳定 paper_id。脚本应优先读取 pipeline contract 元数据,而非按 profile 名称分支。

关键契约字段:quality_contract.candidate_pool_policy.keep_full_deduped_pool、include_domain_pins、minimum_domain_surveys、survey_title_bonus。当 keep_full_deduped_pool 为 true 时,除非用户显式覆盖 core 规模,脚本将完整去重池保留在 core_set.csv。Focused briefing 工作流可关闭无条件 domain pins、保留更小的 survey 下限并移除通用 survey 标题加分,而不改变 broad Survey 默认值。

使用方式:若已有人工维护的稳定 papers/core_set.csv 则跳过。无需网络。

验收标准:去重 JSONL 存在、core-set CSV 存在、相同输入重跑结果稳定。

非目标:检索、筛选、在脚本内手工撰写主题。

限制:偏确定性,要求输出可重复(稳定 paper_id、字段规范);具体命令、依赖与安装步骤暂未提供。