SuperAPI AI 工具集

00-academic-router

写作与研究

查看项目

更新于 10-25 08:46

技能介绍

用途

00-academic-router 是 academic-eval 学术评估套件的入口路由器,扮演“分诊台”角色。当用户希望获得论文或引用方面的帮助,但不清楚哪种具体工作流适用时,由它诊断需求并路由到合适的子技能。它自身不执行论文评审、BibTeX 核验或竞技场基准测试。

主要能力

通过一个诊断问题判断用户意图(若用户表述已足够明确则跳过提问):

  • a) 评审单篇论文(PDF 或 LaTeX 源码)的正确性/质量/新颖性,可选附带检查其参考文献;
  • b) 检查独立的 .bib 文件中是否存在伪造或不匹配的引用(无需论文评审);
  • c) 在多个 LLM 之间做竞技场式基准对比,衡量模型在被要求推荐引用时产生幻觉的频率。

快捷规则:如果用户已明确说“评审我的论文”“检查这个 PDF”“核验这个 .bib 文件”或“比较模型在引用幻觉上的表现”,则直接路由,不再提问。

使用方式

输出格式为:推荐工作流 [skill-name],并用一句话说明理由,将用户请求对应到分诊表某一行。每次只推荐一个工作流。若请求跨越两类(例如“评审这篇论文,并另外对 3 个模型做引用准确性基准测试”),需明确说明并给出两者,按用户自然执行顺序排列。

分诊表要点:

  • “评审这篇论文”(PDF 或 .tar.gz/.zip 的 TeX 源码)→ 01-paper-review,多阶段评审:安全性、正确性、质量/新颖性评分、批判性,可选加 BibTeX 检查;
  • “评审论文并检查其引用” → 01-paper-review(设置 --bib),一次运行覆盖两项;
  • “只检查 .bib 文件,没有论文” → 02-bib-verify,逐条对照 CrossRef/arXiv/DBLP,标记 verified/suspect/not_found;
  • “比较 N 个模型引用假论文的频率”/“基准测试引用幻觉率” → 03-ref-hallucination-arena,对每个模型运行大量推荐查询,核验返回的每条引用,按幻觉率排名;
  • “比较模型的通用质量/回答,而非专门针对引用” → 不属于本套件,应参考 arena-eval 套件的 01-auto-arena。

关键区分

  • 01-paper-review 与 02-bib-verify:两者共用底层 cookbooks.paper_review 流水线。只要存在论文文件就用 01-paper-review(即使用户只关心参考文献,--bib_only 模式在该技能中说明);仅当没有论文、只有一个独立 .bib 文件需要核对时用 02-bib-verify。
  • 01-paper-review/02-bib-verify 与 03-ref-hallucination-arena:前两者事后评估某一文档已有的引用;后者评估模型行为,即模型在基准查询集上被要求推荐引用时编造假引用的频率。若用户想要模型排行榜/排名而非单份文档报告,则路由到 03-ref-hallucination-arena。

适用场景

用户提到论文评审、引用核查或模型引用幻觉对比,但未指明具体工作流时使用。

限制

该技能只做路由,不亲自执行评审、核验或基准测试;具体功能、参数与输出以各子技能自身说明为准。资料未提供安装命令、价格、平台要求等信息。