SuperAPI AI 工具集

simulate-reviewers

写作与研究

查看项目

更新于 10-16 02:11

技能介绍

Simulate Reviewers 是一个用于在论文投稿前进行“模拟同行评审”的技能,其目标是在仍有时间修改时,提前暴露稿件可能被审稿人攻击的弱点。它强调“按场地校准”(venue-calibrated),例如 NeurIPS 主赛道审稿人与 SIGSPATIAL demo 赛道评委的拒稿理由和阈值并不相同,该技能试图复现这种差异。

用途

该技能适用于以下典型场景:研究者想知道“审稿人会怎么看这篇论文”“模拟一次评审”“像严格的 NeurIPS 审稿人那样评审”“Reviewer 2 会讨厌什么”“这篇够 KDD 吗,还是应该投 short track”“在审稿人之前先找出弱点”“红队测试我的投稿”。它建议在 preflight-check 通过(格式合规)之后、正式投稿之前使用;preflight 判定合规性,该技能判定内容质量。

输入与准备

使用该技能需要提供:论文本身(.tex 源码树、PDF 或任意可读格式的草稿),要求以临时方式处理,不得把论文文本复制进仓库;一个场地配置(如 venues/conferences/<venue>-<year>.yml,模式见 venues/schema.yml),如果没有配置,可先用 parse-cfp 创建,或使用最接近的家族默认值并说明;以及目标赛道(不同赛道的页数限制和审稿人期望不同,需要询问)。

主要流程

  1. 构建校准评审包:运行 python3 scripts/review_form.py venues/conferences/<venue>-<year>.yml --track "<track>"。该步骤是确定性、离线的,会合并家族配置并输出评审小组(角色与严厉程度)、场地评分尺度及其边缘阈值、评分标准、每位审稿人的表单骨架以及 scores.json 模板。可用 --json 输出机器可读结果;退出码 0 表示正常,2 表示配置缺失/无法解析或赛道未知。
  2. 必须对照实时 CFP 重新核验:配置和脚本的尺度锚点只是历史惯例,不是事实标准。需要抓取配置中的 cfp_url(以及链接的审稿人指南页面),确认评审尺度与表单、盲审级别、反驳格式、赛道期望。若有差异,应更新配置 YAML、在报告中记录差异,并优先采用实时事实。每个场地事实都应带有置信标签和可点击来源,如 verified-live / corroborated / inferred-from-family / needs-verification;向用户引用不带来源的评分数字视为缺陷。
  3. 通读全文并建立声明清单:列出所有新颖性声明(如“first”“state-of-the-art”“outperforms”)、所有实证声明及其支撑证据位置。该清单是角色攻击的对象,方法见 references/weakness-hunting.md。
  4. 以角色身份独立撰写每份评审:按评审包中的顺序,每位审稿人单独完成一轮,撰写时不得参考其他评审;现实中评审相互独立,独立发现的共同抱怨是最强信号。角色行为、严厉程度校准和赛道修正见 references/reviewer-personas.md。

评审撰写规则(强制)

每份评审先写真实的优点,再写缺点,类似真实评审表单。优点需具体列出 2–4 条,并同样以章节/图表为依据;全是缺点的评审不真实,会误导作者。不得为了凑数编造优点;若论文确实薄弱,应说明,但仍要找出真正有效的部分。每条缺点必须引用章节/图表/行号,或引用不超过一句话。不得编造先前工作。若角色怀疑缺少相关工作,需用 find-papers 查找真实候选并用 verify-citations 验证,或在无假引用的情况下条件化表述(如“如果 X 方面的先前工作存在,R4 会找到它”)。误读仅允许 skim 角色使用,且必须是实际文本允许的误读。

评分与聚合

先用评分标准对新颖性、可靠性、可复现性、清晰度四个核心维度按 1–5 分逐位审稿人打分,再映射到评审包中的场地总尺度与置信度。严厉校准规则:在严厉度 5 时,未解决的可靠性弱点会将总分上限压到“边缘拒稿”;在严厉度 2(demo 赛道)时,则变成问题而非上限。聚合阶段需填写第 1 步的 scores.json 模板并运行 python3 scripts/aggregate_scores.py scores.json。它会计算置信度加权均值、分歧/支持者/反对者标记、拖累维度以及决策风险区间(likely-reject / borderline-reject / borderline-accept / likely-accept),包括“无支持者的边缘分数向下解决”规则。--example 可打印有效输入,--json 输出机器结果,无效输入退出码 2。

输出

以聊天形式呈现模拟评审包(仅在用户要求时写入文件):按场地表单格式的 N 份独立评审,每份先写优点、再写缺点,然后是问题和子分数;元评审,指出最值得保留的优点的最大共同风险,并说明是否存在支持者;评分表以及 aggregate_scores.py 的决策风险读数;按优先级排列的修改清单,每项标记为 fix-now(投稿前可解决,如增加消融实验、弱化声明、补充可复现性声明)、rebuttal-defensible(在该场地反驳格式下可存活,需检查配置中的 review.rebuttal_format / limits)或 structural(本周期无法修复,考虑换场馆/赛道,交给 select-venue)。每条输出都携带免责声明:这是为改进论文而做的模拟,不是真实结果的预测。

示例

文中给出了一个 9 页 NeurIPS 主赛道投稿的小例子。运行 python3 scripts/review_form.py venues/conferences/neurips-2026.yml --track Main 并做实时 CFP 核验后,四位角色独立撰写。R2(实证怀疑者)和 R4(邻近领域专家)在互不知情的情况下发现同一缺口。R2 指出 Table 2 只报告单次运行(§5.1),在 5 个随机种子的 ±std 下 +1.3% 的差距是否仍存在,且基线未声明调参预算对齐——可靠性 2,置信度 5。R4 指出 §1 的“first to combine X with Y”需要 2023 年 X-under-Y 的工作,若存在则该新颖性声明缩小为工程增量(条件化,路由至 find-papers,不编造引用)——新颖性 2,置信度 4。填入并聚合 scores.json(R1 5/4、R2 4/5、R3 6/2、R4 5/4)后得到:置信加权均值 4.8,与阈值差 -0.133(归一化),决策风险 BORDERLINE-REJECT,拖累维度为可靠性 2.5、可复现性 2.75,标记为存在强反对者(R2),其反对意见必须经得起反驳。修改清单首先处理共同发现:立即修复——在 Table 2 增加 5 个随机种子的 ±std 和调参预算对齐(脱离可靠性下限的最便宜路径);立即修复——核实 X-under-Y 先前工作并相应弱化“first”声明。元评审指出唯一高于阈值的分数来自低置信度的 skim 角色(没有真正支持者),因此在边缘情况下会向下解决,除非投稿前解决可靠性反对意见。

适配其他学科

评审小组和评分尺度按 venue family: field 键控。其他领域可 fork 并在 scripts/review_form.py 中为所在社区添加校准条目(角色 + 尺度)以及一个 venue YAML,例如 APA 期刊小组,包含 action-editor + 2 位审稿人以及 accept/minor/major/reject。

护栏

不得将模拟呈现为预测(如“你的论文在 NeurIPS 会得 5 分”),应说“模拟小组给它打了 X 分;真实小组差异很大”。不得编造引用、审稿人身份或引语;角色是原型,绝不使用真实研究者姓名;缺少相关工作的主张需经 find-papers + verify-citations 或保持条件化。必须对照实时 cfp_url 重新核验评审流程事实(第 2 步非可选),并在报告中标记配置陈旧。临时处理论文,每条发现最多引用一句话,不得在本仓库存储论文文本。不得代替用户向任何评审系统提交或发布内容。发现的格式/合规问题不在范围内,应路由至 preflight-check。

记忆

该技能使用用户论文目录中的共享 .paper-memory/ 约定,遵循 paper-memory-convention.md。开始时:读取 .paper-memory/profile.yml(垂直领域、风险偏好、场馆层级)以校准小组以及角色对新颖性声明的施压程度,并读取 lessons.md 回忆已提出的弱点以及该作者反复出现的弱点(如“弱消融”或“过度声称贡献”),使元评审优先处理它们。结束时:以共享格式追加持久弱点 - [YYYY-MM-DD] (simulate-reviewers | <scope>) weakness -> recommendation(通过 reflect-and-improve 的 reflect_log.py append,它会去重并标日期)。跨草稿反复出现的结构性习惯记为 recurring,单篇草稿特有的缺口记为 this-paper。不要记录每位审稿人的评分噪声。按需创建 .paper-memory/,并建议加入项目 .gitignore。它仅本地使用;绝不上传或复制进本仓库。