SuperAPI AI 工具集

pc-panel-review

写作与研究

查看项目

更新于 10-28 18:24

技能介绍

用途

pc-panel-review 用于在论文投稿前模拟真实程序委员会(PC)的评审过程,回答“PC 会怎么决定”“模拟审稿人”“这篇论文的录用概率是多少”等问题。它把评审视为投稿前的最后一道关口,应在一轮加固修改之后最后运行。

与单审稿人技能的分工:paper-adversarial-review 是一位敌意审稿人的快速缺陷排查;pc-panel-review 模拟整个 PC,包括 N 个独立视角(含工件运行者)加主席元评审。单视角只能给出一个人的适配分或缺陷清单,而真实决定由 2–4 位优先级不同的审稿人加一份权衡共识的元评审做出。多审稿人的价值在于:被至少 2 位独立审稿人同时指出的问题才是真阻塞项,可过滤掉单个审稿人的个人偏好;且至少一位审稿人实际执行工件,能发现纯文字阅读看不到的论文与工件不一致。

主要能力

  • 多视角并行评审:3(或 4)位审稿人并行、各自独立模型实例、互相不可见。
  • 固定审稿视角:题材/语域审稿人,每个面板、每个会议都必须有,置信度 3,只读摘要、引言、结论,判断“这在该会议读起来像不像一篇论文”。
  • 可选视角:方法/统计怀疑者(样本量、构念效度、多重比较、过度声称、置信区间是否支撑结论、确认性主张是否基于事先决定的研究);领域实践者(与 CFP 的相关性、与最近工作的新颖性差异、发现是否改变行为、可推广性、对点名对象的公平与语气);工件/可复现性审稿人(有附件工件时必选,实际进入工件运行、核验头条数字、重跑顺序检查、检查循环性、grep 匿名化泄漏、界定徽章范围);安全/伦理审稿人(安全类会议);新颖性/相关工作审稿人。
  • 元评审综合:评分表(审稿人 × 标准 + 总分 + 置信度),总分的最小值/中位数/最大值;决定(工作坊按最小值,会议按置信度加权收敛值并列出最小值);校准后的录用概率。
  • 共识必改项:≥2 位审稿人独立提出的问题;单审稿人提示另行分诊。
  • 天花板计划:结论为 Weak Accept 或 Borderline 时,必须把每个瓶颈标为 TEXT / EXPERIMENT / IMMOVABLE 三类之一,并给出相应交付物。
  • Venue-fit 单视角模式:快速预测“给定该会议的标准、门槛与文化,真实审稿人会不会录用、打多少分”。

使用方式

  1. 获取会议评审标准与门槛:抓取 CFP 并引用其标准;按 track 校准(WIP/短文/工作坊看重潜力与讨论价值;全文/顶会要求完整性),不要把顶会标准套到 WIP 评审上。
  2. 收集两份可读性/结构工件(缺一则面板阻塞):本稿的 grade-paper-writing 人设卡顿清单(“Sam”逐节冷读)与 tighten-paper 的结构判定(长度/拖沓/TMI/删减计划)。任一不存在则停止,先运行这两个技能。必须用 Skill 工具按名称显式调用,不能只描述需求指望被自动选中。原因:前沿 LLM 审稿人认识所有术语但感受不到读者疲劳,仅凭自身感受会给臃肿难读的论文高分(有记录显示对人类读者读来吃力的论文给出约 88% 录用)。
  3. 按会议实际构成挑选 3(或 4)位审稿视角:题材/语域审稿人为必选;其余从菜单按适配性选择。方法/统计怀疑者需运行 npx paperlint studies index <paper-dir> 并把 repro/README.md 中的索引一并给它。工件审稿人需 cd 进入工件实际运行,全量克隆下跑 npx paperlint lint 重跑顺序检查,grep 所有文件(含数据与编译缓存)查匿名化泄漏。
  4. 并行生成,彼此不可见:每位审稿人只拿到论文、工件路径、引用的评审标准、其视角、以及第 2 步的两份工件(题材/语域审稿人只给三个章节)。不得向任何审稿人展示前一轮的分数、评审或“上次给了 3.25”之类的信息,否则会产生锚定,轮次之间收敛于彼此而非论文。
  5. 每位审稿人填写评审表:按会议量表逐标准打分(未说明则映射到 1–5),每条一行并给出依据;总体建议(Reject 到 Strong Accept)+ 置信度(1–5);可读性的隐性拖累——由人设清单驱动而非主观感受,若卡顿密度高或结构判定为臃肿,即使显式标准全部通过,总分也应实际下降;PC 讨论用 Top 3 问题(按严重度 blocker/major/minor 排序);录用前必改项(或“无”);工件审稿人另报运行结果(能否执行、每个数字是否复现、逐项 PASS/FAIL)、匿名化判定、徽章范围;一行元评:这篇属于该会议吗。
  6. 主席自行综合元评审:给评分表与最小值/中位数/最大值;做决定(工作坊按最小值,一位 Reject 或 Strong Reject 即沉没;会议按置信度加权收敛值并列出最小值);给出该会议与届次的校准录用概率;汇总共识必改项、单审稿人提示、分歧点与主席倾向理由;输出按影响力排序的投稿前检查清单。

适用场景

  • 论文投稿前的最终模拟评审关卡。
  • 只想知道某会议适配度与录用可能时的快速单视角检查(Venue-fit 模式)。
  • 需要区分真阻塞项与个人偏好、并需要工件实际执行验证的场景。

限制与规则

  • 独立性不可妥协:元评审前审稿人不得互看评审;共享上下文会把面板坍缩成一种声音。
  • 共识优先于数量:一位审稿人十条小毛病不敌两位审稿人指出同一阻塞项。
  • 工件审稿人必须实际运行代码,不能只读描述。
  • 按会议实际门槛评判;工作坊奖励适配度与讨论价值。
  • 如实报告运行结果:工件失败或数字不复现,本身就是发现。
  • 不得编造 CFP 或引用,必须抓取/核实。
  • 评审棘轮规则:必改项涉及过度声称时,行内对冲是最后手段,顺序为收紧 → 删减 → 移到 Threats → 才对冲;本轮结束后运行 tighten-paper 清理其留下的内容。
  • 少于三份评审加元评审的运行(Venue-fit 抽查、单次复审、其他席位未返回的面板)只能记为 venue-fit 或单评审,不得记入评分表的面板行。
  • 天花板计划的原因:仅写“这是工作的固有事实”是最廉价也最难反驳的表述,是作者逃避之处;强制贴标签使主张可证伪。两个需自查的失败形态:把下限当比率报告(如“1,836 个仓库中 8 处矛盾”读起来像小现象,而未与其自身提取器召回率不足一半的测量联系起来,属 TEXT);只给阶梯上的位置而不给上方台阶(“我们达到四级中的第三级”读起来像不足,除非说明一、二级需要什么且尚无人构建,也属 TEXT)。截止日期只是返工量的约束,绝不是维持现状的理由。
  • Venue-fit 模式规则:抓取会议实际评审标准并引用;未说明则回退到会议类别默认(工作坊:相关性/原创性/技术质量/清晰度;安全会议另加威胁模型健全性与伦理),并注明使用了默认值;采用该会议的审稿人视角,按其论文类型校准;用独立模型充当审稿人;输出逐标准评分、总体建议、置信度、CFP 契合、类型适配、PC 讨论会说什么、翻转为录用的最小改动、预测结果与概率(按会议选择性与届次校准)。
  • 各面板结果追加到论文的评审台账(papers/research/<date>-fable-rereview-<venue>.md),以跟踪多轮录用概率变化。