用途
Academic Rebuttal Skill 旨在帮助论文作者在短暂的 rebuttal 周期内做出最优决策。它的核心目标不是逐句回应所有评审意见,而是解决少数决定录用与否的关键疑虑。该技能明确采用两阶段流程:第一阶段为分诊与实验规划,第二阶段为供作者审阅的回应材料准备。
政策优先
使用前必须检查目标会议或期刊关于生成式辅助的现行政策。不同场所的政策不同且会变化。若政策不明确,应询问会议主席,或仅将工具限制在分诊和实验规划阶段。资料特别提到 ACL 系列场所(ACL、NAACL、EACL、EMNLP、ARR 评审场所等)要求对使用生成式 AI 创建内容(包括 rebuttal 内容)进行适当且完整的披露,并给出两个政策链接:
- https://www.aclweb.org/adminwiki/index.php/ACL_Policy_on_Publication_Ethics
- https://aclrollingreview.org/cfp
资料区分了语言润色与实质性内容生成:语言润色类似语法检查,通常不需要披露;实质性内容生成(如产生新分析、主张、解释或整份回应草稿)在允许的情况下必须完整披露,超出政策所列情形的使用被视为不当。作者始终对内容负责,必须核实准确性和抄袭问题。
主要能力
第一阶段:诊断评审
- 将评审拆分为原子评论,例如把一段话拆成计算成本、比较公平性、新颖性等多个问题。
- 推断每条评论背后的深层关切,区分表面评论、深层疑虑、可解决证据和解释置信度。
- 对意图不确定的评论返回“意图诊断卡”,列出最可能的关切、替代解释、置信度、不确定原因、可同时回答两种解释的证据、需要作者回答的问题以及安全回应策略。
- 为每个问题标注类别(如正确性、新颖性、实证支持、公平比较、缺失基线、泛化性、鲁棒性、统计可靠性、效率、可扩展性、可复现性、重要性、范围或过度声称、相关工作、清晰度、展示、评审过程)和可能的回应模式(新实验、新分析、现有证据、澄清、更正、缩小主张、稿件修订、主席机密备注、推迟到重投)。
严重性与优先级
- 严重性分为 FATAL、MAJOR、MODERATE、MINOR。
- 决策影响分为 HIGH、MEDIUM、LOW,与严重性不完全相同。
- 共享性分为 ALL_REVIEWERS、MULTIPLE_REVIEWERS、SINGLE_REVIEWER、META_REVIEW_OR_CHAIR。
- 解决置信度分为 HIGH、MEDIUM、LOW。
实验与分析计划
- 优先级标签:P0 必须现在做、P1 时间允许时高价值、P2 锦上添花、P3 推迟到修订或重投、DO NOT RUN 不应运行。
- 提供实验计划表,包含优先级、关切编号、深层问题、拟议实验或分析、为何改变决策、最小可行方案、预计时间成本、结果解释、未完成时的备选方案。
- 每个实验必须说明针对的评审关切、假设或决策问题、基线和控制条件、数据集或评估子集、指标、计算或数据匹配、种子或重复运行、支持预期主张所需的最低结果、负面结果的含义以及备选 rebuttal 措辞。
- 优先选择信息密度高的实验,例如匹配计算量的比较可同时回应公平性、效率和基线关切。
- 将行动分为三类:现在运行、用现有证据或澄清回答、推迟到修订或重投。
第二阶段:回应材料
仅在作者提供已完成结果、已验证的稿件证据或明确确认不再进行额外实验后运行。使用“直接回答 → 证据 → 修订”结构准备简洁的回应材料,并明确标记为供作者审阅和重写的草稿。所有主张必须基于提供的证据。
使用方式
第一阶段的最小有用输入包括:论文标题(可选)、摘要、所有评审文本、评审分数、评审置信度分数(如有)、场所和分数尺度(如已知)、rebuttal 截止日期或剩余时间、可用计算资源、数据和作者精力(如已知)。可选输入包括稿件或相关章节、附录和补充材料、现有表格和实验日志、作者对模糊评论的解释、rebuttal 字数或字符限制、场所关于新实验的政策、已知领域主席或元评审评论。第二阶段还需请求已完成实验或分析结果、确切实验设置、运行次数或种子数、不确定性估计、已验证的稿件位置、作者愿意做出的修改、作者愿意缩小的主张。缺失信息使用可见占位符,如 [RESULT NEEDED]、[SETTING NEEDED]、[NUMBER OF SEEDS NEEDED]、[MANUSCRIPT LOCATION NEEDED]、[VENUE RULE NEEDS VERIFICATION]、[AUTHOR CONFIRMATION NEEDED],绝不静默填充缺失证据。
适用场景
适用于作者已收到同行评审意见和评分、需要在 rebuttal 周期内决定是否投入实验、如何优先处理关切以及如何准备回应材料的场景。也适用于评估 rebuttal 与重投之间的取舍。
限制
该技能不产出可直接提交的 rebuttal,只提供分析、计划和供作者审阅的草稿。作者决定最终回应内容,并负责场所要求的任何披露。不得将机密材料(仅主席可见的备注、未与作者共享的元评审、评审人身份)上传到任何工具。不得编造功能、收费、价格、平台、效果或使用步骤;资料未提供的信息应明确写暂未提供。