Paper Autoraters 是 PaperOrchestra（Song 等，2026，arXiv:2604.05018，§5 与附录 F.3）中使用的四个 LLM-as-judge 自动评分器的忠实实现。论文用这些指标证明 PaperOrchestra 优于单智能体与 AI-Scientist-v2 基线。它们可用于：对生成的论文与真实论文进行打分；并排比较两条论文写作流水线；验证宿主智能体对 paper-orchestra 流水线的执行。
四个评分器
-
Citation F1 — P0/P1 划分：根据论文文本将参考文献列表划分为 P0（必引）与 P1（宜引）。输入为一份论文文本及其参考文献列表，输出为 JSON {ref_num: "P0"|"P1"}。
-
Literature Review Quality：对引言与相关工作做 6 轴 0-100 打分，含反通胀硬上限。输入为一份论文 PDF/文本及参考文献平均引用数，输出为包含 axis_scores、penalties、summary、overall_score 的 JSON。
-
SxS Overall Paper Quality：整篇论文的整体并排偏好判断。输入为两篇论文（PDF 或文本），输出为 JSON，winner ∈ {paper_1, paper_2, tie}。
-
SxS Literature Review Quality：仅针对引言与相关工作的并排偏好判断。输入为两篇论文，输出为 JSON，winner ∈ {paper_1, paper_2, tie}。
论文使用 Gemini-3.1-Pro 与 GPT-5 作为评判模型，温度设为 0.0（Gemini）或默认 1.0（GPT-5，其不允许调整温度）。可使用宿主 LLM 任意模型。
工作流程
Citation F1（计算相对真实值的 Precision / Recall / F1）
这是一个两步流程：
步骤 1：将参考文献列表划分为 P0 / P1
对真实论文和生成论文，分别用 references/citation-f1-prompt.md 运行 LLM：
inputs: paper_text: full paper LaTeX or markdown references_str: numbered reference list (e.g., "1. Vaswani et al. (2017) Attention Is All You Need. NeurIPS. 2. He et al. (2016) Deep Residual Learning for Image Recognition. CVPR. ...")
output: JSON {"1": "P0", "2": "P1", "3": "P0", ...}
保存两个划分结果：
bench/<paper_id>/gt_partition.json
bench/<paper_id>/gen_partition.json
步骤 2：将参考文献解析为实体 ID 并计算 F1
论文使用 Semantic Scholar 论文 ID 来匹配两个列表中的参考文献。compute_f1.py 脚本在给定两个输入列表时确定性地完成此操作：
python skills/paper-autoraters/scripts/compute_f1.py
--gt-partition gt_partition.json
--gt-refs gt_refs.json
--gen-partition gen_partition.json
--gen-refs gen_refs.json
--out f1_report.json
其中 gt_refs.json 与 gen_refs.json 是由宿主 S2 解析过程生成的 {ref_num, paper_id, title} 列表（与 literature-review-agent/scripts/ 使用的模糊匹配 + S2 验证相同）。
输出 JSON 包含 P0 / P1 / 整体的 Precision、Recall、F1。
Literature Review Quality（单篇论文，6 轴）
加载 references/litreview-quality-prompt.md。输入：
- 完整论文 PDF（若宿主不支持 PDF 输入，则用 LaTeX/markdown）
- 该会议/领域的 avg_citation_count（用作引用数锚定基线，例如论文中 CVPR 2025 为 58.52，ICLR 2025 为 59.18）
提示词要求模型仅评估论文的文献综述功能（引言 + 相关工作/背景部分）。它输出严格的 JSON，包含各轴分数与理由。
提示词中内置的关键反通胀规则：
规则 | 上限 默认期望 | 整体 45-70
85 需要所有轴都有强证据 | — 90 极其罕见（接近综述级掌握） | — 任一轴 < 50 → 整体很少 > 75 | — 以描述性综述为主 | Critical Analysis ≤ 60 断言新颖性但无比较 | Positioning ≤ 60 引用稀疏/不一致 | Citation Rigor ≤ 60 引用数 < 平均值的 50% | Coverage ≤ 55 引用数 > 平均值的 120% | Coverage = "strong"
另有惩罚表：
惩罚 | 范围 过度声称新颖性 | -5 至 -15 遗漏关键近期工作 | -5 至 -15 以描述性综述为主 | -5 至 -10 差距陈述薄弱 | -5 至 -10 引用堆砌 | -5 至 -10
将输出保存到 litreview_quality_score.json。该分数 JSON 与 content-refinement-agent/scripts/score_delta.py 使用的形状相同，因此可复用 halt-rule 逻辑来比较迭代。
SxS Overall Paper Quality（并排，整篇论文）
加载 references/sxs-paper-quality-prompt.md。输入：
- 两篇论文 PDF 或 LaTeX 文件（称为 paper_1 与 paper_2）
提示词生成 JSON，包含 paper_1_holistic_analysis、paper_2_holistic_analysis、comparison_justification 以及 winner ∈ {paper_1, paper_2, tie}。
为缓解 LLM 位置偏差（论文在 §5.4 中提及），交换顺序运行两次比较：
call_1: paper_A → paper_1, paper_B → paper_2 → winner1 call_2: paper_B → paper_1, paper_A → paper_2 → winner2
最终结果：win（两次调用都同意 paper A）、tie（一次 win + 一次 tie，或两次 tie）、loss（两次都同意 paper B）。论文使用这一精确的顺序协议。
SxS Literature Review Quality（并排，仅引言+相关工作）
加载 references/sxs-litreview-prompt.md。输入/输出形状与 SxS 论文质量评分器相同，但模型仅被要求评估每篇论文的引言与相关工作/背景部分。同样采用位置偏差缓解：运行两次，交换顺序。
资源
references/citation-f1-prompt.md — 附录 F.3 中逐字 P0/P1 划分提示词
references/litreview-quality-prompt.md — 附录 F.3 中逐字 6 轴文献综述评分标准
references/sxs-paper-quality-prompt.md — 附录 F.3 中逐字 SxS 论文质量提示词
references/sxs-litreview-prompt.md — 附录 F.3 中逐字 SxS 文献综述提示词
scripts/compute_f1.py — 从两个划分 JSON 计算 Precision / Recall / F1