eval-report-workflow

用途：驱动 tools/evaluation_report.py，按每个评测的 report_config.yaml 生成可复现的 report.md（结果表、参考对比、分项统计、token 总量、近似成本），并在 results/ 下生成输入日志的仅表头 JSON 副本。report_config.yaml、report.md 与 results/ 随 eval.yaml 一并提交。 主要能力与用法：报告应在全数据集或每模型 5 美元算力中较便宜者上运行，并用小样本 token 数预测成本。流程包括：建立 agent_artefacts/<eval_name>/evalreport 工作目录、复制 EVALUATION_CHECKLIST.md、创建 NOTES.md 与 UNCERTAINTIES.md；检查 README 是否已有报告并确认是否覆盖；阅读 src/inspect_evals/EVAL_NAME/EVAL_NAME.py 了解任务数；用 uv run inspect eval inspect_evals/EVAL_NAME --model gpt-5.1-2025-11-13 --limit 5 做初始测试估算 token；按论文选择三个合适模型（至少两个不同提供商），不足时用前沿模型补足；确定样本随机化方式；向用户给出命令与成本估算及样本量建议（少于 20 或少于 3 倍有意义的子类时应提示样本不足，最少需 20 个样本做误差检验）。用户运行后，创建 report_config.yaml（含主要指标、reference_results、reference_source、notes），再执行 uv run python tools/evaluation_report.py src/inspect_evals/<eval_name>/report_config.yaml --logs logs/file1.eval logs/file2.eval logs/file3.eval，将 report.md 内容拼入 README 提交。register 条目应填写 eval.yaml 的 evaluation_report 块而非直接编辑 README。可选步骤：若使用 LLM 评委且有 oracle 日志，运行 uv run python tools/judge_calibration_diagnostics.py <eval_logs> --oracle-log <reference_log> 生成带置信区间的校准估计。 限制：不得主动替用户运行评测；费用与模型列表需依 references/frontier-models.md（模型或价格变化时更新）；具体 schema 见 tools/README.md；成本为近似估算。