用途：为智能体选择匹配领域的标准基准，并从真实失败中构建自定义回归包，把两者接入 CI，使质量可追踪而非凭感觉。适用场景包括选择或升级基础模型、对比自研智能体与厂商智能体、捕捉跨版本能力回归、用数字向利益相关方证明质量。
标准基准（2026）：编码用 SWE-bench Verified（真实 GitHub issue 解决），长周期编码用 SWE-bench Live（持续刷新 issue），网页浏览用 WebArena（多步网页任务），桌面/操作系统用 OSWorld（真实桌面应用、多模态），通用助手用 GAIA（工具使用、推理、多模态），工具使用用 TauBench（多轮客服模拟），推理用 HLE（Humanity's Last Exam，研究生级难题），长时程用 AgentBench（复合多环境）。应按领域而非排行榜热度选择。
自定义回归包：标准基准覆盖不到你的失败模式，可从生产缺陷报告（匿名化）、事后复盘（“智能体本应做 X”）、红队发现、评估中发现的边界情况构建。格式与标准基准一致（一任务对应一预期结果），以便共用测试框架。目录布局包含 benchmarks/swe_verified/、custom_regression/cases/<id>/task.yaml 与 expected.json、runners/、results/<ts>/scores.json。
CI 集成：每个 PR 运行回归包（pytest benchmarks/custom_regression/，约 5 分钟，required: true）；每晚运行 python benchmarks/runners/swe_runner.py --subset 50，阈值 pass_rate >= 0.55，低于则阻止发布；每周运行完整 SWE-bench Verified。
评分规则：通过率是二元任务的主指标；部分得分仅在基准定义时使用，不要自创；每任务成本为次要指标，与通过率一起追踪；p95 延迟与 SLO 相关。三者都要报告，仅看通过率会掩盖成本/延迟回归。
厂商对比协议：相同提示、相同工具、相同测试框架；相同重试预算与超时；披露各厂商的提示调优；运行次数 ≥ 3，报告均值 ± 标准差；声称“更好”前做统计检验（如配对自助法）。
反模式：基准挑选（选自己赢的那个）、训练-测试污染（应验证 SWE-bench Verified 而非完整 SWE-bench）、用内部评估冒充基准、忽视成本/延迟。
快速开始：pip install swebench webarena，然后 python -m swebench.harness.run_evaluation --predictions_path my_agent_preds.jsonl --max_workers 4 --run_id my_agent_v0.4。可搭配 agent-evaluation、multi-agent-eval-harness 使用。