agent-benchmarking

用途：把智能体能力对应到标准基准并补充自定义回归包，用于模型选型或升级、与供应商智能体对比、跨版本能力回归检测，以及用数据向相关方说明质量。\n\n标准基准（2026）：编程用 SWE-bench Verified（真实 GitHub 问题解决），长时编程用 SWE-bench Live，网页浏览用 WebArena，桌面/操作系统用 OSWorld，通用助手用 GAIA，工具调用用 TauBench，推理用 HLE，长时任务用 AgentBench。原则是按领域选，而非按排行榜热度选。\n\n自定义回归包：标准基准覆盖不到你的失败模式，可基于生产缺陷报告（匿名化）、事后复盘、红队发现和评测中发现的边界情况构建，格式与标准基准一致（一个任务对应一个预期结果），以便共用执行框架。目录结构包含 benchmarks/swe_verified、custom_regression/cases、runners 与 results 等。\n\nCI 集成：每个 PR 跑快速回归包（约 5 分钟，pytest benchmarks/custom_regression/），每夜跑子集（如 python benchmarks/runners/swe_runner.py --subset 50，设阈值 pass_rate >= 0.55），每周跑完整 SWE-bench Verified。\n\n评分规则：二值任务以通过率为主指标，部分得分仅在基准定义时使用，同时追踪每任务成本与 p95 延迟，三者都报告。供应商对比须同提示、同工具、同框架、同重试预算与超时，披露提示调优，至少 3 次运行给出均值与标准差，并用配对自助法等统计检验再称更优。\n\n反模式：挑对自己有利的基准、训练-测试污染、把内部评测当基准、忽视成本与延迟。快速开始：pip install swebench webarena；运行 python -m swebench.harness.run_evaluation --predictions_path my_agent_preds.jsonl --max_workers 4 --run_id my_agent_v0.4。可与 agent-evaluation、multi-agent-eval-harness 配合使用。适用限制、收费与具体平台信息暂未提供。