open-operator-evals 是由 nottelabs 维护的开源基准测试项目，旨在对网页操作智能体（web operators/agents）的性能进行透明、可复现的评估。项目基于 WebVoyager 数据集，该数据集包含约 600 个网页任务，智能体需要导航网站并返回成功状态和答案。由于依赖智能体自报告成功不可靠，WebVoyager 引入了独立的 LLM 评估器（使用 GPT-4 和 WebVoyager 评估提示）根据智能体的操作和截图判断任务是否完成。
主要能力：评估指标包括智能体自报告成功率（智能体内部置信度）、LLM 评估成功率（客观完成度）、每任务平均执行时间（秒）以及任务可靠性（在多次尝试中至少成功一次的任务百分比，本基准中为 8 次）。此外，还提供对齐比率（自报告与 LLM 评估的比值，接近 1 或低于 1 通常更好）和不匹配计数（智能体声称成功但评估者不同意的实例）。基准测试结果按任务平均后再对 8 次独立运行取平均，以平滑网页智能体固有的高方差。
使用方式：项目完全开源，用户可通过克隆仓库并运行特定配置来复现基准结果。运行 WebVoyager30 且 tries_per_task = 8 时，Notte 搭配 Gemini 和 Convergence 搭配 Proxy-lite 的成本为 $0，BrowserUse 搭配 GPT-4o 的总成本约 $20（基于处理 7.4M 输入 token 按 $2.5/1M 计 $18.53，加上 145K 输出 token 按 $10/1M 计 $1.45）。结果按层级组织，用户可查看任意回放和日志文件，检查执行轨迹、智能体推理、输出和评估，自行验证结论。
适用场景：适用于研究人员和工程师评估、比较不同网页智能体的性能，验证其他系统声称的成功率，或为智能体开发提供可复现的基准参考。项目选取的 WebVoyager30 包含 15 个不同网站的 30 个任务，任务难度适中，能反映完整数据集的整体难度，同时使多轮评估在计算成本和时间上可行。
限制：网页智能体性能受非确定性 LLM 和不断变化的网页内容影响，存在高方差，即使多轮平均也可能有波动。评估在 Macbook M1 机器上使用 Python 3.11 进行，IP 位于瑞士住宅区，这会导致部分德语截图和 cookie 同意弹窗，可能增加任务完成难度。Convergence 的结果受 CAPTCHA 和机器人检测限制。Browser-Use 声称的 89% 成功率在本次评估中未能复现，且其结果文件不可用于验证。项目结果均为自报告和 LLM 评估，可能受评估方法和环境配置影响。
