用途
ClawBench 是一个开源基准测试，用来评估 AI 浏览器代理能否完成人们每天都会做的在线任务，包括预订旅行、点餐、求职、撰写评论、管理项目、管理邮件等。它面向真实网站运行，目标是对代理的端到端任务成功能力进行可复现的测量。
主要能力
- 任务语料：V1 位于 test-cases/v1/，包含 152 个日常任务、143 个在线网站；V2 位于 test-cases/v2/，包含 129 个任务、63 个在线网站。合计 281 个任务、163 个在线网站、15 个生活类别。论文中报告为 V1 153 个、V2 130 个；发布后移除了两个 ASPCA 任务，因此实际发布语料为 152 和 129。
- 评测机制：通过五层录制流水线记录每次运行，并使用代理式评估器将运行结果与人类参考轨迹进行对比，衡量端到端任务成功率。
- 评分方式：排行榜使用两阶段评分。第一阶段 Intercepted（确定性拦截）检查最终 HTTP 请求是否匹配任务的 URL/方法；第二阶段 Reward 由 deepseek/deepseek-v4-pro 评判，分为宽松 rubric（“无矛盾即匹配”）和严格 rubric（“有歧义即不匹配”）。排名先按 Intercepted，再以 Reward 作为并列打破条件。V1 Pass Rate 来自原论文 rubric，使用 Claude Code 代理式评估子代理在 eval/agentic_eval.md 下将每次运行与人类参考轨迹对比。
- 排行榜：提供实时排行榜，按语料、执行框架和评分标准展示得分。V1 的两阶段 Reward 将在 V1 轨迹包重新评判后出现在排行榜上。
- 数据集：在 Hugging Face 上发布三个数据集，包含 V1 和 V2 的任务定义与完整执行轨迹，均可通过一条命令下载。轨迹数据集较大，可使用 hf download --include "<pattern>" 拉取单个模型或单个任务。
- 执行框架（harness）：执行框架是驱动浏览器的代理脚手架，模型是另一个维度。默认框架为 openclaw，可通过 --harness <name> 在 clawbench-run 或 clawbench-batch 中选择。完整注册表见 src/clawbench/runtime/harnesses/harnesses.yaml。已支持 WebBrain 等 harness，以及 Kernel 和 Browserbase 作为远程浏览器运行时。
- 其他能力：支持 Gemini-as-judge、随机点击基线 harness、EdgeBench/SForge 适配器、远程浏览器 CDP 支持；发布了 RewardHarness 自进化代理奖励框架（仅用 100 个偏好演示在 EditReward-Bench 上达到 47.4%，无需训练奖励模型）。
使用方式
安装：提供 PyPI 包 clawbench-eval。可使用 pip install clawbench-eval，也可使用 pipx install clawbench-eval 和 python -m pip install clawbench-eval。安装后的命令包括 clawbench、clawbench-run、clawbench-batch、clawbench-rescore、clawbench-analyze、clawbench-reproduce 和 clawbench-harbor-adapt。
快速开始（从源码检出）：前置条件为 Python 3.11+、uv 以及容器引擎 Docker 或 Podman。ClawBench 会自动检测已安装的引擎；可用 export CONTAINER_ENGINE=docker 或 export CONTAINER_ENGINE=podman 强制指定。macOS 上的 Podman 需要 VM：仅 brew install podman 不够，安装后必须执行 podman machine init && podman machine start，否则 podman info 会失败并提示 Cannot connect to Podman。Windows 上的 Podman 同样需要先执行 podman machine init && podman machine start。在 PowerShell、WSL2 或 Git Bash 中运行 uv run … 命令。
步骤 1：配置模型。若从 PyPI 安装，在希望结果和可编辑配置所在的目录运行 clawbench；首次启动会在 models/ 下创建本地模板。评分需要 judge，在运行任何带评判的批次前，需要为 deepseek-v4-pro 添加 API key——这是所有已发布排行榜行使用的 judge。一次性运行邮箱的 PurelyMail 凭据已在提交的 .env 中提供；只有要使用自己的 PurelyMail 账户或启用可选的 HuggingFace 上传时才需要编辑 .env。首次运行会构建容器镜像（Chromium + ffmpeg + noVNC + 所选代理 harness 依赖），后续运行复用缓存层，几秒内完成。
步骤 2：运行第一个任务。推荐使用交互式 TUI，带引导式模型和测试用例选择；需要交互式终端，管道 / CI / 非 TTY 场景请直接使用 clawbench-run 或 clawbench-batch。运行单个任务对单个模型时，容器启动后脚本会打印 noVNC URL（例如 http://localhost:6080/vnc.html），打开可实时观看代理操作；若 6080 端口被占用会自动选择替代端口。结果位于 ./test-output/<model>/<harness>-<case>-<model>-<timestamp>/，包含完整五层录制。运行整个语料时，your-model 是步骤 1 配置的键；--cases-suite v2 运行完整 V2 语料（可换成 v1-lite 运行 20 任务子集）。可添加 --max-concurrent N 并行运行任务（本地默认 2，使用 Kernel 或 Browserbase 时为 1），并以 --harness <name> 选择代理。每个任务由步骤 1 的 deepseek-v4-pro judge 拦截和评分；传入 --no-judge 可跳过评分。batch-summary.json 和每次运行的录制位于 ./test-output/ 下。
分析已完成批次时，可使用 clawbench-analyze 查看 Stage-1/Stage-2 比率、失败分类、按类别结果和自报差距。生成人类参考运行时可手动打开 noVNC URL 自行完成任务后关闭标签页；也可以保持会话打开，让外部浏览器代理驱动，同时由 ClawBench 录制和拦截。
快速入门：先运行 test-cases/v1-lite/，这是 V1 的 20 任务精选子集，按知名网站、现实相关性、难度和类别多样性挑选，与 browser-use/benchmark 的每来源 20 任务惯例一致，能以较低成本获得可信信号。层级分布为旗舰 9 / 核心 8 / 通配 3，覆盖日常生活（OpenTable、DoorDash、Instacart、TaskRabbit）、娱乐（Eventbrite、Goodreads、Fandango）、创作（Asana、Mailchimp、Squarespace）、旅行（Airbnb）、教育（LeetCode）、开发技术（GitHub）、学术（Overleaf）、个人管理（1Password）等。所有 Lite 任务无论 url_pattern 形态如何，均由 eval/agentic_eval.md 评判。使用 --cases-suite v1-lite 运行，或查看 test-cases/v1-lite/ 中带链接的任务文件。
任务示例：任务 001 要求代理访问 ubereats.com，从 /my-info/alex_green_personal_info.json 读取虚拟用户家庭地址并填入配送地址框，搜索“Pad Thai”，选择可向该地址配送 Pad Thai 的餐厅，打开商品详情页找到自定义或特殊说明字段并输入“no peanuts”，加入购物车并处理登录提示（使用一次性邮箱凭据），最后到达结账并点击 Place Order。代理逐字获得该指令，并可只读访问 /my-info/alex_green_personal_info.json（虚拟用户姓名、家庭地址、电话、出生日期）以及用于登录提示的一次性邮箱账户，有 30 分钟时间触发 POST 请求，超时容器会被杀死。拦截器捕获的是最终 Place Order 点击所触发的 POST 请求。
适用场景
适用于评估浏览器 AI 代理在真实网站上的日常任务完成能力，可用于研究、排行榜对比、复现实验、评判配置校验和代理 harness 迭代。提供路径 A（重新运行代理再评分）和路径 B（跳过运行，重新评判已发布轨迹）来复现排行榜；官方表示同一模型在同一 judge（deepseek/deepseek-v4-pro，宽松 rubric）下两次独立运行，在 V2 语料上 Intercepted 和 Reward 的复现误差在 ±2 个百分点以内。
限制
任务有 30 分钟超时，超时容器会被杀死。macOS 和 Windows 的 Podman 需要先初始化并启动 VM。使用经典 sudo-docker 时，从容器提取的文件在宿主机上归 root 所有；ClawBench 驱动会在每次运行后检测并自动将 test-output/ 归还给用户，但若同时使用其他容器工具，rootless Podman 或 rootless Docker 可完全避免该问题。V1 两阶段 Reward 数据尚未出现在排行榜上；Codex 和 Claude Code 在 V2 上的运行以及 V1 OpenClaw 汇总仍在进行中。论文所报任务数与发布语料因移除两个 ASPCA 任务而存在差异。
