ClawBench 是一个开源基准测试，旨在评估 AI 浏览器智能体在真实网站上完成日常在线任务的能力。这些任务包括预订旅行、订购食物、申请工作、撰写评论和管理项目等。项目由 NAIL Group 构建，姊妹项目为 HarnessBench。
用途
ClawBench 用于衡量 AI 浏览器智能体在真实网站上的端到端任务成功率。它通过五层记录管道和智能体评估器，将每次运行与人类参考进行对比。在历史 V1 论文评估中，最强的受评智能体完成了约三分之一的任务。
主要能力
- 提供 V1 和 V2 两个语料库：V1 包含 152 个日常任务、143 个实时网站；V2 包含 129 个任务、63 个实时网站。总计 281 个任务，覆盖 163 个实时网站和 15 个生活类别。
- 五层记录管道：记录任务执行过程。
- 智能体评估器：将每次运行与人类参考进行对比。
- 实时排行榜：按语料库、测试框架和评分标准展示分数。
- 任务浏览器：支持搜索、筛选和按类别浏览 281 个任务。
- 提供 Hugging Face 数据集：包含任务定义和 V1、V2 的完整执行轨迹。
- 支持多种浏览器运行时和框架，包括 Kernel、Browserbase 等远程浏览器运行时。
- 提供 RewardHarness 自进化智能体奖励框架。
使用方式
快速开始
通过 pip 安装：pip install clawbench-eval。也可以使用 pipx install clawbench-eval 或 python -m pip install clawbench-eval。安装后的命令包括：clawbench、clawbench-run、clawbench-batch、clawbench-rescore、clawbench-analyze、clawbench-reproduce 和 clawbench-harbor-adapt。
克隆仓库运行
如需修改驱动、捆绑测试用例或容器构建，可克隆仓库并使用根 uv 包入口点。
先决条件：Python 3.11+、uv 以及容器引擎（Docker 或 Podman）。ClawBench 会自动检测已安装的引擎；可通过 export CONTAINER_ENGINE=docker 或 export CONTAINER_ENGINE=podman 强制指定。
macOS 上使用 Podman 需要虚拟机：安装后需执行 podman machine init && podman machine start。
Windows 上使用 Podman 同样需要先执行 podman machine init && podman machine start。
配置模型
首次启动时会在 models/ 下创建本地模板。评分需要裁判模型，需为 deepseek-v4-pro 添加 API 密钥。
运行任务
推荐使用交互式 TUI：clawbench。对于管道、CI 或非 TTY 环境，使用 clawbench-run 或 clawbench-batch。
单任务单模型运行：clawbench-run。容器启动后会打印 noVNC URL（如 http://localhost:6080/vnc.html），可打开实时观看智能体操作。结果保存在 ./test-output/<model>/<harness>-<case>-<model>-<timestamp>/。
运行整个语料库：clawbench-batch --cases-suite v2。可添加 --max-concurrent N 并行运行任务，--harness <name> 选择智能体。每个任务由 deepseek-v4-pro 裁判评分，可通过 --no-judge 跳过评分。
选择测试框架
测试框架是驱动浏览器的智能体脚手架，模型是独立轴。默认是 openclaw。通过 --harness <name> 选择。完整注册表见 src/clawbench/runtime/harnesses/harnesses.yaml。
其他浏览器运行时和框架
支持 Kernel、Browserbase 等远程浏览器运行时。
适用场景
- 评估 AI 浏览器智能体在真实网站上的日常任务完成能力。
- 研究智能体在长周期任务中的表现。
- 复现排行榜结果，验证评估管道。
- 使用提供的轨迹数据集进行研究和开发。
限制
- 论文报告 V1 为 153 个任务、V2 为 130 个任务；发布后移除了两个 ASPCA 任务，因此实际发布语料库为 152 和 129。
- 轨迹数据集较大，建议使用
hf download --include "<pattern>"拉取单个模型或单个任务。 - 在 macOS 上使用 Podman 需要虚拟机，仅
brew install podman不够。 - 使用经典 sudo-docker 时，从容器提取的文件在主机上归 root 所有；ClawBench 驱动会在每次运行后自动将
test-output/的所有权改回用户，但若同时运行其他容器工具，建议使用无根 Podman 或无根 Docker。 - 评分需要裁判模型 API 密钥。
- 首次运行会构建容器镜像（Chromium + ffmpeg + noVNC + 所选智能体框架依赖），后续运行会复用缓存层。
其他信息
- 实时排行榜：claw-bench.com/leaderboard（V2 默认，两阶段评分——拦截 + LLM 裁判）。完整评分公式见
eval/scoring.md。 - 论文：arXiv:2604.08523。
- 数据集：
hf download NAIL-Group/ClawBench。 - 贡献方式：添加任务或模型，JSON 规范 + 评分标准。
- 项目已获得超过 1,000 GitHub 星标。
- 论文已被 EMNLP 2026 Findings 和 COLM 2026 WAB 接收。
- 多个机构的研究工作基于 ClawBench 构建，包括 Google DeepMind、斯坦福、UC Berkeley、Google、微软研究院、哈佛、ETH Zürich、牛津、西北大学、字节跳动 Seed 和香港科技大学等。
