Rock Eval 用于对 AI Agent 做批量回归评估，核心工具是 rockcli（别名 rc）和脚本 scripts/regression.py。脚本需按绝对路径运行，输出 results/、logs/、configs/ 写入当前工作目录。
主要流程为 run → report → sync → diagnose → retry。run 通过 python3 regression.py run 分发任务，常见参数包括 --bench、--agent、--window-size（全局并发上限，--concurrency 为其别名）、--dataset、--split，透传参数如 --image、--cluster、--model、--ee KEY=VALUE、--set path=value 等只按用户指定传入。oracle 为上界基线，nop 为下界基线，可用于冒烟验证。
报告：regression.py report 支持文本、HTML（--format html --open）与 JSON 输出。sync 用于刷新过期状态，报告前若运行中断应先 sync。diagnose 支持按状态、异常类型、单任务排查，并可加 --remote、--trajectory、--artifacts。retry 支持按 --filter error、--exception-type 或 --tasks 重跑；run --resume 跳过 success 与 error，retry 仅跳过 success 并生成新 experiment id（带 retry_of）。
深度分析分三阶段：live-score.py 或 fetch-overview.py 获取概览，多个子 agent 分析失败 trajectory，最后聚合失败分类与建议，参考 references/deep-analysis.md 与 failure-taxonomy.md。还支持沙箱内执行：用 rc --cluster <sandbox-cluster> sandbox start 起控制沙箱，安装 rockcli、注入凭据（写入 ~/.bashrc）、上传脚本与配置、用 setsid 或 nohup 后台启动，最后下载结果并 rc sandbox <ID> stop。注意控制沙箱集群与 agent job 集群是两层配置，stop 前必须下载结果。
资料未提供具体收费、价格与效果数据。