用途:端到端评测 CAW Agent 质量,本地 Mac 作为调度器,dispatch 到远端服务器运行 headless claude(标准/recipe 评测)或 openclaw agent(弱模型兼容性评测),评分与报告在本地完成。
前置检查:执行 [[ "$(hostname)" == *openclaw* ]] && echo "env=openclaw" || echo "env=local"。env=local 可继续,需确保 gcloud auth login 完成、IAP 通道可用;env=openclaw 必须停止,该 Skill 为本地调度器,不能在 openclaw 服务器直接运行。
评测维度:评测模式 --eval-mode(e2e 默认全 E2E 含 task_completion / pact 仅评 pact 构造 / onboard);Recipe 来源 --recipe-source(real 默认调真实 backend / seed 注入 dataset recipe / empty 注入空对照组);Agent 类型由脚本区分,run_eval_cc.py 用于 Claude Code headless,run_eval_openclaw.py 用于弱模型如 doubao、minimax、gpt。
命令与流程:按用户意图选择 run_eval_cc.py 或 run_eval_openclaw.py,配合对应服务器池 SERVERS_CC_MAIN、SERVERS_CC_CTRL 或 SERVERS_{MODEL},run_name 模板为 eval-{cc|oc}-{model}-{eval-mode}-{source-alias}-{YYYYMMDD-HHMM}。常用模板与详细步骤见 run-eval-cc.md、run-eval-recipe.md、run-eval-openclaw.md、common-execution.md。
评分:e2e 综合分 = task_completion × 0.3 + process_quality × 0.7;pact 综合分 = S1 × 0.20 + S2 × 0.45 + S3 × 0.35,分数范围 0-1,详见 scoring.md。数据集包括 recipe-test-v3、standard-test-v3、caw-agent-eval-seth-v2、caw-recipe-eval-seth-v1,默认 recipe-test-v3(pact 模式)/ standard-test-v3(e2e 模式)。
限制:需本地 Mac、gcloud/IAP、远端服务器环境与数据集支持;时间与效果取决于难度、模型与服务器数量,资料未提供收费与价格等信息。