run-agent-evals

用途：本技能用于运行智能体的工具使用行为评测（agent tool-use behavioral evaluations），或将一个处理组（treatment）与兼容的基线进行对比，帮助判断智能体在工具调用方面的行为表现是否符合预期。

主要能力：

• 凭证无关的测试装置覆盖：通过 pnpm exec vitest run evals/agent-tools 运行不依赖凭证的 harness 测试。
• 分引擎评测：通过 pnpm eval:agent-tools --engine <engine> 运行指定引擎的评测，资料中示例引擎包括 codex 与 claude。
• 聚焦单用例检查：可结合 --case <case> 与 --samples <n> 只运行指定用例（示例为 workspace-model-discovery-gap，样本数为 1）。
• 基线对比：通过 --baseline /absolute/baseline/results.jsonl 将处理组与兼容基线结果比对。
• 输出目录控制：使用 --out /absolute/directory 指定检出目录之外的绝对路径输出；已有结果不会被覆盖。

使用方式：

1. 阅读 docs/testing.md#agent-tool-use-evaluations 了解原生工具边界。
2. 使用已有的本地订阅登录，不添加 API 密钥或主机文件目标。
3. 先跑凭证无关的覆盖测试，再按需选择引擎与用例执行评测。
4. 评测后检查 run.json、results.jsonl 与 summary.md，并区分执行不完整、基线回归与普通行为失败数据。
5. 模型与 effort 取值必须使用实时引擎目录所支持的值；选择与打分细节可参阅 evals/agent-tools/run.ts。

适用场景：需要对智能体工具使用行为做回归验证、单用例排查、与基线结果对比，或在本地订阅登录环境下运行不依赖 API 密钥的评测覆盖。

限制：资料未提供支持的完整引擎列表、评测指标定义、用例全集、计费方式与运行时长等信息；不得添加 API 密钥或主机文件目标；输出路径若指定须使用检出目录之外的绝对目录；已有结果不会被覆盖。