用途:为 deepagentsjs monorepo 创建新的评测套件。每个评测是 evals/ 下的独立工作区包,使用 @deepagents/evals 测试框架,通过 vitest 运行,并将结果上报到 LangSmith。
主要能力:支持数据集设计(内联、JSON/JSONL fixture、外部数据集、LangSmith 数据集)、测试用例脚手架、评分逻辑(内置轨迹匹配器、精确/模糊匹配、LLM-as-judge、代码执行、自定义评估器)、vitest 配置与 LangSmith 上报。
使用方式:先阅读 internal/eval-harness 下的现有基础设施与 evals/ 下已有评测约定,再创建 evals/<name>/ 包,包含 package.json、vitest.config.ts、index.test.ts、README.md,可选 fixtures/、vitest.setup.ts、evaluators.ts。测试文件使用 getDefaultRunner() 获取运行器,通过 ls.describe 与 ls.test 组织用例,用 runner.extend() 覆盖系统提示、工具、子代理等配置,用 initialFiles 预置文件。需要真实执行时通过 extend({ backend }) 接入沙箱(Modal、Daytona、Deno、Node VFS)。安装与运行:pnpm install;EVAL_RUNNER=sonnet-4-5 pnpm --filter @deepagents/eval-<name> test:eval。
适用场景:评测文件操作、工具使用、多轮推理、记忆、代码生成等能力;需要 shell 执行、包安装或不可信代码时使用沙箱后端。
限制:默认运行器使用内存 StateBackend,无法执行 shell 命令或安装包;HITL 与摘要评测需绕过标准 EvalRunner 直接构造 agent;需与 Python deepagents 评测保持对等,当前 summarization 评测缺失。具体收费、价格与平台信息暂未提供。