用途:围绕 agent-eval-harness eval '<json>' 构建和运营代理评测套件,覆盖运行、评分、比较、校准四个环节。
主要能力:采用严格 JSON 契约,可通过 schema 发现获取字段定义,而不必复制字段列表,支持 eval --schema task、adapter-input、adapter-output、grader-input、grader-output、trial-row 等查询。
规范流程:先明确评测目标与可靠性指标、目标代理 CLI、任务语料来源与元数据、评分证据与通过策略、比较策略与校准节奏;再用垂直切片方式构建,包括一行任务 JSONL、一个适配器契约测试、一次运行冒烟测试、一个评分器、一次评分冒烟测试、一次比较检查、一次校准检查。
标准管道:eval '{"mode":"run",...}' > raw.jsonl 后,eval '{"mode":"grade",...}' < raw.jsonl > graded.jsonl,再执行 compare 与 calibrate 模式;run 与 grade 以紧凑 trial_result JSONL 行输出到标准输出,compare 与 calibrate 各输出一个有界 JSON 对象。
套件自有职责(不在 harness 契约内):工作区准备与清理、恢复与去重策略、重试策略、过滤与切片策略、CI 门禁策略、成本与 token 分析脚本;密钥通过环境变量或包装器传入,而非 JSON 配置。
限制:资料未提供具体实现语言、依赖、安装命令、价格、平台或性能数据。