用途:为智能体从零搭建第一套可运行的评测套件。即使此前没有任何评测或运行 trace 也可进入该流程;“无评测”属于正常起点,不要求先有覆盖报告。初始交付物是用户能理解并重跑的、约定广度的工作套件;最小试点也可接受。
主要能力:按十个内部阶段推进,并遵循核心的五步检查清单与里程碑确认。内容包括:建立智能体 Ethos(依据其文档与预期行为,不依赖已有评测);选择并验证评测运行时(provider 选择规则,Gym 与 Harbor 均支持);复用用户“无评测”声明与发现结果,理解起点;读取智能体入口、工具定义与使用文档,定义评测范围(区分最小试点与更广覆盖,含正负场景、难度变化与缺口);准备用例与评分,将稳定 ID 映射到原生任务或数据集行;在测试前先构建并验证环境套件;连接真实智能体;运行验证与控件;评测智能体;最后复盘结果并说明如何重跑。
用法要点:从核心的 first-eval 入口与撰写开场进入,再做仓库工作。先读 Corpus and coverage planning 再搜索或检查 trace;选择来源、边界、排除项与检查数量记入 .eval-author/first-eval.md。范围计划保存在 .eval-author/first-eval.md,套件入口为 .eval-author/README.md,环境产物位于 .eval-author/environments/<agent-slug>/。用例表述为“请求+评分标准”。要为每个用例记录奖励格式、指标名称与范围、预期控件结果,并加任务 README。结果指出可通过 Harbor 的用例查看器与运行查看器检查,但资料未提供具体启动命令或 URL。
限制:覆盖度量属于 eval-author-audit;未完成运行时准备前,原生任务创建处于阻塞状态,仅能交付评测计划。无法用现有资源测试的用例应保留为 blocked,改用替代方案需用户同意并记为范围变更。不要为通过测试而弱化原断言,也不要用脆弱字符串匹配替代主观质量,或把被测行为 mock 掉。资料未提供价格、平台或具体命令示例。