用途:这是 Eval Author 的环境子流程,在 first-eval 或 task-create 编写任务测试之前,先构建并证明任务所运行的世界。它负责提供方适配、依赖提供方式、起始数据与重置、结束状态如何到达验证器、隔离、环境冒烟证明以及可复用套件。
主要能力:按 agent 构建一个环境套件并复用,目录为 .eval-author/environments/<agent-slug>/,包含 environment-plan.md、build/、data/、smoke/。计划从模板开始并持续更新,记录适配、清单、依赖选择、保真度卡与证明状态。data/ 中提供带固定种子的生成器,产出起始数据、完整性检查与逐表内容摘要;smoke/ 中提供冒烟任务及其 NOP 与两次参考解运行。
使用方式:先检查适配(沙箱内运行的 agent 直接适配 Harbor;应用型 agent 在容器中运行并以后端 sidecar 替代;纯托管 agent 适配性差,可考虑 Gym 或报告限制)。随后只读盘点仓库依赖,选择最忠实的依赖提供方式(真实、厂商沙箱、有状态假件、回放、无),生成起始数据并做完整性检查,声明结束状态导出,按阶段限制网络并保护隐藏答案,最后运行冒烟证明。Harbor 需 Harbor CLI 与 Docker Compose,Gym 需其独立运行时。
限制:环境只复现仓库、轨迹与已授权沙箱所揭示的内容;有状态假件仅模拟其实现的操作与错误,回放仅覆盖已记录输入。证明环境不等于验证任务正确性、评分器可靠性或 agent 表现。缺少前置条件或未运行检查时只能记为未证明。