用途
Eval Author 的“首次评估”流程用于在没有既有评估用例或追踪记录的情况下，为智能体建立第一套可运行的评估套件。它引导用户经历十个内部阶段，从确立智能体核心准则开始，到最终审查结果并说明重跑方法，产出一个用户能理解、能在修改后重跑以检测改进或回归的评估集。
主要能力
- 确立智能体 Ethos：依据智能体文档与预期行为，阅读并遵循 Local Ethos 流程，不依赖是否已发现现有评估。
- 选择评估运行时：遵循核心的提供方选择规则，支持 Gym 与 Harbor 两种运行时，并验证其可用性。
- 理解评估起点：复用用户声明的“无评估”状态或发现结果，解释初始交付物为带评分标准的客户场景集。
- 定义评估范围：阅读智能体入口、工具定义和用法文档，按行为提出广度，区分最小试点与更广覆盖，包含正例、负例与难点用例。
- 准备用例与评分：遵循任务验证与执行证据要求，创建用例并映射到原生任务或数据集行，构建验证器，解释断言与错误示例。
- 准备执行环境：完成环境套件（kit）的构建与验证，包括种子数据生成、隔离设置和冒烟任务，记录于 environment-plan.md。
- 连接智能体：从实际入口建立受支持的集成，配置模型设置、尝试次数、重置流程和输出路径。
- 验证评估：运行控制与目标智能体，检查奖励形状，修复失效用例，报告阻塞项。
- 评估智能体：确认用例集匹配，解释执行成本，运行评估并检查每个用例的结果。
- 审查结果与说明重跑：更新 first-eval.md 与 README.md，提供完整套件命令、单用例命令、结果查看方法，并最终渲染五步检查清单。
使用方式
该流程通过核心入口直接调用，以用户表示“没有评估”为足够条件选择此流程。若从发现清单路由而来，则携带其发现和先前答案，从最早未完成的里程碑开始。各阶段遵循共享的里程碑检查点程序，使用核心的五步检查清单显示进度。保存关键状态于 .eval-author/first-eval.md，套件入口为 .eval-author/README.md。需要阅读 eval-author 共享标准、Local Ethos、Corpus 与覆盖规划、执行依赖、任务验证与执行证据、执行恢复、套件审查与重跑说明等参考文档。
适用场景
- 智能体尚无任何评估用例，需要从零建立首套评估套件。
- 需要扩展已创建的起始套件，增加新的行为示例。
- 需要确保评估套件可重跑，以便在智能体变更后检测改进或回归。
限制
- 不要求也不制造覆盖报告来进入任务创建；覆盖测量属于 eval-author-audit。
- 工作套件与强评估质量是两项独立主张，初始交付物不保证全面覆盖或频繁成功。
- 无法用现有资源测试的用例应保留为阻塞项，不得以替代用例冒充完成。
- 若缺少所选运行时，交付物仅为评估计划；原生任务创建保持阻塞。
- 连接缺失时，可验证验证器控制，但用户智能体的性能无法测量。
- 重复尝试不会增加示例总数。
- 分类：该技能属于评估与测试领域，但分类表中无直接对应项，故归为 other-ai-tools。