用途:Eval Author 用于处理仓库自有的评估套件并理解智能体轨迹,将每个请求路由到负责它的窄子流程。
主要能力:提供多条入口路线,包括首次评估(First eval)、覆盖审计(Audit)、发现清单(Discovery inventory)、数据集建议(Dataset proposals)和轨迹环境(Trace environment,实验性)。首次评估通过五个可见步骤引导用户:理解智能体、准备评估运行时、起草首批评估、让评估运行、运行与审查。审计流程生成并验证有限的 audit.md 覆盖分母,测量并聚合轨迹覆盖。任务创建从审计发现中提出数据集改进建议,并创建符合资格的 Gym 或 Harbor 任务。
使用方式:先选择入口路线,再按所选子流程的 SKILL.md 执行。评估提供者选择规则为:优先用户明确指定的 Gym 或 Harbor,否则保留现有套件的提供者,两者都未指定时默认 Harbor。首次评估在案例设计前需要适用的 ETHOS.md。
适用场景:仓库评估套件的构建、审计、发现、任务创建与轨迹检查。
限制:适配功能暂时禁用,不支持将现有评估转换为 Harbor。轨迹派生环境为实验性。缺失事实暂未提供。