Eval Author 是一个用于评估数据集改进和任务创建的工具。它从审计发现中提出数据集改进建议,并可选地从某个可操作的未覆盖工具创建一个 Gym 或 Harbor 任务。该工具通过读取共享证据标准和边界,将审计证据转化为按优先级排列的数据集改进建议,并支持任务创建流程,包括选择可操作的未覆盖工具、设计最小客观任务、使用 Gym 或 Harbor 进行脚手架搭建,以及通过原生控件和真实 agent 运行来验证任务正确性。
用途:
- 从审计证据中提出数据集改进建议。
- 可选地从可操作的未覆盖工具创建一个 Gym 或 Harbor 任务。
主要能力:
- 提供共享证据标准和边界。
- 支持提案步骤,将审计证据转化为按优先级排列的数据集改进建议。
- 支持任务创建流程,包括选择可操作的未覆盖工具、设计最小客观任务、脚手架搭建和验证。
- 提供脚本用于记录原生控件和 agent 运行、选择、脚手架和验证任务。
使用方式:
- 运行脚本:uv run <skill_dir>/scripts/task_pipeline.py <command>。
- 使用 task_evidence.py 记录当前版本的原生控件和 agent 运行。
- 使用 task_pipeline.py 进行选择、脚手架和验证一个审计缺口任务。
- 执行步骤包括:提出数据集改进、选择一个可操作缺口、设计最小客观任务、使用 Gym 或 Harbor 脚手架、通过原生控件证明任务正确性。
适用场景:
- 评估数据集改进和任务创建。
- 从审计发现中识别未覆盖的工具并创建相应任务。
限制:
- 任务创建一次只能处理一个工具缺口。
- 生成的工件必须保存在 .eval-author/ 下,不得编辑现有任务或客户源代码。
- 自动工具缺口任务创建需要聚合的 JSON 报告。
- 能力及失败案例项目在 v1 中不作为任务生成输入。
- 仅提案请求在步骤 1 后停止,不进行任务脚手架或运行。