SuperAPI AI 工具集

eval-author-task-create

测试与质量

查看项目

更新于 10-17 10:28

技能介绍

Eval Author 是一个用于评估数据集改进和任务创建的工具。它从审计发现中提出数据集改进建议,并可选地从某个可操作的未覆盖工具创建一个 Gym 或 Harbor 任务。该工具通过读取共享证据标准和边界,将审计证据转化为按优先级排列的数据集改进建议,并支持任务创建流程,包括选择可操作的未覆盖工具、设计最小客观任务、使用 Gym 或 Harbor 进行脚手架搭建,以及通过原生控件和真实 agent 运行来验证任务正确性。

用途:

  • 从审计证据中提出数据集改进建议。
  • 可选地从可操作的未覆盖工具创建一个 Gym 或 Harbor 任务。

主要能力:

  • 提供共享证据标准和边界。
  • 支持提案步骤,将审计证据转化为按优先级排列的数据集改进建议。
  • 支持任务创建流程,包括选择可操作的未覆盖工具、设计最小客观任务、脚手架搭建和验证。
  • 提供脚本用于记录原生控件和 agent 运行、选择、脚手架和验证任务。

使用方式:

  • 运行脚本:uv run <skill_dir>/scripts/task_pipeline.py <command>。
  • 使用 task_evidence.py 记录当前版本的原生控件和 agent 运行。
  • 使用 task_pipeline.py 进行选择、脚手架和验证一个审计缺口任务。
  • 执行步骤包括:提出数据集改进、选择一个可操作缺口、设计最小客观任务、使用 Gym 或 Harbor 脚手架、通过原生控件证明任务正确性。

适用场景:

  • 评估数据集改进和任务创建。
  • 从审计发现中识别未覆盖的工具并创建相应任务。

限制:

  • 任务创建一次只能处理一个工具缺口。
  • 生成的工件必须保存在 .eval-author/ 下,不得编辑现有任务或客户源代码。
  • 自动工具缺口任务创建需要聚合的 JSON 报告。
  • 能力及失败案例项目在 v1 中不作为任务生成输入。
  • 仅提案请求在步骤 1 后停止,不进行任务脚手架或运行。