SuperAPI AI 工具集

prepare-submission-workflow

测试与质量

查看项目

更新于 10-16 06:15

技能介绍

用途:该技能用于把一项评估(evaluation)准备为注册表(register)条目并提交 PR。自 2026 年 5 月起,新评估以注册表条目形式提交,评估代码保留在提交者自己的上游仓库中,此处只添加指向它的指针,代码不再直接加入 src/inspect_evals/。若用户试图把评估代码直接提交进本仓库,应引导其查看 register/README.md。

主要能力与流程:

  1. 校验上游仓库要求:需有含 [project] 表的 pyproject.toml 以便通过 uv sync 安装;需声明 inspect_ai 依赖;每个任务需用 inspect_ai 的 @task 装饰器定义。可让用户提供 GitHub 仓库 URL,抓取 pyproject.toml 与任务文件进行核验。提交者必须是上游仓库的所有者或维护者,否则需 fork 仓库以列为维护者。
  2. 创建 register/<eval_name>/eval.yaml:若已存在则跳过。以 register/example_eval.yaml 为模板,尽量从上游仓库推导字段(repository_url、最新提交的 40 位 SHA、@task 函数名与路径、标题、描述、维护者),再批量询问缺失项。写入前向用户展示草稿确认;不要设置 id,它由目录名自动注入。contributors 与 tags 为已弃用字段,不要包含。
  3. 运行校验:make check,会校验 eval.yaml 并自动生成 README.md,该 README 完全由 eval.yaml 生成,不可手动编辑。
  4. 创建变更日志片段:uv run scriv create。
  5. 打开 PR:使用 PR 模板,审查者会联系 source.maintainers 中列出的人确认后再合并。

适用场景:用户要求准备评估提交或完成 PR 时触发。

限制:资料未提供该技能的具体安装方式、收费、平台支持范围及更多细节。