SuperAPI AI 工具集

wbbench-run-setup

测试与质量

查看项目

更新于 10-20 19:59

技能介绍

WB-Bench Run Setup 是 WorkBuddy Bench 评测的交互式配置引导技能,核心作用是把一个尚未配置的代码检出,逐步带到可运行、并最终进入分析阶段的 WorkBuddy Bench 评测。

用途 当用户希望从零配置并启动一次 WorkBuddy Bench 评测,或不清楚如何搭建时,该技能通过七阶段剧本(Phase 0–6)进行引导。主文件充当路由:每个阶段执行前需完整读取对应的 references/ 文件,一次只推进一个阶段,确认后再继续。

主要阶段与产出

  • Phase 0 数据集:将子集下载到 datasets/,参考 references/00-datasets.md;数据集不在 git 中,全新检出默认为空,空 datasets/ 意味着需要先下载。
  • Phase 1 环境:得到可运行的检出,参考 references/01-environment.md。
  • Phase 2 模型:生成 configs/models/<provider>/<slug>.yaml,参考 references/02-model.md。
  • Phase 3 凭据:在 .env 中配置所选名称对应的 URL 与 key,参考 references/03-credentials.md。
  • Phase 4 任务:生成 configs/jobs/<slug>.yaml,参考 references/04-job.md。
  • Phase 5 启动:先 dry-run,与用户确认后再实际运行,参考 references/05-run.md。
  • Phase 6 分析:移交给 wbbench-report-skills,参考 references/06-analysis.md。

使用方式与交互规则 使用用户所用语言回复;配置键、文件内容与 shell 命令保持原样,仅调整说明文字。以实际模板为准(configs/models/_template.model.yaml、configs/jobs/_template.job.yaml 与 _reference.yaml、.env.example),不依赖记忆中的字段名。运行时发现可选项(如 ls configs/harnesses//versions/、ls -d datasets/wb-bench-/),不硬编码可能过时的列表。写入前先向用户展示将要写入的内容。

护栏与限制 密钥(API key、base URL)只存于 .env,YAML 仅引用环境变量名,禁止 git add .env,也不回显密钥值。模型通信协议键为复数 protocols,缺失时默认 openai;单一 protocol: 会导致非 openai 后端静默误路由。model_connection: local_proxy 为推荐默认,除非用户要求 direct;当模型使用 extra_body 或 harness 协议不在模型 protocols 中时必须使用。dry-run 前需确认模型引用的每个环境变量名在 .env 中存在;真实运行(Phase 5)前需用户确认,因其耗时且产生成本。数据集与任务文件视为只读,只写入 configs/ 与 .env,数据集通过 scripts/dataset/fetch-dataset.sh 从 HuggingFace 获取,不手工编辑下载的任务文件。具体命令细节与字段定义如资料未涉及,暂未提供。

适用场景 适合首次搭建 WorkBuddy Bench 评测、需要分步引导与运行时选项发现的用户。