用途:引导贡献者在 SkillsBench 中创建评测任务,从提案到提交,最终产出 tasks/<task-id>/ 目录(bench tasks check 能通过)和符合模板的 PR 说明。
工作流:1 propose 写四要素提案对照 rubric;2 scaffold 用 bench tasks init 生成骨架;3 task.md 手写面向结果的提示,含 frontmatter;4 environment 基于 Dockerfile 模板,预建 /app 与 home,不烘焙 skills;5 tests 写 4–10 个测试函数,参数化覆盖批量;6 oracle 手写参考解,需自包含;7 skills 提供 2–3 个可泛化技能;8 validate 用 bench tasks check 和 oracle 评测须达 1.0;9 self-review 调用 task-review 技能;10 agent runs 用 Opus/latest Codex 在有无 skills 下运行;11 submit 提交 PR。
关键命令保持原样:bench tasks init <task-id>;bench tasks check tasks/<task-id>;bench eval run --tasks-dir tasks/<task-id> --agent oracle --sandbox docker --jobs-dir jobs/<task-id>-oracle。
限制与常见拒绝原因:提示不可由 AI 生成,须手写;有真实数据时不用合成数据;测试期望值须来自 solve.sh 或独立重算,不可硬编码;验证器不得依赖实时外部 API;技能须可泛化;测试不宜过密(约 10–20 个参数化用例);提示勿冗长过细;避免旧式 Dockerfile 模式(WORKDIR /root、test.sh 里 pip install pytest-json-ctrf、COPY skills /root/.codex/skills)。时间敏感答案要锚定快照日期。其他具体要求暂未提供。