SuperAPI AI 工具集

terminal-bench-loop

写作与研究

查看项目

更新于 10-16 09:49

技能介绍

用途:将单个 Terminal-Bench 任务通过 Paperclip 反复迭代,直到 smoke 通过。适用于任务标题或正文包含“run Terminal-Bench in a loop”“loop <task-name> through Paperclip”“drive Terminal-Bench fix-git”“Terminal-Bench smoke loop”等情形;若已有顶层 loop issue 要求下一轮迭代、诊断或重跑,也可使用。构建或修改 paperclip-bench 本身、提交排名用基准结果、与 Terminal-Bench 无关的普通产品 bug,则不应使用。

主要能力:围绕 Terminal-Bench 循环协调 issue、产物与审批;维护三层不变量:持续有明确下一步负责人、仅真实阻塞才停止、迭代次数/墙钟预算/产品修复前的董事会门控共同限制循环;显式记录输入、迭代预算、基准命令、调度运行器配置、产物根目录与审批策略;用 blockedByIssueIds 表达依赖,区分 live/waiting/recovery 等状态;按诊断模式定位停止点,分类失败为任务/模型、Paperclip 产品、测试框架/环境、验证器/基础设施、安全或不确定;产品修复须先以 request_confirmation 等待董事会确认,再创建实现、QA、CTO 评审与重跑子任务。

使用方式:开始前阅读 doc/execution-semantics.md;在顶层 loop issue 汇总输入(源 issue、单任务名、迭代预算、Paperclip App worktree issue、逐字记录基准命令与运行器调度配置、产物根目录、审批策略);每轮创建迭代子 issue,运行受限 smoke,捕获 run id、manifest、results.jsonl、Harbor 原始目录、停止原因、心跳与失败分类;对停止点做精确诊断,再选择通过、产品修复提案、非产品失败重试、真实阻塞或预算/董事会停止;重跑须使用同一 worktree,并通过 inheritExecutionWorkspaceFromIssueId 延续执行工作区。

限制:技能为操作与诊断性质,不授权代码变更,已接受的产品修复须另建实现子 issue;仅覆盖单个 Terminal-Bench 任务,多任务套件超出范围;产出为 smoke/非可比运行,可比或完整套件需升级 BenchmarkQualityManager;未取得权限不得安装或指派公司技能。资料中未提供价格、平台支持范围及具体命令示例。