SuperAPI AI 工具集

swe-bench

通用与其它

查看项目

更新于 10-16 05:43

技能介绍

用途:端到端运行 SWE-bench 实例,涵盖确保实例镜像可用(缺失时从 Docker Hub 拉取)、启动容器、让 OpenSquilla 智能体处理 issue、收集补丁,并可选用官方评测。

主要能力与用法: 解决单个实例(镜像缺失时自动拉取): opensquilla swebench solve <instance_id> --dataset verified --json --dataset 接受 verified、multilingual 或完整的 HuggingFace 数据集名称。 加 --evaluate 可在之后运行官方 harness 并报告补丁是否真正解决实例(JSON 输出中的 resolved)。 加 --model <model> / --thinking <level> 可固定模型;不设则由 squilla_router 决定。--timeout <seconds> 默认 1200。 仅预拉取镜像:opensquilla swebench pull <instance_id> 评测已有预测文件:opensquilla swebench eval <predictions.jsonl> --dataset verified

结果解读:solve --json 输出一个 JSON 对象,含 state(patch_collected 表示成功)、patch_path、artifact_dir、resolved(true/false,未用 --evaluate 时为 null)、duration_seconds、usage(费用/token)、error。完整产物轨迹(提示词、agent 日志、转录、用量、补丁)位于 artifact_dir 下。

适用场景与提示:首次运行若镜像不在本地会拉取 1-3 GB,可能需几分钟;一次 solve 通常 10-30 分钟,取决于实例与 timeout。先告知用户,结束后报告状态、补丁是否非空、评测时的 resolved、usage 费用及 patch_path。失败或超时时引用 error 字段,并指向 <artifact_dir>/agent_stdout.log。

限制:需要 Docker CLI,但非硬性门槛——缺失时命令会打印对应 OS 的安装命令后退出,应转达安装指引,而非称任务不可行;真实仓库编码任务(非基准实例)不需要 Docker,应使用 code-task 技能。镜像为 x86_64,ARM 主机只能用本地预构建镜像。运行发生在网关主机,docker 须可从此处访问,磁盘占用随每个拉取镜像增长。长运行会阻塞命令;超过少量实例的批量任务建议用户在 tmux 中直接运行 CLI。