Multi-SWE-bench 是一个多语言基准，用于评估大语言模型在真实代码问题解决场景中的能力，主要面向自动化 issue 解决与强化学习研究。
用途：该基准解决现有评估资源以 Python 为中心、缺乏多语言覆盖的问题，目标是加速自动化问题解决和强化学习进展，缩小通向 AGI 的差距。
主要能力与数据集：框架覆盖 7 种语言（Java、TypeScript、JavaScript、Go、Rust、C、C++），包含 1,632 个高质量实例，这些实例由 68 位专家标注者从 2,456 个候选中筛选，以保证可靠性。项目提供完整基准以及两个轻量版本：Multi-SWE-bench mini（400 个实例，覆盖 8 种语言，旨在降低计算成本、加快评估）和 Multi-SWE-bench flash（300 个精选多语言评估实例，用于快速评估和高效的智能体 rollout）。此外，Multi-SWE-RL 社区是面向大规模强化学习数据集的开源计划，初始发布包含 4,723 个实例。
评估与框架：项目对九个模型（GPT-4o、OpenAI-o1、OpenAI-o3-mini-high、Claude-3.5-Sonnet、Claude-3.7-Sonnet、DeepSeek-V3、DeepSeek-R1、Qwen2.5-72B-Instruct、Doubao-1.5-Pro）在三种智能体框架（Agentless、SWE-agent、OpenHands）下进行了综合评估，并得出若干有价值的见解。
使用方式：评估使用 Docker 进行可复现运行，需遵循 Docker 安装指南安装 Docker；在 Linux 上还建议查看安装后步骤。从源码构建需执行开发环境设置，安装开发依赖并配置 pre-commit 钩子。运行评估需要准备：JSONL 格式的补丁文件，每项包含 org（组织名）、repo（仓库名）、number（Pull Request 编号）、fix_patch（修复补丁内容）；JSONL 格式的数据集文件，可在 Hugging Face 获取，例如 Multi-SWE-bench 或 Multi-SWE-RL；可选的 Docker 镜像，可通过 scripts/download_images.ps1（Windows）或 scripts/download_images.sh（Linux/macOS）下载 mini、verified 或 RL 镜像，该步骤可选，若本地不存在镜像，评估时会自动构建。评估运行后会在指定的 output_dir 中生成 final_report.json，包含 resolved_instances、unresolved_instances 等指标摘要；失败的实例及具体错误原因可查看 log_dir 目录下的日志文件。若使用 git apply 应用配置时出现问题，可添加相应配置项，将 git apply 替换为 patch --batch，以提高补丁应用成功率。
适用场景：适合研究大语言模型在多语言真实代码仓库中解决 issue 能力的科研人员、进行强化学习数据集构建与评估的研究者，以及希望基于该基准扩展数据集、工具和研究协作的开发者。社区提供贡献激励计划、快速开始指南、贡献演示和 Discord 讨论渠道。
限制：以上资料未提供关于费用、价格、平台支持范围、效果保证或具体操作步骤完整清单等信息。部分内容（如预训练钩子设置、具体评估命令）在原文中未完整展示。项目采用 Apache License 2.0 许可，详见 LICENSE 文件。
