SWE-bench 是一个面向真实软件工程任务的 AI 编程能力基准测试。它的基本设定是：从真实的 GitHub 仓库中收集软件工程问题，让 AI 模型或 Coding Agent 尝试解决这些问题，并据此评估其编程能力。与人为设计的编程题不同，SWE-bench 的任务直接来自实际开源项目，因此更接近真实开发中的问题修复场景。
用途 SWE-bench 主要用于衡量和比较 AI 模型在真实代码库中解决软件工程问题的能力。由于其任务来自真实 GitHub 项目，它常被用来评估 Coding Agent 或大模型在实际编程场景下的表现，而不是仅考察孤立的编程知识点。
主要能力 根据现有资料，SWE-bench 的核心能力是提供一套来自真实 GitHub 软件工程问题的测试任务，让 AI 模型去解决，从而形成对模型编程能力的评测。资料未提供关于其具体评测指标、数据集规模、任务分类、评分方式或榜单机制的更多细节。
使用方式 资料仅提供了官方网址 https://www.swebench.com/ ，未说明具体的使用步骤、安装命令、调用接口或集成方式。因此，关于如何提交模型、如何运行评测等操作细节暂未提供。
适用场景 SWE-bench 适用于需要比较不同 AI 编程模型或 Coding Agent 能力的场景，尤其是关注模型能否在真实开源代码仓库中定位并修复软件工程问题的评估需求。资料未提及其在商业、教育或其他特定行业中的用途。
限制 现有资料未说明 SWE-bench 的收费模式、价格、平台支持情况、使用门槛或任何效果保证。关于其任务覆盖范围、评测频率、是否支持自定义数据集等信息也暂未提供。
