EvalScope 是 ModelScope 社区构建的一站式大语言模型评测框架，定位为精简且可定制的高效大模型（LLM、VLM、AIGC）评估与性能基准测试工具。其核心目标是让用户通过一条命令即可启动模型能力评估、推理性能压力测试以及结果可视化。
用途方面，EvalScope 适用于多种模型类型的评测，包括大语言模型（LLM）、视觉语言模型（VLM）、Embedding、Reranker、AIGC 等，覆盖文本、多模态、多领域场景。它内置多项行业认可的评测基准，例如 MMLU、C-Eval、GSM8K 等，并持续新增大量基准与功能。
主要能力包括：
- 综合评测基准：内置 MMLU、C-Eval、GSM8K 等，并持续扩充，涵盖文本、多模态、代码、Agent、长上下文、OCR、图像质量等多种类型。
- 多模态与多领域支持：支持 LLM、VLM、Embedding、Reranker、AIGC 等模型类型。
- System One 评测：通过 --eval-type systemone_api 评估文本选择决策模型，支持任务说明、少样本示例和结构化概率/置信度。
- 多后端集成：无缝集成 OpenCompass、VLMEvalKit、RAGEval 等评测后端。
- Agent 评测模式：在受控的多轮 AgentLoop 中驱动基准（如 GSM8K、AIME、SWE-bench Agentic），支持可插拔策略、工具与 Docker 沙箱，并记录每个样本的完整 Agent Trace 并可视化。
- 推理性能测试：提供模型服务压力测试工具，支持 TTFT、TPOT 等多种性能指标。
- 交互式报告：提供 Web Dashboard，用于多维模型对比、报告概览与详细检查。
- Arena 模式：支持多模型对战（Pairwise Battle），直观排名和评估模型。
- 高度可扩展：开发者可轻松添加自定义数据集、模型和评测指标。
使用方式上，EvalScope 提供中文文档与英文文档，以及产品网站。官方称“只需一条命令即可开始”。支持通过命令行参数（如 --eval-type systemone_api、--eval-type anthropic_api）切换评测方式，并可通过 Agent Skill 用自然语言驱动 EvalScope 进行模型评测、性能基准测试和结果可视化。此外，EvalScope 支持多轮对话性能压力测试、Embedding 与 Rerank 模型服务压力测试，以及模型服务 SLA 自动调优等。
适用场景包括：大模型能力评测、多模态模型评测、Agent 能力评测、代码评测、RAG 评测、推理性能压测、模型服务对比与排名、模型 API 兼容性验证等。EvalScope 被用作 TokenSpeed 性能评估的官方基准工具，并用于 SWE-smith 基准测试流水线。
限制方面，资料未提供具体的收费模式、价格、平台限制或效果保证等信息。部分功能（如 Agent 评测中的 Docker 沙箱、外部 Agent Bridge 等）可能依赖特定环境或第三方工具。具体安装命令、支持的操作系统、硬件要求等细节暂未提供。
