evalscope-cli

EvalScope 命令行技能（evalscope-cli）用于将自然语言请求翻译为 evalscope 命令，主要面向大语言模型的评测与推理性能测试。它把常见需求归纳为若干工作流，并建议只读取与当前匹配的参考文件，而不是预加载全部文档。

【适用工作流】

1. 准确率评测（evaluate / benchmark / score）：支持本地 checkpoint 路径或 HuggingFace/ModelScope ID，以及 API 端点、Anthropic、LiteLLM 多提供商、OpenAI Responses API、Pipeline 测试、图像生成、TTS、图像编辑等类型。
2. 性能压测（throughput / latency / QPS）：通过 evalscope perf 工作流执行，API 类型包括 openai（默认）、local、local_vllm、dashscope、embedding、rerank、custom。
3. RAG 评测（RAG / embedding / retrieval quality）：使用 evalscope eval --eval-backend RAGEval 并配合工具配置，涉及 RAGAS、MTEB、clip_benchmark 三种工具。
4. 可视化（view / compare / dashboard）：通过 evalscope service 启动 Web 面板。
5. 基准发现：通过 evalscope benchmark-info 查询可用评测集。
6. 故障排查：遇到错误、失败或调试需求时参考 troubleshooting 文档。

【前置条件】 安装命令：evalscope --version 用于验证安装；pip install evalscope 为基础安装；pip install 'evalscope[all]' 安装全部后端（perf、rag、service、aigc）；另有 pip install 'evalscope[perf]'、pip install 'evalscope[rag]'、pip install 'evalscope[service]' 等按需安装方式。

【准确率评测用法】 本地模型示例：evalscope eval --model Qwen/Qwen2.5-0.5B-Instruct --datasets gsm8k --limit 10。API 端点示例：evalscope eval --model qwen-plus --datasets gsm8k arc --api-url http://localhost:8000/v1/chat/completions --api-key sk-xxx --limit 10。Anthropic 示例使用 --eval-type anthropic_api。关键参数包括 --datasets、--limit、--generation-config、--dataset-args、--eval-backend、--judge-strategy。输出为 outputs/<timestamp>/reports/*.json 以及 report.html 摘要。

【性能压测用法】 基础吞吐测试示例：evalscope perf --model qwen-plus --url http://localhost:8000/v1/chat/completions --api openai --dataset openqa --parallel 5 --number 200 --stream。并发梯度测试中 --parallel 与 --number 必须成对提供。还支持 embedding 与 rerank 模型压测。关键参数包括 --parallel、--number、--dataset、--max-tokens、--sla-auto-tune。输出包含控制台表格（TTFT/TPOT/吞吐 p50-p99）与 HTML 报告。

【RAG 评测】 通过 run_task 传入 eval_backend 为 RAGEval、tool 为 MTEB / RAGAS / clip_benchmark 等配置执行。配置模式与示例需参考 rag-reference.md。

【可视化】 evalscope service --host 0.0.0.0 --port 9000 --outputs ./outputs。选项包括 --host（默认 0.0.0.0）、--port（默认 9000）、--outputs 扫描目录、--debug。需安装 evalscope[service]。

【基准发现】 evalscope benchmark-info --list 列出全部基准；--tag 可按标签过滤（OR、不区分大小写）；支持 --format json 或 markdown 输出。

【沙箱评测】 针对代码执行类基准（如 HumanEval、MBPP），可启用 Docker 隔离：--sandbox '{"enabled": true, "type": "docker"}'，需 Docker 守护进程运行。

【一般说明】 首次运行建议加 --limit 5 验证；默认输出到 ./outputs/<timestamp>/；长时间运行可后台执行并 tail 日志；中断后可用 --use-cache 指定此前时间戳续跑；完整参数帮助见 evalscope eval --help 与 evalscope perf --help。具体收费、价格、平台限制及实测效果数据暂未提供。