SuperAPI AI 工具集

vllm-bench-random-synthetic

智能体与模型

查看项目

更新于 10-15 23:40

技能介绍

用途:对运行中的 vLLM 服务使用随机合成数据进行快速性能基准测试,测量请求吞吐量、Token 吞吐量、首 Token 时间(TTFT)、每输出 Token 时间(TPOT)与 Token 间延迟(ITL)等指标,无需下载真实数据集。

主要能力:支持 vllm、openai、openai-chat 后端;以随机数据生成合成提示;可用 --num-prompts 控制请求数、--max-concurrency 控制并发,并支持 --save-result 与 --result-dir 保存结果。

使用方式:先安装 vLLM(pip install vllm)。启动服务:vllm serve Qwen/Qwen2.5-1.5B-Instruct。运行基准:vllm bench serve --backend openai-chat --model Qwen/Qwen2.5-1.5B-Instruct --endpoint /v1/chat/completions --dataset-name random --num-prompts 10。默认端口 8000,可用 --port 修改;可用 curl http://localhost:8000/health 检查服务状态。

适用场景:快速评估 vLLM 服务性能、无数据集情况下测量吞吐与延迟、对特定模型获取基线数据。

限制与注意:需要 vLLM 已安装且服务可运行;GPU 模型需 NVIDIA GPU 与相应驱动。基准时长随 --num-prompts 增大;生产级测试建议至少 100 条提示以获得稳定统计。结果受硬件、模型规模和系统负载影响,首次运行可能因模型加载与编译较慢。若由技能启动服务,基准结束后应停止以释放资源,但不要停止原本已在运行的服务。模型名必须与服务端一致,必要时设置 HF_TOKEN。