用途：对已运行的 vLLM 推理服务执行在线基准测试，编排 vllm bench serve。可跑单次测试，也可批量执行多服务、多并发/多请求速率用例并聚合对比，还支持在 SLO 约束下自动寻优并发或吞吐。不负责部署服务、离线吞吐测试、profilimg、数据下载或结果后分析。
主要能力：按阶段执行——确认执行环境、探测服务与模型、选择模式（单次/批量/自动寻优）、选择后端与 endpoint、选择数据集、设置压测参数、参数校验、生成并执行命令、汇总报告。支持文本/多模态/Embedding/Reranking/Audio 后端；数据集含 random、sharegpt、burstgpt、custom、hf、spec_bench 等；支持并发或请求速率控制、num-prompts、warmup、百分位指标、逐请求 SLO 过滤的 goodput。
用法：先用 scripts/probe_service.sh --base-url http://ip:port 探测模型；用 scripts/generate_bench_cmd.py 生成命令，或用 run_bench.sh 单次执行、run_batch.sh 批量执行、aggregate_results.py 聚合结果。手工构造时须令 --endpoint 与 --backend 匹配，例如 openai-chat 需配 /v1/chat/completions；每次命令都应带 --save-result --save-detailed --result-dir --result-filename。
限制：自动寻优必须由用户给出至少一条 SLO 约束，不可自行定义“最优”；--num-prompts 过小（<100）时 P99 意义有限；远程/容器执行需另建连接并将结果目录设为可写路径。资料未提供具体性能数值、收费与平台支持信息。