用途：基准测试 vLLM 自动前缀缓存（APC）的效率，衡量重复或部分共享提示词场景下缓存带来的性能影响，并对比开启与关闭 --enable-prefix-caching 时的吞吐/延迟。
主要能力与用法： 1）固定提示词（默认）：直接运行离线脚本，无需下载数据集。例如：python3 benchmarks/benchmark_prefix_caching.py --model Qwen/Qwen3-8B --enable-prefix-caching --num-prompts 1 --repeat-count 100 --input-length-range 128:256；对比基线时把 --enable-prefix-caching 换成 --no-enable-prefix-caching。 2）ShareGPT 数据集：先 wget 下载 ShareGPT_V3_unfiltered_cleaned_split.json，再用 --dataset-path 指定并配合 --enable-prefix-caching 运行。 3）在线前缀重复数据集：先 vllm serve Qwen/Qwen3-8B，再用 vllm bench serve --backend openai --model Qwen/Qwen3-8B --dataset-name prefix_repetition 并设置 --prefix-repetition-prefix-len、--prefix-repetition-suffix-len、--prefix-repetition-num-prefixes、--prefix-repetition-output-len 等参数。
关键参数：--repeat-count 控制每个采样提示词重放次数，值越高缓存命中率越高；--input-length-range 接受 min:max 令牌范围；多 GPU 可加 --tensor-parallel-size；换哈希算法用 --prefix-caching-hash-algo（如 xxhash，需 pip install xxhash）。
限制与注意：所有命令需在 vLLM 仓库根目录运行（cd vllm）；若报文件不存在需先定位或 git clone https://github.com/vllm-project/vllm；模型默认 Qwen/Qwen3-8B，仅在用户指定或不可用时更改；HuggingFace 下载受限可设 export HF_TOKEN=<your_token> 或传 --hf-token；使用 xxhash/cbor2 前需安装。具体性能数值与收费信息暂未提供。