用途:在同一模型与工作负载下对比 SGLang、vLLM、TensorRT-LLM、TokenSpeed 等 LLM 推理服务框架,选出满足 SLA 的最佳部署配置。
主要能力:采用配置驱动流程,将启动容量选项放入各框架的 base_server_flags,将搜索旋钮放入 search_space,对所有框架运行相同数据集场景;从 search_space 生成有界候选列表(基线候选优先),保留失败候选,归一化结果后挑选通过 SLA 的最佳候选。提供 configs/cookbook-llm/ 下的框架中立配置,可翻译为各框架原生启动参数。
使用方式:先校验配置,例如 python skills/llm-serving-auto-benchmark/scripts/validate_cookbook_configs.py skills/llm-serving-auto-benchmark/configs/cookbook-llm/*.yaml;该脚本只加载配置、校验 flag 名并渲染候选命令,不启动服务。优先使用各框架原生工具:SGLang 用 sglang serve 或 python -m sglang.launch_server,基准用 python -m sglang.auto_benchmark 或 python -m sglang.bench_serving;vLLM 用 vllm bench sweep serve 或 vllm serve 加 vllm bench serve;TensorRT-LLM 用 trtllm-serve 加基准客户端;TokenSpeed 用 tokenspeed serve 加 tokenspeed bench serve。
适用场景:跨框架服务性能对比、参数调优、SLA 达标候选筛选。
限制:本技能是操作手册加配置校验工具链,不是开箱即用的编排器,仍需操作者自行启动服务、驱动负载并写入归一化 JSONL。TensorRT-LLM 后端固定为 trtllm-serve serve --backend pytorch,不接受其他后端候选。参数列表随版本变化,运行前须记录框架版本或 git commit 并用 --help 验证具体 flag。默认不搜索显存比例。需保证各框架在相同 GPU 类型、数量、模型权重、精度、量化策略、提示分布与采样设置下运行。不得将 HF_TOKEN 等密钥写入产物。历史冒烟验证不代表当前跨框架速度或精度结果。