用途:这是一个面向单个模型的顶层性能优化循环技能,目标不是跑一次基准测试,而是建立可复现的 SGLang 改进闭环:公平调优各框架、证明 SGLang 是否落后、用 profiler 证据解释差距、修补 SGLang,并重跑同一模型负载直到在目标环境下达到 SOTA。这里的 SOTA 指在记录的模型、负载、硬件、框架提交、精度与 SLA 下可复现的最佳观测性能,缺乏外部证据时不应宣称全局 SOTA。
主要能力:组合两个底层技能——llm-serving-auto-benchmark(在 SGLang、vLLM、TensorRT-LLM 间搜索并比较最佳部署命令)与 llm-torch-profiler-analysis(采集或分析 torch profiler trace,产出 kernel、重叠机会与融合模式表)。
使用方式:先收集模型 id 或本地 checkpoint、tokenizer、精度、量化、GPU 类型数量、负载分布、SLA 与 artifact 根目录等输入;若用户只给模型,需选定并说明首个负载。运行前按需阅读 ../llm-serving-auto-benchmark/SKILL.md 与 ../llm-torch-profiler-analysis/SKILL.md,远程 GPU 还需读对应主机技能。流程为:预检模型与环境、搜索各框架最佳命令、归一化比较结果、SGLang 落后时做 profiler 分诊、将表格转为根因、保守修补、复测验证。TensorRT-LLM 后端限定为 trtllm-serve serve --backend pytorch,不可用则标记不支持。
适用场景:需要为特定模型在指定 GPU 上寻找并验证 SGLang 最佳部署配置,或需解释 SGLang 与竞品性能差距并做有证据支撑的优化。
限制:需真实 GPU 环境与完整输入;不得通过削弱正确性、改负载或 SLA、只对 SGLang 关功能等方式制造优势;补丁需最小局部并有测试或微基准证据;资料中的 H100 验证数据仅作工作流健康检查,不构成通用性能声明。