SuperAPI AI 工具集

sglang-sota-performance

智能体与模型

查看项目

更新于 10-15 17:25

技能介绍

用途:这是一个针对单个模型的顶层优化循环,目标不是跑一次基准测试,而是建立可复现的 SGLang 改进闭环:公平调优各框架、证明 SGLang 是否落后、用 profiler 证据解释差距、修补 SGLang,并重复同一模型负载直到在目标环境达到 SOTA。这里的 SOTA 指在记录的模型、负载、硬件、框架提交、精度与 SLA 下最佳且可复现的性能,缺乏外部证据时不应宣称全局 SOTA。

主要能力:组合两个下层技能——llm-serving-auto-benchmark(在 SGLang、vLLM、TensorRT-LLM 间搜索并比较最佳部署命令)与 llm-torch-profiler-analysis(采集或分析 torch-profiler trace,产出 kernel、重叠机会与融合模式表)。

使用方式:开始前需收集模型 id 或本地 checkpoint、tokenizer、精度、量化、trust-remote-code 策略、最大上下文长度、GPU 类型与数量、显存预算、负载分布、采样设置、SLA 目标、待比较框架与产物根目录。若用户只给模型,需选定一个合理初始负载并明确说明。流程为:预检模型与环境(记录各框架 --help 与版本,TensorRT-LLM 限定 trtllm-serve serve --backend pytorch);对每个可用框架做有界搜索,不得用 SGLang 调优命令对比竞品默认值;用 compare_benchmark_results.py 归一化结果并比较吞吐、goodput、TTFT、ITL、延迟与内存;SGLang 落后时先做 profiler 分诊(用 --profile-workload both,分离 prefill 与 decode trace);据表定位根因后保守修补;最后重跑测试、基准与 profiler 复验。

适用场景:需要在指定硬件与 SLA 下让 SGLang 追平或超越 vLLM、TensorRT-LLM 的推理服务性能调优。

限制:需具备对应 GPU 环境与框架依赖;补丁须有基准与 profiler 双重证据,禁止削弱正确性、输出质量或安全检查,禁止只改负载或 SLA、只对 SGLang 关特性等取巧做法。资料中的 H100 验证数据仅为工作流健康检查,不构成通用性能声明。其他平台与价格信息暂未提供。