SuperAPI AI 工具集

sglang-skill

通用与其它

查看项目

更新于 10-16 01:28

技能介绍

用途:面向 SGLang LLM 推理引擎的开发、调试与性能优化。当用户提到 SGLang、sglang、srt、sgl-kernel、LLM serving、模型推理、KV cache 等时使用。源码位于 skill 安装目录下的 repos/sglang/,实际路径随工具不同:Cursor 为 ~/.cursor/skills/sglang-skill/repos/sglang/,Claude Code 为 ~/.claude/skills/sglang-skill/repos/sglang/,Codex 为 ~/.codex/skills/sglang-skill/repos/sglang/。若路径不存在,在项目目录运行 bash update-repos.sh sglang。

主要能力:核心运行时 SRT 涵盖 attention 后端(FlashInfer 默认、MLA、CUTLASS MLA、FlashAttention、Triton、FlashMLA、NSA、TBO、FLA 等)、MoE 路由与分发、量化(FP8、GPTQ、AWQ、Marlin)、模型实现、调度与分词管理、KV cache 与 Radix cache、模型执行与加载、启动入口、投机解码、分离式 prefill/decode、TP/PP/EP 分布式、CUDA Graph 编译、LoRA、EPLB 与硬件适配。JIT kernel 含 flash attention、RoPE、归一化、FP8 量化、KV cache 等;sgl-kernel 提供 C++/CUDA 自定义 kernel。前端 DSL 位于 python/sglang/lang/,另含 examples、benchmark、test、docs。

使用方式:搜索时用 Grep 而非整文件加载,先设置 SGLANG_REPO 占位路径再按模块 rg 检索。常见开发场景:新增 attention 后端继承 base_attn_backend.py 的 AttnBackend、实现 forward() 并在 attention_registry.py 注册;新增模型在 srt/models/ 实现 ForCausalLM 与 load_weights();新增量化在 srt/layers/quantization/ 添加模块并注册到量化工厂。启动示例:python -m sglang.launch_server --model-path meta-llama/Meta-Llama-3-8B-Instruct --tp 1;也可用 from sglang import Engine 并通过 Engine(model_path=...) 调用。性能分析可加 --enable-torch-compile 或使用 nsys profile。

适用场景:需要理解或修改 SGLang 内核、调度、缓存与分布式逻辑的工程开发与调试。限制:需先具备源码仓库与相应硬件环境;资料未提供具体版本号、安装步骤及性能数据,暂未提供。