本技能是 SGLang main 分支上 DeepSeek V3.2 支持与优化的操作手册,覆盖 V3.2、V3.2-Exp、V3.2-Speciale、NVFP4、MXFP4。V3.2 沿用 V3/R1 主干,但通过 is_deepseek_nsa(config) 启用 DeepSeek 稀疏注意力(文档称 DSA,代码称 NSA),因此是独立的优化问题。
用途:在 SGLang 上排查、恢复、扩展 V3.2 的稀疏注意力、KV cache、并行与量化路径。资料记录了运行入口 DeepseekV32ForCausalLM,NSA 后端与索引器文件,以及 V3.2 工具解析器。
主要能力:给出分层优化顺序——先确认 DSA 检测与服务器默认值,再确认 KV cache dtype 与 NSA 后端组合,验证索引器 top-k 与 transform,之后才验证 MTP、CP、PP、DP attention,最后按 Blackwell、Hopper、AMD、NPU 调后端内核。还记录 IndexCache、上下文并行、MTP/推测解码、DSML 工具调用等阶段,以及每个阶段的关键 PR 与验证用例。
使用方式:先记录服务形态,包括模型变体、is_deepseek_nsa、attention backend、KV cache dtype、并行拓扑、MTP、IndexCache 参数、工具/推理解析器与硬件。再按 playbook 顺序改代码,并使用对应测试文件验证。
限制:上下文并行仍属实验性且有模式约束;MTP、CP、量化后端存在大量未合并 PR;部分路径仅在特定硬件可用。资料未提供安装命令、价格或完整部署步骤。